워크플로 관리
이 기능에 대한 지원을 요청하거나 의견을 제공하려면 bigquery-workflows-preview-feedback@google.com으로 이메일을 보내세요.
이 문서에서는 워크플로를 예약하고 삭제하는 방법을 비롯하여 워크플로를 관리하는 방법을 설명합니다.
Workflows는 Dataform을 기반으로 합니다.
시작하기 전에
시작하기 전에 워크플로를 만듭니다.
필요한 역할
워크플로를 관리하는 데 필요한 권한을 얻으려면 관리자에게 다음 IAM 역할을 부여해 달라고 요청하세요.
-
워크플로 삭제: 워크플로에 대한 Dataform 관리자(
roles/dataform.Admin) -
워크플로 일정 만들기, 수정, 실행, 삭제: 워크플로에 대한 Dataform 관리자(
roles/dataform.Admin) -
워크플로 확인 및 실행: 프로젝트에 대한 Dataform 뷰어(
roles/dataform.Viewer) -
워크플로 일정 보기: 프로젝트에 대한 Dataform 편집자(
roles/dataform.Editor)
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.
Dataform IAM에 대한 자세한 내용은 IAM으로 액세스 제어를 참조하세요.
워크플로 예약
지정된 시간 및 빈도로 자동으로 실행되도록 워크플로를 예약할 수 있습니다. 자세한 내용은 워크플로 예약 정보를 참조하세요.
워크플로 예약 사용 설정
워크플로를 예약하려면 워크플로 일정에 사용할 서비스 계정에 다음 역할을 부여해야 합니다.
- 서비스 계정 사용자(
roles/iam.serviceAccountUser) - 서비스 계정에 단일 역할 부여에 따라 서비스 계정을 자체 주 구성원으로 추가합니다. 즉, 서비스 계정을 동일한 서비스 계정에 주 구성원으로 추가합니다. 그런 다음 이 주 구성원에게 서비스 계정 사용자 역할을 부여합니다.
워크플로에 SQL 쿼리가 포함된 경우 워크플로 일정에 사용할 서비스 계정에 다음 역할을 부여해야 합니다.
- BigQuery 작업 사용자(
roles/bigquery.jobUser) - 프로젝트에 대한 단일 역할 부여에 따라 워크플로가 데이터를 읽는 프로젝트의 서비스 계정에 BigQuery 작업 사용자 역할을 부여합니다.
- BigQuery 데이터 뷰어(
roles/bigquery.dataViewer) - 프로젝트에 대한 단일 역할 부여에 따라 워크플로가 데이터를 읽는 프로젝트의 서비스 계정에 BigQuery 데이터 뷰어 역할을 부여합니다.
- BigQuery 데이터 편집자(
roles/bigquery.dataEditor) - 프로젝트에 대한 단일 역할 부여에 따라 워크플로가 데이터를 쓰는 프로젝트의 서비스 계정에 BigQuery 데이터 편집자 역할을 부여합니다.
워크플로에 노트북이 포함된 경우 워크플로 일정에 사용할 서비스 계정에 다음 역할을 부여해야 합니다.
- 노트북 실행자 사용자(
roles/aiplatform.notebookExecutorUser) - 프로젝트에 대한 단일 역할 부여에 따라 선택한 프로젝트의 서비스 계정에 노트북 실행자 사용자 역할을 부여합니다.
- 스토리지 관리자(
roles/storage.admin) - 버킷 수준 정책에 주 구성원 추가에 따라 예약된 워크플로 실행에서 실행된 노트북의 출력을 저장하는 데 사용할 Cloud Storage 버킷에 서비스 계정을 주 구성원으로 추가하고 이 주 구성원에게 스토리지 관리자 역할을 부여합니다.
또한 기본 Dataform 서비스 계정에 다음 역할을 부여해야 합니다.
- 서비스 계정 토큰 생성자(
roles/iam.serviceAccountTokenCreator) - 서비스 계정에 토큰 생성 액세스 권한 부여에 따라 기본 Dataform 서비스 계정을 서비스 계정에 주 구성원으로 추가하고 이 주 구성원에게 서비스 계정 토큰 생성자 역할을 부여합니다.
Dataform의 서비스 계정에 대한 자세한 내용은 Dataform의 서비스 계정 정보를 참조하세요.
워크플로 일정 만들기
워크플로를 예약하려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
탐색기 창에서 프로젝트와 워크플로 폴더를 펼친 후 워크플로를 선택합니다.
일정을 클릭합니다.
워크플로 예약 창의 일정 이름 필드에 일정의 이름을 입력합니다.
서비스 계정 필드에서 서비스 계정을 선택합니다.
워크플로에 노트북이 포함된 경우 Cloud Storage 버킷 필드에서 찾아보기를 클릭하고 워크플로에서 노트북의 출력을 저장할 Cloud Storage 버킷을 선택하거나 만듭니다.
선택한 서비스 계정에 선택한 버킷의 스토리지 관리자 IAM 역할이 부여되어야 합니다. 자세한 내용은 워크플로 예약 사용 설정을 참조하세요.
일정 빈도 섹션에서 다음을 수행합니다.
- 반복 드롭다운에서 예약된 워크플로 실행 빈도를 선택합니다.
- 시간 필드에 예약된 워크플로 실행 시간을 입력합니다.
- 시간대 드롭다운에서 일정의 시간대를 선택합니다.
일정 만들기를 클릭합니다.
일정을 만들면 현재 버전의 워크플로가 자동으로 배포됩니다. 새 버전의 워크플로로 일정을 업데이트하려면 워크플로를 배포합니다.
워크플로의 최신 배포 버전이 선택된 시간과 빈도로 실행됩니다.
워크플로 배포
워크플로를 배포하면 현재 버전의 워크플로로 일정이 업데이트됩니다. 일정은 워크플로의 최신 배포 버전을 실행합니다.
워크플로를 배포하려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
탐색기 창에서 프로젝트와 워크플로 폴더를 펼친 후 워크플로를 선택합니다.
배포를 클릭합니다.
해당 일정이 현재 버전의 워크플로로 업데이트됩니다. 워크플로의 최신 배포 버전이 예약된 시간에 실행됩니다.
일정 사용 중지
일정을 삭제하지 않고 선택한 워크플로의 예약된 실행을 일시중지하려면 일정을 사용 중지하면 됩니다.
선택한 워크플로의 일정을 사용 중지하려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
탐색기 창에서 프로젝트와 워크플로 폴더를 펼친 후 워크플로를 선택합니다.
일정 보기를 클릭합니다.
일정 세부정보 테이블의 일정 상태 행에서 일정 사용 설정됨 전환 버튼을 클릭합니다.
일정 사용 설정
사용 중지된 워크플로 일정의 예약된 실행을 계속하려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
탐색기 창에서 프로젝트와 워크플로 폴더를 펼친 후 워크플로를 선택합니다.
일정 보기를 클릭합니다.
일정 세부정보 표의 일정 상태 행에서 일정 사용 중지됨 전환 버튼을 클릭합니다.
배포된 워크플로 수동 실행
배포된 워크플로를 선택한 일정으로 수동으로 실행하면 BigQuery는 일정과 관계없이 배포된 워크플로를 한 번 실행합니다.
배포된 워크플로를 수동으로 실행하려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 조정 페이지로 이동합니다.
선택한 워크플로 일정의 이름을 클릭합니다.
일정 세부정보 페이지에서 실행을 클릭합니다.
모든 워크플로 일정 보기
Google Cloud 프로젝트의 모든 워크플로를 보려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 조정 페이지로 이동합니다.
선택사항: 워크플로 일정 세부정보가 포함된 열을 추가로 표시하려면 열 표시 옵션을 클릭한 다음 열을 선택하고 확인을 클릭합니다.
워크플로 일정 세부정보 보기
선택한 워크플로 일정의 세부정보를 보려면 다음 단계를 따르세요.
탐색기 창
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
탐색기 창에서 프로젝트와 워크플로 폴더를 펼친 후 워크플로를 선택합니다.
일정 보기를 클릭합니다.
조정 페이지
Google Cloud 콘솔에서 조정 페이지로 이동합니다.
선택한 워크플로 일정의 이름을 클릭합니다.
이전에 예약된 실행 보기
선택한 워크플로 일정의 이전 실행을 보려면 다음 단계를 따르세요.
탐색기 창
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
탐색기 창에서 프로젝트와 워크플로 폴더를 펼친 후 워크플로를 선택합니다.
실행을 클릭합니다.
선택사항: 이전 실행 목록을 새로고침하려면 새로고침을 클릭합니다.
조정 페이지
- Google Cloud 콘솔에서 조정 페이지로 이동합니다.
선택한 워크플로의 이름을 클릭합니다.
일정 세부정보 페이지의 이전 실행 섹션에서 이전 실행을 검사합니다.
선택사항: 이전 실행 목록을 새로고침하려면 새로고침을 클릭합니다.
워크플로 일정 수정
워크플로 일정을 수정하려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
탐색기 창에서 프로젝트와 워크플로 폴더를 펼친 후 워크플로를 선택합니다.
일정 보기를 클릭한 다음 수정을 클릭합니다.
워크플로 예약 대화상자에서 일정을 수정한 다음 일정 업데이트를 클릭합니다.
워크플로 일정 삭제
워크플로 일정을 영구적으로 삭제하려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 조정 페이지로 이동합니다.
다음 작업 중 하나를 수행합니다.
선택한 워크플로 일정의 이름을 클릭한 다음 일정 세부정보 페이지에서 삭제를 클릭합니다.
선택한 워크플로 일정이 포함된 행에서 작업 열의 작업 보기를 클릭한 다음 삭제를 클릭합니다.
대화상자가 표시되면 삭제를 클릭합니다.
이전 수동 실행 보기
선택한 워크플로의 이전 수동 실행을 보려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
탐색기 창에서 프로젝트와 워크플로 폴더를 펼친 후 워크플로를 선택합니다.
실행을 클릭합니다.
선택사항: 이전 실행 목록을 새로고침하려면 새로고침을 클릭합니다.
실패한 워크플로 실행에 대한 알림 구성
각 워크플로에는 해당하는 Dataform 저장소 ID가 있습니다. 각 BigQuery 워크플로 실행은 해당 Dataform 저장소 ID를 사용하여 Cloud Logging에 로깅됩니다. Cloud Monitoring을 사용하여 Cloud Logging 로그에서 BigQuery 워크플로 실행 추세를 관찰하고 사용자가 지정한 조건이 발생하면 알림을 받을 수 있습니다.
BigQuery 워크플로 실행이 실패할 경우 알림을 수신하려면 해당 Dataform 저장소 ID에 로그 기반 알림 정책을 만들면 됩니다. 자세한 내용은 실패한 워크플로 호출에 대한 알림 구성을 참조하세요.
워크플로의 Dataform 저장소 ID를 찾으려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
탐색기 창에서 프로젝트와 워크플로 폴더를 펼친 후 워크플로를 선택합니다.
설정을 클릭합니다.
워크플로의 Dataform 저장소 ID가 설정 탭 하단에 표시됩니다.
워크플로 삭제
워크플로를 영구적으로 삭제하려면 다음 단계를 따르세요.
Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
탐색기 창에서 프로젝트와 워크플로 폴더를 펼칩니다. 삭제하려는 워크플로를 찾습니다.
워크플로 옆에 있는 작업 보기를 클릭한 후 삭제를 클릭합니다.
삭제를 클릭합니다.
다음 단계
- BigQuery의 워크플로에 대해 자세히 알아보기
- 워크플로를 만드는 방법 알아보기