워크플로 만들기

미리보기

이 제품에는 서비스별 약관의 일반 서비스 약관 섹션에 있는 'GA 이전 제공 서비스 약관'이 적용됩니다. GA 이전 제품은 '있는 그대로' 제공되며 지원이 제한될 수 있습니다. 자세한 내용은 출시 단계 설명을 참조하세요.

이 기능에 대한 지원을 요청하거나 의견을 제공하려면 [e-mail]으로 이메일을 보내세요.

이 문서에서는 BigQuery에서 워크플로를 만드는 방법을 설명합니다. Workflows는 Dataform을 기반으로 합니다.

시작하기 전에

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the BigQuery, Dataform, and Vertex AI APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the BigQuery, Dataform, and Vertex AI APIs.

   Enable the APIs

8. 코드 애셋 관리 사용 설정의 안내에 따라 워크플로와 같은 코드 애셋 버전을 저장, 공유, 관리합니다.
9. 코드 애셋을 처음 만드는 경우 코드 애셋 저장의 기본 리전을 설정합니다. 생성된 후에는 코드 애셋의 리전을 변경할 수 없습니다.

필요한 역할

워크플로를 만드는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

• 워크플로 만들기: 코드 생성자(roles/dataform.codeCreator)
• 워크플로 수정 및 실행: Dataform 편집자(roles/dataform.editor)

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

Dataform IAM에 대한 자세한 내용은 IAM으로 액세스 제어를 참조하세요.

참고: 워크플로를 만들면 BigQuery에서 해당 워크플로에만 Dataform 관리자(roles/dataform.admin) 역할을 부여합니다. 그러면 소유자 액세스 권한이 부여되어 워크플로를 관리하고 수정할 수 있습니다. Google Cloud 프로젝트 수준에서 Dataform 관리자 역할이 부여된 사용자는 해당 프로젝트 내의 모든 워크플로에 대한 소유자 액세스 권한을 갖게 됩니다.

워크플로 만들기

워크플로를 만들려면 다음 단계를 따르세요.

1. BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 편집기 창의 탭 표시줄에서 + 기호 옆에 있는 화살표 드롭다운 메뉴를 클릭한 다음 워크플로를 클릭합니다.

3. 선택사항: 워크플로 이름을 바꾸려면 워크플로 이름을 클릭한 다음 새 이름을 입력합니다.

4. 시작하기를 클릭한 다음 설정 탭으로 이동합니다.

5. 서비스 계정 필드에서 Dataform 서비스 계정을 선택합니다.

6. 위치 섹션에서 워크플로의 처리 리전을 선택합니다.

   1. 특정 리전을 선택하려면 리전을 선택한 다음 리전 드롭다운 메뉴에서 리전을 선택합니다.
   2. 멀티 리전을 선택하려면 멀티 리전을 선택한 다음 멀티 리전 드롭다운 메뉴에서 멀티 리전을 선택합니다.

   워크플로 처리 리전은 코드 애셋의 기본 스토리지 리전과 일치하지 않아도 됩니다.

7. 워크플로에 노트북을 추가하려면 다음 단계를 따르세요.

   1. Cloud Storage 버킷 필드에서 찾아보기를 클릭하고 워크플로에서 노트북의 출력을 저장할 Cloud Storage 버킷을 선택하거나 만듭니다.

   2. 버킷 수준 정책에 주 구성원 추가에 따라 예약된 워크플로 실행의 출력을 저장하는 데 사용할 Cloud Storage 버킷에 커스텀 Dataform 서비스 계정을 주 구성원으로 추가하고 이 주 구성원에게 스토리지 관리자(roles/storage.admin) 역할을 부여합니다.

      선택한 커스텀 Dataform 서비스 계정에 선택한 버킷의 스토리지 관리자 IAM 역할이 부여되어야 합니다.

워크플로 태스크 추가

워크플로에 태스크를 추가하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 탐색기 창에서 프로젝트와 워크플로 폴더를 펼친 후 워크플로를 선택합니다.

3. SQL 쿼리 또는 노트북을 추가하려면 다음 단계를 따르세요.

   SQL 쿼리

   1. 태스크 추가를 클릭한 다음 쿼리를 선택합니다.

   2. 선택사항: 쿼리 태스크 세부정보 창의 선행 태스크 드롭다운 메뉴에서 쿼리 앞에 실행할 태스크를 선택합니다.

      쿼리는 이전 태스크에 따라 다릅니다.

   3. 쿼리를 만들려면 쿼리 만들기를 클릭합니다.

   4. 새 쿼리에서 쿼리 문법을 추가한 다음 쿼리 저장을 클릭합니다.

   5. 선택사항: 쿼리 이름을 변경하려면 쿼리 이름을 클릭하고 새 이름을 입력합니다.

   노트북

   1. 태스크 추가를 클릭한 다음 노트북을 선택합니다.

   2. 선택사항: 노트북 태스크 세부정보 창의 선행 태스크 드롭다운 메뉴에서 노트북 앞에 실행할 태스크를 선택합니다.

      노트북은 이전 태스크에 따라 다릅니다.

   3. 노트북을 만들려면 노트북 만들기를 클릭합니다.

   4. 새 노트북에서 노트북 콘텐츠를 추가한 다음 저장을 클릭합니다.

   5. 선택사항: 노트북 이름을 바꾸려면 노트북 이름을 클릭하고 새 이름을 입력합니다.

워크플로 태스크 수정

워크플로 태스크를 수정하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 탐색기 창에서 프로젝트와 워크플로 폴더를 펼친 후 워크플로를 선택합니다.

3. 선택한 태스크를 클릭합니다.

4. 앞의 태스크를 변경하려면 선행 태스크 드롭다운 메뉴에서 노트북 앞에 실행할 태스크를 선택합니다.

5. 선택한 태스크의 콘텐츠를 수정하려면 수정을 클릭합니다.

6. 새 탭이 열리면 태스크 콘텐츠를 수정한 다음 태스크의 변경사항을 저장합니다.

워크플로 태스크 삭제

워크플로에서 태스크를 삭제하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 탐색기 창에서 프로젝트와 워크플로 폴더를 펼친 후 워크플로를 선택합니다.

3. 선택한 태스크를 클릭합니다.

4. 태스크 세부정보 창에서 삭제삭제 아이콘을 클릭합니다.

워크플로 실행

워크플로의 현재 버전을 수동으로 실행하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.

   BigQuery로 이동

2. 탐색기 창에서 프로젝트와 워크플로 폴더를 펼친 후 워크플로를 선택합니다.

3. 실행을 클릭합니다.

4. 선택사항: 실행을 검사하려면 이전 수동 실행을 확인합니다.

다음 단계

• BigQuery의 워크플로에 대해 자세히 알아보기
• 워크플로 관리 방법 알아보기