Dataform 저장소 만들기

이 문서에서는 저장소를 만들고, 저장소 서비스 계정을 설정 및 수정하고, Dataform에서 저장소를 삭제하는 방법을 보여줍니다.

Dataform 저장소를 만들 때 다음 저장소를 설정해야 합니다.

저장소 ID

저장소의 고유 ID입니다. ID에는 숫자, 문자, 하이픈, 밑줄만 포함할 수 있습니다.

지역

저장소 및 해당 콘텐츠를 저장할 Dataform 리전입니다.

이 스토리지 리전은 Dataform이 코드를 처리하고 실행 출력을 저장하는 처리 리전과 다를 수 있습니다. 기본적으로 처리 리전은 기본 BigQuery 데이터 세트 리전으로 설정됩니다. 저장소를 만든 후 워크플로 설정 파일에서 처리 리전을 수정할 수 있습니다. 자세한 내용은 Dataform 설정 구성을 참조하세요.

서비스 계정

저장소와 연결된 서비스 계정입니다. 기본 Dataform 서비스 계정 또는 Google Cloud 프로젝트와 연결된 서비스 계정을 선택하거나 다른 서비스 계정을 직접 입력할 수 있습니다. 기본적으로 Dataform은 프로젝트 번호에서 파생된 서비스 계정을 다음과 같은 형식으로 사용합니다.

[e-mail]

Dataform은 모든 저장소 작업에 기본 서비스 계정을 사용합니다. 다른 서비스 계정을 사용하여 저장소에서 워크플로를 실행할 수 있지만 그래도 기본 서비스 계정이 다른 모든 저장소 작업에 사용됩니다.

암호화

저장소의 암호화 방법입니다. 기본 암호화, 고유한 고객 관리 Cloud KMS 암호화 키 또는 기본 Dataform CMEK 키를 사용할 수 있습니다. Dataform에서 고객 관리 암호화 키(CMEK)를 사용하는 방법에 대한 자세한 내용은 고객 관리 암호화 키 사용을 참조하세요.

저장소를 만든 후 GitHub 또는 GitLab에 연결할 수 있습니다.

중요: dataform.restrictGitRemotes 정책에서 허용되지 않은 원격 Git 저장소에 연결된 Dataform 저장소를 만들려면 먼저 정책의 allowedValues 목록에 해당 원격 Git 저장소를 추가한 후 새 Dataform 저장소를 만들어 원격 저장소에 연결합니다. 자세한 내용은 원격 저장소 제한을 참조하세요.

시작하기 전에

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

4. Enable the BigQuery and Dataform APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

7. Enable the BigQuery and Dataform APIs.

   Enable the APIs

8. 저장소에 CMEK 암호화를 사용하려면 Dataform 저장소의 CMEK 암호화를 사용 설정합니다.

중요: 원격 Git 저장소에 연결하려는 Dataform 저장소를 만들기 전에 조직 또는 프로젝트에서 dataform.restrictGitRemotes 조직 정책으로 원격 Git 저장소를 제한하는지 확인합니다. 정책이 있는 경우 Dataform 저장소를 만들고 원격 저장소에 연결하기 전에 원격 저장소가 허용되는지 확인합니다. 자세한 내용은 원격 저장소 제한을 참조하세요.

필요한 역할

저장소를 만들고 삭제하는 데 필요한 권한을 얻으려면 관리자에게 저장소의 Dataform 관리자(roles/dataform.admin) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

기본 Dataform 서비스 계정 이외의 서비스 계정을 사용하려면 커스텀 서비스 계정에 액세스 권한을 부여합니다.

참고: Dataform 저장소와 연결된 커스텀 서비스 계정은 해당 저장소의 워크플로 실행에만 사용됩니다. 다른 모든 저장소 작업은 기본 Dataform 서비스 계정으로 계속 수행됩니다.

저장소 만들기

Dataform 저장소를 만들려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

   Dataform으로 이동

2. 저장소 만들기를 클릭합니다.

3. 저장소 만들기 페이지의 저장소 ID 필드에 고유한 ID를 입력합니다.

   ID에는 숫자, 문자, 하이픈, 밑줄만 포함할 수 있습니다.

4. 리전 드롭다운 목록에서 저장소와 해당 콘텐츠를 저장할 Dataform 리전을 선택합니다. 현재 위치에서 가장 가까운 Dataform 리전을 선택하세요.

   이용 가능한 Dataform 리전의 목록은 위치를 참조하세요. 저장소 리전은 BigQuery 데이터 세트의 위치와 일치하지 않아도 됩니다.

   workflow_settings.yaml 파일에서 Dataform이 코드를 처리하고 실행 출력을 저장하는 처리 리전을 설정할 수 있습니다. 처리 리전은 BigQuery 데이터 세트의 위치와 일치해야 하지만 저장소 리전과는 일치하지 않아도 됩니다. 자세한 내용은 Dataform 설정 구성을 참조하세요.

5. 서비스 계정 드롭다운에서 저장소에 대한 서비스 계정을 선택합니다.

   드롭다운에서 기본 Dataform 서비스 계정 또는 액세스 권한이 있는 Google Cloud 프로젝트와 연결된 서비스 계정을 선택할 수 있습니다. 커스텀 서비스 계정은 워크플로 실행에만 사용된다는 점에 유의하세요. 다른 모든 저장소 작업은 기본 Dataform 서비스 계정으로 계속 수행됩니다.

   1. (선택사항) 드롭다운에 표시되지 않은 서비스 계정을 선택하려면 수동으로 입력을 클릭하고 서비스 계정 ID를 입력합니다.

6. 저장소에 선택한 암호화 메커니즘을 구성합니다.

   주의: 저장소를 만든 후에는 Dataform 저장소의 암호화 메커니즘을 변경할 수 없습니다. 자세한 내용은 Dataform CMEK 제한사항을 참조하세요.

   기본 CMEK 키

   Dataform은 기본 KMS 키 사용 체크박스를 표시하고 기본적으로 선택합니다.

   • 기본 Dataform CMEK 키로 저장소를 암호화하려면 기본 KMS 키 사용 체크박스를 선택한 상태로 둡니다.

   주의: 기본 KMS 키 사용 체크박스를 선택했지만 프로젝트에 기본 Dataform CMEK 키가 설정되지 않은 경우 Dataform은 저장소에 저장 데이터 암호화를 적용합니다. 고객 관리 암호화 키를 사용합니다.

   고유한 CMEK 키

   고유한 CMEK 키로 저장소를 암호화하려면 다음 단계를 따르세요.

   1. 기본 KMS 키 사용 체크박스가 기본적으로 선택되어 있으면 체크박스를 선택 해제합니다.
   2. 암호화 섹션에서 고객 관리 암호화 키(CMEK) 옵션을 선택합니다.
   3. 고객 관리 키 선택 드롭다운에서 고유한 CMEK 키를 선택합니다.

   저장 데이터 암호화

   • 기본 암호화를 사용하려면 암호화 섹션에서 Google 관리 암호화 키 옵션을 선택합니다.

   주의: 저장소의 리전에 기본 Dataform CMEK 키가 설정된 경우 CMEK 암호화를 사용해야 합니다. Google 관리 암호화 키 옵션을 선택하지 마세요. 자세한 내용은 Dataform CMEK 제한사항을 참조하세요.

7. 만들기를 클릭한 후 완료를 클릭합니다.

서비스 계정 수정

워크플로 실행을 위해 커스텀 서비스 계정을 Dataform 저장소에 연결할 수 있습니다. 다른 모든 저장소 작업은 기본 Dataform 서비스 계정으로 계속 수행됩니다.

Dataform 저장소의 서비스 계정을 수정하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

   Dataform으로 이동

2. 저장소를 선택한 다음 설정을 클릭합니다.

3. 서비스 계정 필드에서 서비스 계정 수정을 클릭합니다.

4. 서비스 계정 드롭다운에서 저장소에 대한 서비스 계정을 선택합니다.

   드롭다운에서 기본 Dataform 서비스 계정 또는 액세스 권한이 있는 Google Cloud 프로젝트와 연결된 서비스 계정을 선택할 수 있습니다.

   1. (선택사항) 드롭다운에 표시되지 않은 서비스 계정을 선택하려면 수동으로 입력을 클릭하고 서비스 계정 ID를 입력합니다.

5. 저장을 클릭합니다.

저장소 삭제

저장소 및 저장소의 모든 콘텐츠를 삭제하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

   Dataform으로 이동

2. 삭제하려는 저장소 옆의 더보기 메뉴를 클릭한 다음 삭제를 선택합니다.

3. 저장소 삭제 창에서 저장소 이름을 입력하여 삭제를 확인합니다.

4. 삭제를 클릭합니다.

다음 단계

• Dataform 처리 설정을 구성하는 방법을 알아보려면 Dataform 설정 구성 참조하기

• Dataform 저장소를 타사 Git 제공업체에 연결하는 방법은 타사 Git 저장소에 연결 참조하기

• Dataform에서 CMEK를 사용하는 방법은 고객 관리 암호화 키 사용 참조하기

• 개발 작업공간을 만드는 방법을 알아보려면 작업공간 만들기 참조하기