Dataform 저장소 만들기

이 문서에서는 저장소를 만들고, 저장소 서비스 계정을 설정 및 수정하고, Dataform에서 저장소를 삭제하는 방법을 보여줍니다.

Dataform 저장소를 만들 때 다음 저장소 설정을 설정해야 합니다.

저장소 ID
저장소의 고유 ID입니다. ID에는 숫자, 문자, 하이픈, 밑줄만 포함할 수 있습니다.
리전

저장소 및 콘텐츠를 저장하기 위한 Dataform 리전입니다.

이 스토리지 리전은 Dataform이 코드를 처리하고 실행 출력을 저장하는 처리 리전과 다를 수 있습니다. 기본적으로 처리 리전은 기본 BigQuery 데이터 세트 리전으로 설정됩니다. 저장소를 만든 후 workflow_settings.yaml 파일에서 처리 리전을 수정할 수 있습니다. 자세한 내용은 Dataform 설정 구성을 참조하세요.

서비스 계정

저장소와 연결된 서비스 계정입니다. 기본 Dataform 서비스 계정, Google Cloud 프로젝트와 연결된 서비스 계정을 선택하거나 다른 서비스 계정을 직접 입력할 수 있습니다. 기본적으로 Dataform은 프로젝트 번호에서 파생된 서비스 계정을 다음과 같은 형식으로 사용합니다.

service-YOUR_PROJECT_NUMBER@gcp-sa-dataform.iam.gserviceaccount.com

Dataform은 모든 저장소 작업에 기본 서비스 계정을 사용합니다. 다른 서비스 계정을 사용하여 저장소에서 워크플로를 실행할 수 있지만 그래도 기본 서비스 계정이 다른 모든 저장소 작업에 사용됩니다.

암호화

저장소의 암호화 방법입니다. 기본 암호화를 사용하거나 고객 관리 Cloud KMS 암호화 키를 적용할 수 있습니다. Dataform에서 고객 관리 암호화 키(CMEK)를 사용하는 방법에 대한 자세한 내용은 고객 관리 암호화 키 사용을 참조하세요.

저장소를 만든 후 GitHub 또는 GitLab에 연결할 수 있습니다.

시작하기 전에

  1. Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.

  2. Google Cloud Console의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.

    프로젝트 선택기로 이동

  3. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

  4. API BigQuery and Dataform 사용 설정

    API 사용 설정

    5.

  5. Google Cloud Console의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.

    프로젝트 선택기로 이동

  6. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

  7. API BigQuery and Dataform 사용 설정

    API 사용 설정

    8.
  8. 저장소에 CMEK 암호화를 사용하려면 Dataform 저장소의 CMEK 암호화를 사용 설정합니다.

필요한 역할

저장소를 만들고 삭제하는 데 필요한 권한을 얻으려면 관리자에게 저장소의 Dataform 관리자(roles/dataform.admin) IAM 역할을 부여해 달라고 요청하세요. 역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

기본 Dataform 서비스 계정 이외의 서비스 계정을 사용하려면 커스텀 서비스 계정에 액세스 권한을 부여합니다.

저장소 만들기

Dataform 저장소를 만들려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. 저장소 만들기를 클릭합니다.

  3. 저장소 만들기 페이지의 저장소 ID 필드에 고유 ID를 입력합니다.

    ID에는 숫자, 문자, 하이픈, 밑줄만 포함할 수 있습니다.

  4. 리전 드롭다운 목록에서 저장소와 해당 콘텐츠를 저장할 Dataform 리전을 선택합니다. 사용자 위치와 가장 가까운 Dataform 리전을 선택합니다.

    사용 가능한 Dataform 리전 목록은 위치를 참조하세요. 저장소 리전은 BigQuery 데이터 세트의 위치와 일치하지 않아도 됩니다.

    workflow_settings.yaml 파일에서 Dataform이 코드를 처리하고 실행 출력을 저장하는 처리 리전을 설정할 수 있습니다. 처리 리전은 BigQuery 데이터 세트의 위치와 일치해야 하지만 저장소 리전과는 일치하지 않아도 됩니다. 자세한 내용은 Dataform 설정 구성을 참조하세요.

  5. 서비스 계정 드롭다운에서 저장소의 서비스 계정을 선택합니다.

    드롭다운에서 기본 Dataform 서비스 계정 또는 액세스 권한이 있는 Google Cloud 프로젝트와 연결된 서비스 계정을 선택할 수 있습니다. 커스텀 서비스 계정은 워크플로 실행에만 사용된다는 점에 유의하세요. 다른 모든 저장소 작업은 기본 Dataform 서비스 계정으로 계속 수행됩니다.

    1. 선택사항: 드롭다운에 표시되지 않은 서비스 계정을 선택하려면 수동으로 입력을 클릭하고 서비스 계정 ID를 입력합니다.

  6. 암호화 섹션에서 저장소의 암호화 방법을 선택합니다.

    1. 기본 암호화를 사용하려면 Google 관리 암호화 키 옵션을 선택합니다.

    2. CMEK를 사용하려면 고객 관리 암호화 키(CMEK) 옵션을 선택합니다.

      1. 고객 관리 키 선택 드롭다운에서 저장소의 CMEK 키를 선택합니다.

    자세한 내용은 Dataform CMEK 제한사항을 참조하세요.

  7. 만들기를 클릭한 후 완료를 클릭합니다.

서비스 계정 수정

워크플로 실행을 위해 커스텀 서비스 계정을 Dataform 저장소에 연결할 수 있습니다. 다른 모든 저장소 작업은 기본 Dataform 서비스 계정으로 계속 수행됩니다.

Dataform 저장소의 서비스 계정을 수정하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. 저장소를 선택한 후 설정을 클릭합니다.

  3. 서비스 계정 필드에서 서비스 계정 수정을 클릭합니다.

  4. 서비스 계정 드롭다운에서 저장소의 서비스 계정을 선택합니다.

    드롭다운에서 기본 Dataform 서비스 계정 또는 액세스 권한이 있는 Google Cloud 프로젝트와 연결된 서비스 계정을 선택할 수 있습니다.

    1. 선택사항: 드롭다운에 표시되지 않은 서비스 계정을 선택하려면 수동으로 입력을 클릭하고 서비스 계정 ID를 입력합니다.

  5. 저장을 클릭합니다.

저장소 삭제

저장소 및 저장소의 모든 콘텐츠를 삭제하려면 다음 단계를 따르세요.

  1. Google Cloud 콘솔에서 Dataform 페이지로 이동합니다.

    Dataform으로 이동

  2. 삭제하려는 저장소 옆에 있는 더보기 메뉴를 클릭한 다음 삭제를 선택합니다.

  3. 저장소 삭제 창에서 저장소 이름을 입력하여 삭제를 확인합니다.

  4. Delete(삭제)를 클릭합니다.

다음 단계