Dataproc Metastore 서비스 만들기

이 페이지에서는 Dataproc Metastore 서비스를 만드는 방법을 보여줍니다.

Dataproc Metastore 서비스를 만든 후 메타데이터를 가져오고 다음 서비스에 연결할 수 있습니다.

• Dataproc 클러스터

• 자체 관리형 Apache Hive 인스턴스, Apache Spark 인스턴스, Presto 클러스터

이러한 서비스 중 하나를 연결하면 쿼리 실행 중 Dataproc Metastore 서비스를 Hive 메타스토어로 사용합니다.

참고: Dataproc Metastore 서비스를 만들려면 20분 이상 걸릴 수 있습니다. 동일한 프로젝트, 리전, VPC 네트워크에서 추가 서비스를 만들려면 10분 이상 걸릴 수 있습니다.

시작하기 전에

• Dataproc Metastore 1 서비스와 Dataproc Metastore 2 서비스의 차이점을 이해합니다.
• 프로젝트에서 Dataproc Metastore를 사용 설정합니다.
• 프로젝트별 네트워킹 요구사항을 파악합니다.

필요한 역할

Dataproc Metastore를 만드는 데 필요한 권한을 얻으려면 최소 권한의 원칙에 따라 관리자에게 프로젝트에 대해 다음 IAM 역할을 부여해 달라고 요청하세요.

• Dataproc Metastore 리소스 전체 제어 권한 부여(roles/metastore.editor)
• IAM 정책 관리를 포함한 모든 Dataproc Metastore 리소스에 대한 전체 액세스 권한 부여(roles/metastore.admin)

역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요.

이 사전 정의된 역할에는 Dataproc Metastore를 만드는 데 필요한 metastore.services.create 권한이 있습니다.

커스텀 역할이나 다른 사전 정의된 역할을 사용하여 이 권한을 부여받을 수도 있습니다.

특정 Dataproc Metastore 역할 및 권한에 대한 상세 설명은 IAM으로 액세스 관리를 참조하세요.

기본 설정을 사용하여 Dataproc Metastore 만들기

기본 설정을 사용하여 Dataproc Metastore를 만들면 엔터프라이즈 등급, 중간 인스턴스 크기, 최신 버전의 Hive Metastore, Thrift 엔드포인트, 데이터 위치는 us-central로 서비스가 구성됩니다.

Dataproc Metastore 2

다음 안내에서는 Thrift 엔드포인트 및 기타 제공된 기본 설정을 사용하여 Dataproc Metastore 2를 만드는 방법을 보여줍니다.

Console

1. Google Cloud 콘솔에서 Dataproc Metastore 페이지로 이동합니다.

   Dataproc Metastore로 이동

2. 탐색 메뉴에서 +만들기를 클릭합니다.

   Metastore 서비스 만들기 대화상자가 열립니다.

3. Dataproc Metastore 2를 선택합니다.

4. 가격 책정 및 용량 섹션에서 인스턴스 크기를 선택합니다.

   자세한 내용은 요금제 및 확장 구성을 참조하세요.

5. 서비스 이름 필드에 서비스의 고유 이름을 입력합니다.

   이름 지정 규칙에 대한 자세한 내용은 리소스 이름 지정 규칙을 참조하세요.

6. 데이터 위치를 선택합니다.

   적합한 리전 선택에 대한 자세한 내용은 사용 가능한 리전 및 영역과 리전 엔드포인트를 참조하세요.

7. 남은 서비스 구성 옵션의 경우 제공된 기본값을 사용합니다.

8. 서비스를 만들고 시작하려면 제출을 클릭합니다.

   새 메타스토어 서비스가 Dataproc Metastore 페이지에 나타납니다. 서비스 사용이 준비될 때까지 상태가 생성 중으로 표시됩니다. 준비되면 상태가 활성으로 변경됩니다. 서비스를 프로비저닝하는 데 몇 분 정도 걸릴 수 있습니다.

gcloud CLI

제공된 기본값을 사용하여 Dataproc Metastore 메타스토어 서비스 2를 만들려면 다음 gcloud metastore services create 명령어를 실행합니다.

gcloud metastore services create SERVICE \
  --location=LOCATION \
  --instance-size=INSTANCE_SIZE \
  --scaling-factor=SCALING_FACTOR

다음을 바꿉니다.

• SERVICE: 새 Dataproc Metastore 서비스 이름입니다.

• LOCATION: Dataproc Metastore를 만들려는 Google Cloud 리전입니다. 기본 위치를 설정할 수도 있습니다.

  이름 지정 규칙에 대한 자세한 내용은 리소스 이름 지정 규칙을 참조하세요.

• INSTANCE_SIZE: 멀티 리전 Dataproc Metastore의 인스턴스 크기입니다. 예를 들면 small, medium 또는 large입니다. INSTANCE_SIZE 값을 지정하면 SCALING_FACTOR 값을 지정하지 않습니다.

• SCALING_FACTOR: Dataproc Metastore 서비스의 확장 인수입니다. 예를 들면 0.1입니다. SCALING_FACTOR 값을 지정하면 INSTANCE_SIZE 값을 지정하지 않습니다.

REST

API 안내에 따라 API 탐색기를 사용하여 서비스를 만듭니다.

Dataproc Metastore 1

다음 안내에서는 Thrift 엔드포인트 및 기타 제공된 기본 설정을 사용하여 Dataproc Metastore 1을 만드는 방법을 보여줍니다.

Console

1. Google Cloud 콘솔에서 Dataproc Metastore 페이지로 이동합니다.

   Dataproc Metastore로 이동

2. 탐색 메뉴에서 +만들기를 클릭합니다.

   Metastore 서비스 만들기 대화상자가 열립니다.

3. Dataproc Metastore 1을 선택합니다.

4. 서비스 이름 필드에 서비스의 고유 이름을 입력합니다.

   이름 지정 규칙에 대한 자세한 내용은 리소스 이름 지정 규칙을 참조하세요.

5. 데이터 위치를 선택합니다.

   적합한 리전 선택에 대한 자세한 내용은 사용 가능한 리전 및 영역과 리전 엔드포인트를 참조하세요.

6. 남은 서비스 구성 옵션의 경우 제공된 기본값을 사용합니다.

7. 서비스를 만들고 시작하려면 제출을 클릭합니다.

   새 메타스토어 서비스가 Dataproc Metastore 페이지에 나타납니다. 서비스 사용이 준비될 때까지 상태가 생성 중으로 표시됩니다. 준비되면 상태가 활성으로 변경됩니다. 서비스를 프로비저닝하는 데 몇 분 정도 걸릴 수 있습니다.

gcloud CLI

제공된 기본값을 사용하여 기본 Metastore 서비스를 만들려면 다음 gcloud metastore services create 명령어를 실행합니다.

gcloud metastore services create SERVICE \
  --location=LOCATION

다음을 바꿉니다.

• SERVICE: 새 Dataproc Metastore 서비스 이름입니다.

• LOCATION: Dataproc Metastore를 만들려는 Google Cloud 리전입니다. 기본 위치를 설정할 수도 있습니다.

  이름 지정 규칙에 대한 자세한 내용은 리소스 이름 지정 규칙을 참조하세요.

REST

API 안내에 따라 API 탐색기를 사용하여 서비스를 만듭니다.

고급 설정을 사용하여 Dataproc Metastore 만들기

고급 설정을 사용하여 Dataproc Metastore를 만들면 네트워크 구성, 확장 설정, 엔드포인트 설정, 보안 설정, 선택적인 기능과 같은 구성을 수정해야 한다는 것을 알 수 있습니다.

Dataproc Metastore 2 또는 1

다음 안내에서는 고급 설정을 사용하여 Dataproc Metastore 2 또는 Dataproc Metastore 1 서비스를 만드는 방법을 보여줍니다.

참고: Hive 웨어하우스 디렉터리가 이미 Cloud Storage에 있으면 Dataproc Metastore 서비스를 만들 때 Metastore 구성 재정의를 설정해야 합니다.

콘솔

시작하기

1. Google Cloud 콘솔에서 Dataproc Metastore 페이지를 엽니다.

   Dataproc Metastore 열기

2. 탐색 메뉴에서 +만들기를 클릭합니다.

   Metastore 서비스 만들기 대화상자가 열립니다.

3. 사용할 Metastore 버전인 Dataproc Metastore 1 또는 Dataproc Metastore 2를 선택합니다.

   서비스 정보

   

   서비스 만들기 페이지 예시

   1. (선택사항): Dataproc Metastore 2의 경우. 가격 책정 및 용량 섹션에서 인스턴스 크기를 선택합니다.

      자세한 내용은 요금제 및 확장 구성을 참조하세요.

   2. 서비스 이름 필드에 서비스의 고유 이름을 입력합니다.

      이름 지정 규칙에 대한 자세한 내용은 리소스 이름 지정 규칙을 참조하세요.

   3. 데이터 위치를 선택합니다.

      적합한 리전 선택에 대한 자세한 내용은 사용 가능한 리전 및 영역과 리전 엔드포인트를 참조하세요.

   4. Hive Metastore 버전을 선택합니다.

      이 값을 수정하지 않으면 서비스에서 지원되는 최신 Hive 버전(현재 버전 3.1.2)이 사용됩니다.

      올바른 버전 선택에 대한 자세한 내용은 버전 정책을 참조하세요.

   5. 출시 채널을 선택합니다.

      이 값을 수정하지 않으면 Metastore에 Stable 값이 사용됩니다. 자세한 내용은 출시 채널을 참조하세요.

   6. TCP 포트를 입력합니다.

      Thrift 엔드포인트가 연결되는 TCP 포트입니다. 이 값을 수정하지 않으면 포트 번호 9083이 사용됩니다. 엔드포인트를 gRPC로 변경하면 이 값이 자동으로 443으로 변경되고, 이를 바꿀 수 없습니다.

   7. (선택사항) Dataproc Metastore 1의 경우. 서비스 등급을 선택합니다.

      서비스 등급은 서비스 용량에 영향을 줍니다. 자세한 내용은 서비스 등급을 참조하세요.

   엔드포인트 프로토콜

   • (선택사항) 엔드포인트 프로토콜을 선택합니다.

     선택한 기본 옵션은Apache Thrift입니다. 다른 엔드포인트에 대한 자세한 내용은 엔드포인트 프로토콜 선택을 참조하세요.

   네트워크 구성

   1. 네트워크 구성을 선택합니다.

      기본적으로 서비스는 하나의 VPC 네트워크에만 노출되고 default 네트워크를 사용합니다. default 네트워크에서는 서비스가 동일한 프로젝트의 다른 서비스에 연결될 수 있습니다.

      다음 작업을 완료하도록 네트워크 설정을 기본값에서 변경합니다.

      • Dataproc Metastore 서비스를 다른 프로젝트의 Dataproc Metastore 서비스에 연결합니다.
      • Dataproc 클러스터와 같은 다른 Google Cloud 서비스와 함께 Dataproc Metastore 서비스를 사용합니다.
      참고: gRPC 엔드포인트를 사용하는 경우 해당 설정이 사용 중지됩니다.

   2. 선택사항: 공유 VPC 네트워크 사용을 클릭하고 프로젝트 ID 및 VPC 네트워크 이름을 입력합니다.

   3. 선택사항: 여러 VPC 서브네트워크에서 서비스에 액세스할 수 있도록 설정을 클릭하고 서브네트워크를 선택합니다. 서브네트워크를 최대 5개까지 지정할 수 있습니다.

   4. 완료를 클릭합니다.

   메타데이터 통합

   • (선택사항) Data Catalog 동기화를 사용 설정합니다.

     자세한 내용은 Dataproc Metastore에서 Data Catalog로 동기화를 참조하세요.

   유지보수 기간

   • 선택사항: 유지보수 기간에 대해 요일 및 시간을 선택합니다.

     자세한 내용은 유지보수 기간을 참조하세요.

   보안

   1. 선택사항: Kerberos를 사용 설정합니다.

      참고: Kerberos를 사용 설정하려면 keytab 파일이 필요합니다. 이 파일에는 Kerberos 주 구성원 및 암호화된 키가 쌍으로 포함되어 있습니다. Keytab 파일에는 Hive Metastore를 위해 생성된 서비스 주체 항목이 포함되어 있어야 합니다. 자세한 내용은 서비스용 Kerberos 구성을 참조하세요.
      1. Kerberos를 사용 설정하려면 전환 버튼을 클릭합니다.
      2. 보안 비밀 리소스 ID를 선택하거나 입력합니다.
      3. 최신 보안 비밀 버전을 사용하도록 선택하거나 사용할 이전 항목을 선택합니다.

      4. Kerberos 주체를 입력합니다.

         이 Dataproc Metastore 서비스에 할당되는 주체입니다.

      5. krb5 config 파일을 찾습니다.

   2. (선택사항) 암호화 유형을 선택합니다.

      • 선택한 기본 옵션은 Google 관리 암호화 키입니다.

      • 고객 관리 키를 선택하려면 고객 관리 암호화 키(CMEK) 사용을 클릭합니다.

        자세한 내용은 고객 관리 암호화 키 사용을 참조하세요.

   Metastore 구성 재정의

   • 선택사항: Hive Metastore에 매핑을 적용하려면 + 재정의 추가를 클릭합니다.

     참고: Hive Metastore 웨어하우스 재정의를 설정하려면 Hive 웨어하우스 재정의 설정을 참조하세요.

   보조 버전 구성

   • 선택사항: 보조 버전 구성을 추가하려면 사용 설정을 클릭합니다.

     자세한 내용은 보조 버전을 참조하세요.

   데이터베이스 유형

   • (선택사항) 데이터베이스 유형을 선택합니다.

     데이터베이스 유형으로 MySQL 또는 Spanner를 선택합니다. MySQL이 기본 데이터베이스 유형입니다.

     특정 데이터베이스 유형 선택에 대한 자세한 내용은 데이터베이스 유형을 참조하세요.

   라벨

   • 선택사항: 메타데이터를 기술하는 선택적인 라벨을 추가 또는 삭제하려면 + 라벨 추가를 클릭합니다.

서비스 시작

서비스를 만들고 시작하려면 제출을 클릭합니다.

새 메타스토어 서비스가 Dataproc Metastore 페이지에 나타납니다. 서비스 사용이 준비될 때까지 상태가 생성 중으로 표시됩니다. 준비되면 상태가 활성으로 변경됩니다. 서비스를 프로비저닝하는 데 몇 분 정도 걸릴 수 있습니다.

gcloud CLI

1. Metastore를 만들려면 다음 gcloud metastore services create 명령어를 실행합니다.

   gcloud metastore services create SERVICE \
     --location=LOCATION \
     --instance-size=INSTANCE_SIZE \
     --scaling-factor=SCALING_FACTOR \
     --port=PORT \
     --tier=TIER \
     --endpoint-protocol=ENDPOINT_PROTOCOL \
     --database-type=DATABASE_TYPE \
     --hive-metastore-version=HIVE_METASTORE_VERSION \
     --data-catalog-sync=DATA_CATALOG_SYNC \
     --release-channel=RELEASE_CHANNEL \
     --hive-metastore-configs=METADATA_OVERRIDE \
     --labels=LABELS \
     --auxiliary-versions=AUXILIARY_VERSION \
     --network=NETWORK \
     --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2" \
     --kerberos-principal=KERBEROS_PRINCIPAL \
     --krb5-config=KRB5_CONFIG \
     --keytab=CLOUD_SECRET \
     --encryption-kms-key=KMS_KEY

   다음을 바꿉니다.

   서비스 설정:

   • SERVICE: Dataproc Metastore 서비스의 새 Dataproc Metastore 서비스 이름입니다. 예를 들면 0.1입니다. SCALING_FACTOR 값을 지정하면 INSTANCE_SIZE 값을 지정하지 않습니다.
   • LOCATION: Dataproc Metastore를 만들려는 Google Cloud 리전입니다. 기본 위치를 설정할 수도 있습니다.
   • PORT: 선택사항: Thrift 엔드포인트에 사용되는 TCP 포트입니다. 설정하지 않으면 9083이 사용됩니다. gRPC 엔드포인트를 사용하도록 선택하면 포트 번호가 자동으로 443으로 변경됩니다.
   • TIER: Dataproc Metastore 1의 선택사항: 새 서비스의 서비스 등급입니다. 설정하지 않으면 Developer 값이 사용됩니다.
   • ENDPOINT_PROTOCOL: 선택사항: 서비스에 대한 엔드포인트 프로토콜을 선택합니다.
   • DATABASE_TYPE: 선택사항: 서비스의 데이터베이스 유형을 선택합니다. 특정 데이터베이스 유형 선택에 대한 자세한 내용은 데이터베이스 유형을 참조하세요.
   • DATA_CATALOG_SYNC: 선택사항: Data Catalog 동기화 기능을 사용 설정합니다.
   • HIVE_METASTORE_VERSION: 선택사항: 서비스에 사용하려는 Hive Metastore 버전입니다. 예를 들면 3.1.2입니다. 설정하지 않으면 최신 Hive 버전이 사용됩니다.
   • RELEASE_CHANNEL: 선택사항: 서비스의 출시 채널입니다. 설정하지 않으면 Stable 값이 사용됩니다.
   • METADATA_OVERRIDE: 선택사항: 서비스에 적용하려는 Hive Metastore 재정의 구성입니다. k1=v1,k2=v2,k3=v3 형식의 쉼표로 구분된 목록을 사용합니다.
   • LABELS: 선택사항: 서비스에 메타데이터를 추가할 키-값 쌍입니다. k1=v1,k2=v2,k3=v3 형식의 쉼표로 구분된 목록을 사용합니다. Dataproc Metastore
   • AUXILIARY_VERSION: 선택사항: 보조 버전을 사용 설정합니다. 자세한 내용은 보조 버전을 참조하세요.

   확장 설정:

   • INSTANCE_SIZE: Dataproc Metastore 2의 선택사항: 멀티 리전 Dataproc Metastore의 인스턴스 크기입니다. 예를 들면 small, medium 또는 large입니다. INSTANCE_SIZE 값을 지정하면 SCALING_FACTOR 값을 지정하지 않습니다.
   • SCALING_FACTOR: Dataproc Metastore 2의 선택사항: Dataproc Metastore 서비스의 확장 인수입니다. 예를 들면 0.1입니다. SCALING_FACTOR 값을 지정하면 INSTANCE_SIZE 값을 지정하지 않습니다.

   네트워크 설정:

   • NETWORK: 서비스에 연결하려는 VPC 네트워크의 이름입니다. 설정하지 않으면 default 값이 사용됩니다.

     서비스와 다른 프로젝트에 속하는 VPC 네트워크를 사용하는 경우 상대 리소스 이름 전체를 제공해야 합니다. 예를 들면 projects/HOST_PROJECT/global/networks/NETWORK_ID입니다.

   • SUBNET1, SUBNET2: 선택사항: 서비스에 액세스할 수 있는 서브네트워크 목록입니다. ID, 정규화된 URL 또는 서브네트워크의 상대 이름을 사용할 수 있습니다. 서브네트워크를 최대 5개까지 지정할 수 있습니다.

     참고: --network에 값을 지정한 경우 이 매개변수를 사용할 수 없습니다.

   Kerberos 설정:

   • KERBEROS_PRINCIPAL: 선택사항: Keytab 및 KDC 모두에 있는 Kerberos 주체입니다. 일반적으로 "primary/instance@REALM" 주체 형식이 사용되지만, 정확한 형식은 없습니다.
   • KRB5_CONFIG: 선택사항: krb5.config 파일은 KDC 위치와 렐름 및 Kerberos 애플리케이션의 기본값이 포함된 KDC 및 Kerberos 렐름 정보를 지정합니다.
   • CLOUD_SECRET: 선택사항: Secret Manager 보안 비밀 버전의 상대 리소스 이름입니다.
   • KMS_KEY: 선택사항: 키 리소스 ID를 나타냅니다.

     미리보기

     이 제품 또는 기능에는 서비스별 약관의 일반 서비스 약관 섹션에 있는 'GA 이전 제공 서비스 약관'이 적용됩니다. GA 이전 제품 및 기능은 '있는 그대로' 제공되며 지원이 제한될 수 있습니다. 자세한 내용은 출시 단계 설명을 참조하세요.

2. 성공적으로 만들어졌는지 확인합니다.

REST

API 안내에 따라 API 탐색기를 사용하여 서비스를 만듭니다.

Dataproc Metastore에 대한 Hive 메타스토어 구성 재정의 설정

Apache Hive 웨어하우스 디렉터리가 Cloud Storage에 있으면 Metastore 구성 재정의를 설정해야 합니다. 이 재정의는 커스텀 데이터 웨어하우스를 Dataproc Metastore 서비스의 기본 웨어하우스 디렉터리로 설정합니다.

이 재정의를 설정하려면 먼저 Dataproc Metastore 서비스에 웨어하우스 디렉터리에 액세스하기 위한 객체 읽기 및 쓰기 권한이 있는지 확인합니다. 자세한 내용은 Hive 웨어하우스 디렉터리를 참조하세요.

다음 안내에서는 새 Dataproc Metastore 서비스에 대해 Hive Metastore 구성 재정의를 설정하는 방법을 보여줍니다.

콘솔

1. Google Cloud 콘솔에서 Dataproc Metastore 페이지를 엽니다.

   Dataproc Metastore 열기

2. 탐색 메뉴에서 +만들기를 클릭합니다.

3. Metastore 구성 재정의에서 다음 값을 입력합니다.

   • 키: hive.metastore.warehouse.dir.
   • 값: 웨어하우스 디렉터리의 Cloud Storage 위치입니다. 예를 들면 gs://my-bucket/path/to/location입니다.

4. 필요에 따라 나머지 서비스 옵션을 구성하거나 제공된 기본값을 사용합니다.

5. 제출을 클릭합니다.

   Dataproc Metastore 페이지로 돌아가서 서비스가 성공적으로 생성되었는지 확인합니다.

gcloud CLI

1. Hive 재정의를 사용하여 Dataproc Metastore 서비스를 만들려면 다음 gcloud metastore services create 명령어를 실행합니다.

   gcloud metastore services create SERVICE \
     --location=LOCATION \
     --hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"
   

   다음을 바꿉니다.

   • SERVICE: 새 Dataproc Metastore 서비스 이름입니다.
   • LOCATION: Dataproc Metastore를 만들려는 Google Cloud 리전입니다. 기본 위치를 설정할 수도 있습니다.
   • CUSTOMER_DIR: 웨어하우스 디렉터리의 Cloud Storage 위치입니다. 예를 들면 gs://my-bucket/path/to/location입니다.

2. 성공적으로 만들어졌는지 확인합니다.

자동 확장을 사용하는 Dataproc Metastore 만들기

Dataproc Metastore 2는 자동 확장을 지원합니다. 자동 확장을 사용하는 경우 최소 배율 및 최대 배율을 설정할 수 있습니다. 이 설정을 완료하면 서비스에서 워크로드를 실행하는 데 필요한 배율이 자동으로 증가하거나 감소합니다.

자동 확장 고려사항

• 자동 확장 및 배율은 상호 배타적인 옵션입니다. 예를 들어 자동 확장을 사용 설정하면 배율 또는 크기를 수동으로 설정할 수 없습니다.
• 자동 확장은 단일 리전 Dataproc Metastore 인스턴스에만 사용할 수 있습니다.
• 자동 확장이 사용 설정되면 기존 배율 설정이 삭제됩니다.
• 자동 확장이 사용 중지된 경우:
  • 기존 자동 확장 설정이 삭제됩니다.
  • 배율은 서비스에 구성된 마지막 autoscaling_factor로 설정됩니다.
• 최소 및 최대 자동 확장 요소는 선택사항입니다. 설정하지 않으면 기본값은 각각 0.1 및 6입니다.

자동 확장이 사용 설정된 Dataproc Metastore 서비스 2를 만드는 방법을 알아보려면 다음 탭 중 하나를 선택합니다.

Console

1. Google Cloud 콘솔에서 Dataproc Metastore 페이지로 이동합니다.

   Dataproc Metastore로 이동

2. 탐색 메뉴에서 +만들기를 클릭합니다.

   Metastore 서비스 만들기 대화상자가 열립니다.

3. Dataproc Metastore 2를 선택합니다.

4. 가격 책정 및 용량 섹션에서 엔터프라이즈 - 단일 리전을 선택합니다.

5. 인스턴스 크기에서 자동 확장 사용 설정을 클릭합니다.

6. 인스턴스 크기에서 슬라이더를 사용하여 최소 및 최대 인스턴스 크기를 선택합니다.

7. 서비스를 만들고 시작하려면 제출을 클릭합니다.

   새 메타스토어 서비스가 Dataproc Metastore 페이지에 나타납니다. 서비스 사용이 준비될 때까지 상태가 생성 중으로 표시됩니다. 준비되면 상태가 활성으로 변경됩니다. 서비스를 프로비저닝하는 데 몇 분 정도 걸릴 수 있습니다.

REST

참고: 다음 명령어는 사용자 계정으로 gcloud CLI에 로그인했다고 가정합니다. gcloud init 또는 gcloud auth login을 실행하거나 gcloud CLI에 자동으로 로그인하는 Cloud Shell을 사용하여 로그인할 수 있습니다. gcloud auth list를 실행하여 활성 계정을 확인할 수 있습니다.

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"scaling_config":{"autoscaling_config":{"autoscaling_enabled": true,"limit_config":{"max_scaling_factor":MAX_SCALING_FACTOR,"min_scaling_factor": MIN_SCALING_FACTOR}}}}' \
-H "Content-Type:application/json" \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/services?service_id=SERVICE_ID

다음을 바꿉니다.

• MIN_INSTANCES(선택사항): 자동 확장 구성에서 사용할 최소 인스턴스 수입니다. 이 값을 지정하지 않으면 기본값인 0.1이 사용됩니다.
• MAX_INSTANCES(선택사항): 자동 확장 구성에서 사용할 최대 인스턴스 수입니다. 이 값을 지정하지 않으면 기본값인 6이 사용됩니다.

멀티 리전 Dataproc Metastore 서비스 만들기

멀티 리전 Dataproc Metastore를 만들려면 멀티 리전 Dataproc Metastore 서비스 설정을 참조하세요.

공유 VPC를 사용하여 Dataproc Metastore 서비스 만들기

공유 VPC를 사용하면 여러 프로젝트의 Dataproc Metastore 리소스를 공통 VPC 네트워크에 연결할 수 있습니다.

공유 VPC로 구성된 Dataproc Metastore 서비스를 만들려면 고급 설정을 사용하여 서비스 만들기를 참조하세요.

고려사항

• VPC 네트워크는 gRPC 엔드포인트 프로토콜로 구성된 Dataproc Metastore 서비스와 관련이 없습니다.

• Thrift 엔드포인트 프로토콜로 구성된 Dataproc Metastore 서비스의 경우 Dataproc Metastore 서비스 및 연결된 Dataproc 클러스터가 동일한 공유 VPC 네트워크를 사용하는지 확인합니다.

• Thrift 엔드포인트 프로토콜 및 Private Service Connect로 구성된 Dataproc Metastore 서비스의 경우 공유 VPC 네트워크에서 서브네트워크를 사용해야 합니다.

공유 VPC 네트워크에 필요한 IAM 역할

VPC를 사용하여 다른 프로젝트에 속한 네트워크에서 액세스할 수 있는 Dataproc Metastore 서비스를 만들려면 서비스 프로젝트의 Dataproc Metastore 서비스 에이전트([e-mail])에 roles/metastore.serviceAgent를 부여해야 합니다.

주의사항: 이 IAM 정책 변경으로 인해 metastore.services.create 권한이 있는 Dataproc Metastore 사용자가 네트워크 프로젝트에서 주소 및 피어링을 간접적으로 생성할 수 있습니다.

gcloud projects add-iam-policy-binding NETWORK_PROJECT_ID \
   --role "roles/metastore.serviceAgent" \
   --member "serviceAccount:[e-mail]"

참고: 서비스 프로젝트에서 Dataproc Metastore 서비스를 만든 적이 없는 경우 gcloud projects add-iam-policy-binding 명령어가 Service account [SERVICE_ACCOUNT_NAME] does not exist.를 포함한 오류 메시지와 함께 실패할 수 있습니다. 이 경우 서비스 프로젝트에 기존에 없던 네트워크를 사용하여 서비스 만들기를 시도하여 문제를 해결할 수 있습니다. 서비스 만들기가 실패하지만 서비스 계정 만들기가 트리거됩니다. 그런 다음 명령어가 성공합니다.

일반적인 문제 해결

일반적인 문제에는 다음이 포함됩니다.

• VPC 피어링 제한. 메타스토어를 만들기 전에 VPC 피어링을 제한하는 조직 정책 제약조건을 설정하지 않으면 메타스토어 만들기에 실패합니다. 올바른 VPC 구성 설정에 대한 자세한 내용은 VPC 피어링을 제한하는 제약조건으로 인해 서비스 생성이 실패함을 참조하세요.

• VPC 네트워크 문제 Metastore를 만들 때 사용 중인 VPC 네트워크에서 Dataproc Metastore 서비스에 필요한 RFC 1918 주소가 부족해질 수 있습니다. 이 문제를 해결하는 방법은 할당된 IP 범위가 소진됨을 참조하세요.

다음 단계

• Dataproc 클러스터 연결
• 서비스 업데이트 및 삭제
• 서비스로 메타데이터 가져오기