빠른 시작: Dataproc Metastore 배포

이 페이지에서는 Dataproc Metastore 서비스와 서비스를 Hive 메타스토어로 사용하는 Dataproc 클러스터를 만드는 방법을 보여줍니다.

시작하기 전에

  1. Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.
  2. Google Cloud Console의 프로젝트 선택기 페이지에서 Google Cloud 프로젝트를 선택하거나 만듭니다.

    프로젝트 선택기로 이동

  3. Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다. 프로젝트에 결제가 사용 설정되어 있는지 확인하는 방법을 알아보세요.

  4. Dataproc Metastore API를 사용 설정합니다.

    API 사용 설정

액세스 제어

  • 서비스를 만들려면 metastore.services.create IAM 권한이 포함된 IAM 역할을 부여 받아야 합니다. Dataproc Metastore 특정 역할인 roles/metastore.adminroles/metastore.editor에는 만들기 권한이 포함되어 있습니다.

  • roles/ownerroles/editor 레거시 역할을 사용하여 사용자 또는 그룹에 만들기 권한을 부여할 수 있습니다.

자세한 내용은 Dataproc Metastore IAM 및 액세스 제어를 참조하세요.

Dataproc Metastore 서비스 만들기

다음 안내에서는 Google Cloud Console, gcloud 도구, Dataproc Metastore API를 사용하여 Dataproc Metastore 서비스를 만드는 방법을 설명합니다.

Console

  1. Cloud Console에서 서비스 만들기 페이지를 엽니다.

    Cloud Console에서 서비스 만들기 페이지를 엽니다.

    서비스 만들기 페이지
  2. 서비스 이름 필드에 example-service를 입력합니다.

  3. 데이터 위치를 선택합니다. 리전 선택에 대한 자세한 내용은 사용 가능한 리전을 참조하세요.

  4. 다른 서비스 구성 옵션에 제공된 기본값을 사용합니다.

  5. 서비스를 만들고 시작하려면 제출 버튼을 클릭합니다.

서비스 목록에 새 서비스가 나타납니다.

gcloud

다음 gcloud metastore services create 명령어를 실행하여 서비스를 만듭니다.

 gcloud metastore services create example-service \
     --location=LOCATION
 

LOCATION을 서비스를 생성할 Compute Engine 리전으로 바꿉니다. 위치에서 Dataproc Metastore를 사용할 수 있는지 확인합니다.

REST

API 안내에 따라 API 탐색기를 사용하여 서비스를 만듭니다.

서비스를 사용하는 Dataproc 클러스터 만들기

서비스를 만든 후에는 서비스를 Hive Metastore로 사용하는 Dataproc 클러스터를 만들고 연결할 수 있습니다.

Dataproc 이미지 및 Dataproc Metastore Hive 버전이 호환되어야 합니다. 다음 이미지 버전 관리 페이지에서 Hive 버전이 호환되는지 확인하세요.

자세한 내용은 Dataproc 이미지 버전 목록을 참조하세요.

Console

  1. Cloud Console에서 Dataproc 클러스터 만들기 페이지를 엽니다.

    Cloud Console에서 클러스터 만들기 페이지를 엽니다.

  2. 클러스터 이름 필드에 example-cluster를 입력합니다.

  3. 리전영역 메뉴에서 클러스터의 리전과 영역을 선택합니다. 고유 리전을 선택하여 지정된 리전 내에서 리소스와 메타데이터 스토리지 위치를 분리할 수 있습니다. 고유 리전을 선택한 경우 영역에 대해 '선호 항목 없음'을 선택하여 Dataproc이 클러스터에 선택된 리전 내에서 영역을 선택하도록 할 수 있습니다(Dataproc 자동 영역 배치 참조).

  4. 다른 모든 옵션에는 제공된 기본값을 사용합니다.

  5. 클러스터 맞춤설정 탭을 클릭합니다.

  6. 네트워크 구성 섹션에서 메타스토어 서비스 생성 중에 지정된 동일한 네트워크를 선택합니다.

  7. Dataproc Metastore 섹션에서 example-service를 선택합니다.

  8. 만들기를 클릭하여 클러스터를 만듭니다.

새 클러스터가 클러스터 목록에 표시됩니다. 클러스터 상태는 클러스터를 사용할 준비가 될 때까지 '프로비저닝'으로 표시되고 이후 '실행 중'으로 변경됩니다.

gcloud

다음 gcloud dataproc clusters create 명령어를 실행하여 클러스터를 만듭니다.

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/example-service \
    --region=LOCATION
 

PROJECT_ID를 Dataproc Metastore 서비스를 만든 프로젝트 ID로 바꿉니다.

LOCATION을 Dataproc Metastore 서비스에 지정한 리전으로 바꿉니다.

REST

API 안내에 따라 API 탐색기를 사용하여 클러스터를 만듭니다.

삭제

이 빠른 시작에서 사용한 리소스의 비용이 Google Cloud 계정에 청구되지 않도록 하려면 다음 단계를 따르세요.

  1. Cloud Console에서 리소스 관리 페이지로 이동합니다.

    리소스 관리로 이동

  2. 삭제하려는 프로젝트가 조직에 연결되어 있으면 이름 열에서 조직 목록을 확장합니다.
  3. 프로젝트 목록에서 삭제할 프로젝트를 선택하고 삭제를 클릭합니다.
  4. 대화상자에서 프로젝트 ID를 입력한 후 종료를 클릭하여 프로젝트를 삭제합니다.

또는 이 튜토리얼에서 사용된 리소스를 삭제할 수 있습니다.

  1. Dataproc Metastore 서비스를 삭제합니다.

    Console

    1. Cloud Console에서 Dataproc Metastore 페이지를 엽니다.

      Cloud Console에서 Dataproc Metastore 열기

    2. 서비스 이름 왼쪽의 체크박스를 선택하여 example-service를 선택합니다.

    3. Dataproc Metastore 페이지 상단에서 삭제를 클릭하여 서비스를 삭제합니다.

    4. 대화상자에서 삭제를 클릭하여 삭제를 확인합니다.

    서비스가 서비스 목록에 더 이상 표시되지 않습니다.

    gcloud

    다음 gcloud metastore services delete 명령어를 사용하여 서비스를 삭제합니다.

     gcloud metastore services delete example-service \
         --location=LOCATION
     

    LOCATION을 서비스가 생성된 Compute Engine 리전으로 바꿉니다.

    REST

    API 안내에 따라 API 탐색기를 사용하여 서비스를 삭제합니다.

    모든 삭제가 즉시 수행됩니다.

  2. Dataproc Metastore 서비스에 대해 Cloud Storage 버킷을 삭제합니다.

  3. Dataproc Metastore 서비스를 사용한 Dataproc 클러스터를 삭제합니다.

다음 단계