Dataproc Metastore のデプロイに関するクイックスタート

このページでは、Google Cloud Console で Dataproc Metastore サービスを作成し、そのサービスを Hive メタストアとして使用する Dataproc クラスタを作成する方法について説明します。

始める前に

  1. Google Cloud アカウントにログインします。Google Cloud を初めて使用する場合は、アカウントを作成して、実際のシナリオでの Google プロダクトのパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。
  2. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

    プロジェクト セレクタに移動

  3. Cloud プロジェクトに対して課金が有効になっていることを確認します。プロジェクトに対して課金が有効になっていることを確認する方法を学習する

  4. Dataproc Metastore API を有効にします。

    API を有効にする

アクセス制御

  • サービスを作成するには、metastore.services.create IAM 権限を含む IAM ロールを付与する必要があります。Dataproc Metastore 固有のロール roles/metastore.admin および roles/metastore.editor が作成権限の付与に使用できます。

  • また、従来のロールの roles/ownerroles/editor も、ユーザーやグループへの作成権限の付与に使用できます。

詳細については、Dataproc Metastore IAM とアクセス制御をご覧ください。

Dataproc Metastore サービスを作成する

以下の手順では、Google Cloud Console、gcloud ツール、または Dataproc Metastore API を使用して Dataproc Metastore サービスを作成する方法を説明します。

Console

  1. Cloud Console で [Create service] ページを開きます。

    Cloud Console で [Create service] ページを開く

    [Create service] ページ
  2. [サービス名] フィールドに example-service を入力します。

  3. [Data location] を選択します。 リージョンの選択については、使用可能なリージョンをご覧ください。

  4. その他のサービス構成オプションには、指定されたデフォルト値を使用します。

  5. サービスを作成して開始するには、[送信] ボタンをクリックします。

サービスの一覧に新しいサービスが表示されます。

gcloud

サービスは、次の gcloud metastore services create コマンドを使用して作成します。

 gcloud metastore services create example-service \
     --location=LOCATION
 

LOCATION は、サービスを作成する Compute Engine のリージョンに置き換えます。Dataproc Metastore が使用できるロケーションを指定してください。

REST

API Explorer を使用し、API の手順に従ってサービスを作成します。

サービスを使用する Dataproc クラスタを作成する

サービスを作成すると、そのサービスを Hive Metastore として使用する Dataproc クラスタを作成して接続できます。

Dataproc イメージと Dataproc Metastore Hive のバージョンは互換性がある必要があります。

  • Dataproc 2.x イメージには、Hive 3.1.2 で作成された Dataproc Metastore サービスが必要です。

  • Dataproc 1.x イメージには、Hive 2.3.6 または 3.1.2 で作成された Dataproc Metastore サービスが必要ですが、2.3.6 では最適に動作します。

Dataproc イメージ バージョンの詳細や、Dataproc イメージで使用されている Hive のバージョンを確認するには、Dataproc のバージョニングをご覧ください。

Console

  1. Cloud Console で、Dataproc の [クラスタの作成] ページを開きます。

    Cloud Console で [クラスタの作成] ページを開く

  2. [クラスタ名] フィールドに「example-cluster」と入力します。

  3. [リージョン] および [ゾーン] メニューで、クラスタのリージョンとゾーンを選択します。個別のリージョンを選択して、指定したリージョン内のリソースとメタデータの保存場所を分離できます。個別のリージョンを選択した場合は、ゾーンとして [指定しない] を選択することで、選択したリージョン内のゾーンが Dataproc により選択されるようにできます(Dataproc の自動ゾーン プレースメントをご覧ください)。

  4. 他のすべてのオプションには、指定されたデフォルトを使用します。

  5. [クラスタのカスタマイズ] タブをクリックします。

  6. [ネットワーク構成] セクションで、メタストア サービスの作成時に指定した同じネットワークを選択します。

  7. [Dataproc Metastore] セクションで、example-service を選択します。

  8. [作成] をクリックしてクラスタを作成します。

新しいクラスタが [クラスタ] リストに表示されます。クラスタ ステータスは、クラスタが使用できるようになるまでは [プロビジョニング] と表示され、その後 [実行中] に変わります。

gcloud

次の gcloud dataproc clusters create コマンドを使用して、クラスタを作成します。

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/example-service \
    --region=LOCATION
 

PROJECT_ID は、Dataproc Metastore サービスを作成したプロジェクトのプロジェクト ID で置き換えます。

LOCATION は、前の手順で Dataproc Metastore サービス用に指定したものと同じリージョンに置き換えます。

REST

API Explorer を使用し、API の手順に従ってクラスタを作成します。

クリーンアップ

このクイックスタートで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、次の手順を行います。

  1. Cloud Console で [リソースの管理] ページに移動します。

    [リソースの管理] に移動

  2. 削除するプロジェクトが組織に関連付けられている場合は、[名前] 列の [組織] リストを展開します。
  3. プロジェクト リストで、削除するプロジェクトを選択し、[削除] をクリックします。
  4. ダイアログでプロジェクト ID を入力し、[シャットダウン] をクリックしてプロジェクトを削除します。

あるいは、このチュートリアルで使用したリソースを削除することもできます。

  1. Dataproc Metastore サービスを削除します。

    Console

    1. Cloud Console で、Dataproc Metastore ページを開きます。

      Cloud Console で Dataproc Metastore を開く

    2. サービス名の左側にあるチェックボックスをオンにして、example-service を選択します。

    3. [Dataproc Metastore] ページの上部にある [DELETE] をクリックして、サービスを削除します。

    4. ダイアログで [削除] をクリックして、削除を確定します。

    サービスがサービスの一覧に表示されなくなります。

    gcloud

    サービスは、次の gcloud metastore services delete コマンドを使用して削除します。

     gcloud metastore services delete example-service \
         --location=LOCATION
     

    LOCATION は、サービスが作成された Compute Engine のリージョンに置き換えます。

    REST

    API Explorer を使用し、API の手順に従ってサービスを削除します。

    削除はすべてすぐに正常終了します。

  2. Dataproc Metastore サービスの Cloud Storage バケットを削除します

  3. Dataproc Metastore サービスを使用した Dataproc クラスタを削除します。

次のステップ