Dataproc Metastore サービスとクラスタの作成

クイックスタート: Dataproc Metastore サービスとクラスタの作成

Dataproc Metastore サービスとクラスタの作成

このページでは、Dataproc Metastore サービスと、サービスを Hive メタストアとして使用する Dataproc クラスタを作成する方法について説明します。

始める前に

1. Google Cloud アカウントにログインします。Google Cloud を初めて使用する場合は、アカウントを作成して、実際のシナリオでの Google プロダクトのパフォーマンスを評価してください。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。

2. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

   注: この手順で作成するリソースをそのまま保持する予定でない場合、既存のプロジェクトを選択するのではなく、新しいプロジェクトを作成してください。チュートリアルの終了後にそのプロジェクトを削除すれば、プロジェクトに関連するすべてのリソースを削除できます。

   プロジェクト セレクタに移動

3. Cloud プロジェクトに対して課金が有効になっていることを確認します。詳しくは、プロジェクトで課金が有効になっているかどうかを確認する方法をご覧ください。

4. Google Cloud Console の [プロジェクト セレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

   注: この手順で作成するリソースをそのまま保持する予定でない場合、既存のプロジェクトを選択するのではなく、新しいプロジェクトを作成してください。チュートリアルの終了後にそのプロジェクトを削除すれば、プロジェクトに関連するすべてのリソースを削除できます。

   プロジェクト セレクタに移動

5. Cloud プロジェクトに対して課金が有効になっていることを確認します。詳しくは、プロジェクトで課金が有効になっているかどうかを確認する方法をご覧ください。

6. Dataproc Metastore API を有効にします。

   API を有効にする

アクセス制御

• サービスを作成するには、metastore.services.create IAM 権限を含む IAM ロールをリクエストする必要があります。Dataproc Metastore 固有のロール roles/metastore.admin と roles/metastore.editor には、作成権限が含まれています。

• 従来のロールの roles/owner と roles/editor を使用して、ユーザーやグループに作成権限を付与できます。

IAM ポリシーを取得して設定するには、以下を使用できます。

• Google Cloud Console については、Google Cloud Console を使用して IAM のロールを付与するをご覧ください。
• REST API については、IAM API をご覧ください。
• gcloud コマンドラインについては、Google Cloud CLI IAM をご覧ください。

詳しくは、IAM でアクセスを管理するをご覧ください。

Dataproc Metastore サービスを作成する

以下の手順では、Google Cloud Console、gcloud CLI、または Dataproc Metastore API を使用して Dataproc Metastore サービスを作成する方法を説明します。

Console

1. Cloud Console で [Create service] ページを開きます。

   Cloud Console で [Create service] ページを開く

   

2. [サービス名] フィールドに example-service を入力します。

3. [Data location] を選択します。 リージョンの選択については、Cloud のロケーションをご覧ください。

4. その他のサービス構成オプションには、指定されたデフォルト値を使用します。

5. サービスを作成して開始するには、[送信] ボタンをクリックします。

サービスの一覧に新しいサービスが表示されます。

gcloud

次のgcloud metastore services createコマンドを実行してサービスを作成します。

 gcloud metastore services create example-service \
     --location=LOCATION
 

LOCATION は、サービスを作成する Compute Engine のリージョンに置き換えます。そのロケーションで Dataproc Metastore が利用可能なことを確認してください。

REST

API Explorer を使用し、API の手順に従ってサービスを作成します。

サービスを使用する Dataproc クラスタを作成する

サービスを作成すると、そのサービスを Hive Metastore として使用する Dataproc クラスタを作成して接続できます。

Dataproc イメージと Dataproc Metastore Hive のバージョン間には互換性があることが必要です。次のイメージ バージョニング ページを確認して、Hive バージョンに互換性があることを確認してください。

• Dataproc 2.0.x リリース バージョン
• Dataproc 1.5.x リリース バージョン
• Dataproc 1.4.x リリース バージョン

詳細については、Dataproc イメージ バージョン リストをご覧ください。

Console

1. Cloud Console で、Dataproc の [クラスタの作成] ページを開きます。

   Cloud Console で [クラスタの作成] ページを開く

2. [クラスタ名] フィールドに「example-cluster」と入力します。

3. [リージョン] および [ゾーン] メニューで、クラスタのリージョンとゾーンを選択します。個別のリージョンを選択して、指定したリージョン内のリソースとメタデータの保存場所を分離できます。個別のリージョンを選択した場合は、ゾーンとして [指定しない] を選択することで、選択したリージョン内のゾーンが Dataproc により選択されるようにできます（Dataproc の自動ゾーン プレースメントをご覧ください）。

   注: 最適なネットワーク接続を実現するには、Dataproc Metastore と同じリージョンに Dataproc クラスタを作成する必要があります。

4. 他のすべてのオプションには、指定されたデフォルトを使用します。

5. [クラスタのカスタマイズ] タブをクリックします。

6. [ネットワーク構成] セクションで、メタストア サービスの作成時に指定した同じネットワークを選択します。

7. [Dataproc Metastore] セクションで、example-service を選択します。

8. [作成] をクリックしてクラスタを作成します。

新しいクラスタが [クラスタ] リストに表示されます。クラスタが使用可能になるまで、クラスタのステータスは [プロビジョニング] と表示されます。その後、ステータスは [実行中] に変わります。

gcloud

次のgcloud dataproc clusters createコマンドを実行してクラスタを作成します。

 gcloud dataproc clusters create example-cluster \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/example-service \
    --region=LOCATION
 

PROJECT_ID は、Dataproc Metastore サービスを作成したプロジェクトのプロジェクト ID に置き換えます。

LOCATION は、Dataproc Metastore サービス用に指定したリージョンに置き換えます。

注: 最適なネットワーク接続を実現するため、Dataproc クラスタは、Dataproc Metastore サービスと同じリージョンに作成してください。また、Dataproc クラスタは、Dataproc Metastore サービスと同じネットワークに存在する必要もあります。

REST

API Explorer を使用し、API の手順に従ってクラスタを作成します。

クリーンアップ

このページで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、次の手順を行います。

注意: プロジェクトを削除すると、次のような影響があります。

• プロジェクト内のすべてのものが削除されます。このチュートリアルで既存のプロジェクトを使用した場合、それを削除すると、そのプロジェクトで行った他の作業もすべて削除されます。
• カスタム プロジェクト ID が失われます。このプロジェクトを作成したときに、将来使用するカスタム プロジェクト ID を作成した可能性があります。そのプロジェクト ID を使用した URL（たとえば、appspot.com）を保持するには、プロジェクト全体ではなくプロジェクト内の選択したリソースだけを削除します。

複数のチュートリアルとクイックスタートを検討する予定がある場合は、プロジェクトを再利用すると、プロジェクトの割り当て制限を超えないようにできます。

1. Cloud Console で [リソースの管理] ページに移動します。

   [リソースの管理] に移動

2. 削除するプロジェクトが組織に関連付けられている場合は、[名前] 列の [組織] リストを展開します。
3. プロジェクト リストで、削除するプロジェクトを選択し、[削除] をクリックします。
4. ダイアログでプロジェクト ID を入力し、[シャットダウン] をクリックしてプロジェクトを削除します。

あるいは、このチュートリアルで使用したリソースを削除することもできます。

1. Dataproc Metastore サービスを削除します。

   Console

   1. Cloud Console で、Dataproc Metastore ページを開きます。

      Cloud Console で Dataproc Metastore を開く

   2. サービス名の左側にあるチェックボックスをオンにして、example-service を選択します。

   3. [Dataproc Metastore] ページの上部にある [削除] をクリックして、そのサービスを削除します。

   4. ダイアログで [Delete] をクリックして、削除を確定します。

   サービスがサービスの一覧に表示されなくなります。

   gcloud

   次の gcloud metastore services delete コマンドを実行して、サービスを削除します。

    gcloud metastore services delete example-service \
        --location=LOCATION
    

   LOCATION は、サービスが作成された Compute Engine のリージョンに置き換えます。

   REST

   API Explorer を使用し、API の手順に従ってサービスを削除します。

   削除はすべてすぐに正常終了します。

2. Dataproc Metastore サービスの Cloud Storage バケットを削除します。

   注: Dataproc Metastore サービスを削除しても、バケットは削除されません。

3. Dataproc Metastore サービスを使用した Dataproc クラスタを削除します。

次のステップ

• Dataproc Metastore とは
• サービスの作成
• サービスにメタデータをインポートする