Dataproc Metastore で Private Service Connect を使用する

Private Service Connect では、VPC ピアリングを使用しない Dataproc Metastore サービスを作成できます。このページでは、Private Service Connect の概要と、Dataproc Metastore の代替のネットワーキングオプションとして使用する方法について説明します。

Dataproc Metastore と VPC の連携の仕組み

Dataproc Metastore は、プライベート IP エンドポイントのみを公開することで、メタデータアクセスを保護します。また、VPC ピアリングを使用して、VPC ネットワーク内の VM への接続を制限します。

Dataproc Metastore では、各 VPC ネットワークのリージョンごとに以下の構成が必要です。

1 つのピアリング割り当て
/17 と /20 の CIDR ブロック

そのため、混雑した VPC ネットワークでは、VPC ピアリングと IP アドレスの予約の設定が困難になる場合があります。同様に、VPC ネットワークに、追加のピアリングリクエストに対応できる十分なピアリング割り当てがない場合があります。これらの制限の両方により、新しい Dataproc Metastore サービスを作成できない場合があります。

これらの問題を回避するには、Private Service Connect で Dataproc Metastore を使用します。

Dataproc Metastore と Private Service Connect の連携の仕組み

Private Service Connect は、VPC ネットワーク全体で Dataproc Metastore メタデータへのプライベート接続を提供します。

Dataproc Metastore で Private Service Connect を使用するには、次の設定が必要です。

サブネットワーク内での単一のアドレス予約。
Dataproc Metastore エンドポイントを公開するサービスアタッチメントを対象とする転送ルール。アドレス予約と転送ルールは、Dataproc Metastore サービスの作成呼び出しの一部として作成されます。

考慮事項

Private Service Connect を使用する Dataproc Metastore サービスは、サービス作成時に指定されたサブネットワークの VPC ネットワークからのアクセスのみをサポートします。
Dataproc Metastore は、指定された各サブネットワークでアドレスを予約し、転送ルールを作成します。各サブネットワークには、Dataproc Metastore メタデータエンドポイントへのアクセスに使用できる Thrift エンドポイント URI があります。

制限事項

gRPC エンドポイントプロトコルを使用する Dataproc Metastore サービスは、Private Service Connect をサポートしていません。
リバース接続は Private Service Connect ではサポートされていません。つまり、Private Service Connect で Kerberos 構成を使用できません。
Private Service Connect で構成された Dataproc Metastore サービスからサブネットを動的に追加または削除することはできません。サブネットを追加または削除する場合は、サービスを再作成する必要があります。
Private Service Connect を使用する Dataproc Metastore サービスを更新して VPC を使用することはできません。またはその逆も同様です。

Private Service Connect を使用して Dataproc Metastore サービスを作成する

次の手順では、サービス作成時に Private Service Connect を構成する方法を示します。

Console

Google Cloud コンソールで、[Dataproc Metastore] ページを開きます。

Dataproc Metastore に移動
[Dataproc Metastore] ページの上部にある [作成] をクリックします。

[Create service] ページが開きます。
必要に応じてサービスを構成します。
[ネットワーク構成] で、[複数の VPC サブネットワークでサービスにアクセスできるようにする] をクリックします。
[サブネットワーク] を選択します。最大 5 つのサブネットワークを指定できます。
[完了] をクリックします。
[送信] をクリックします。

サービスのネットワーク構成を確認します。

Google Cloud コンソールで、[Dataproc Metastore] ページを開きます。

Dataproc Metastore に移動
[Dataproc Metastore] ページで、表示するサービスのサービス名をクリックします。

対象のサービスのサービスの詳細ページが開きます。
[構成] タブで、詳細に複数の VPC サブネットワーク URI が表示されていることを確認します。

gcloud

Private Service Connect を使用してサービスを作成するには、次の gcloud metastore services create コマンドを実行します。

gcloud metastore services create SERVICE \
   --location=LOCATION \
   --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"

または

gcloud metastore services create SERVICE \
   --location=LOCATION \
   --network-config-from-file=NETWORK_CONFIG_FROM_FILE

正常に作成されたことを確認します。

REST

API Explorer を使用し、API の手順に従ってサービスを作成します。

create リクエストパラメータで、Network Config フィールドを使用して Private Service Connect を構成します。1～5 個のサブネットワークを指定できます。

     "network_config": {
       "consumers": [
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
           {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
       ]
     }