Dataproc Metastore のネットワーク アクセスを構成する

このページでは、Dataproc Metastore インスタンスのネットワーク アクセスを構成するための詳細なガイダンスを提供します。Dataproc クラスタと Dataproc Serverless ワークロードが、マネージド Dataproc Metastore サービスと安全かつプライベートに通信するには、ネットワーク設定が正しく行われていることが不可欠です。

ネットワーキングの主なコンセプト

Dataproc Metastore インスタンスは通常、Google が管理するサービス プロデューサー ネットワーク内に存在し、プライベート接続を使用して Virtual Private Cloud ネットワークと通信します。設定を成功させるには、次のコンセプトを理解することが重要です。

  • 共有 Virtual Private Cloud: Dataproc クラスタまたは Dataproc Serverless ワークロードが、ホスト プロジェクトの共有 Virtual Private Cloud ネットワークを使用するサービス プロジェクトにある場合は、ホスト プロジェクトで適切なネットワーク構成が行われていることを確認します。詳細については、共有 Virtual Private Cloud の概要をご覧ください。
  • 限定公開の Google アクセス: Dataproc Metastore インスタンスは、Virtual Private Cloud ネットワークとのプライベート通信に限定公開の Google アクセスを使用することがよくあります。これにより、Virtual Private Cloud 内の仮想マシン（VM）インスタンスが内部 IP アドレスを使用して Google API やサービスに接続できるようになります。詳細については、限定公開の Google アクセスをご覧ください。
  • VPC ネットワーク ピアリング: このメカニズムにより、2 つの Virtual Private Cloud ネットワーク間でプライベート IP 接続が可能になり、一方のネットワーク内のリソースが内部 IP アドレスを使用して他方のネットワーク内のリソースと通信できるようになります。Dataproc Metastore は、設定の一環として、Virtual Private Cloud ネットワークへのマネージド VPC ネットワーク ピアリング接続を確立します。詳細については、VPC ネットワーク ピアリングをご覧ください。
  • ファイアウォール ルール: Dataproc ワークロードと Dataproc Metastore インスタンス間のトラフィックを許可するには、適切なファイアウォール ルールが必要です。
  • Cloud DNS 解決: Dataproc Metastore エンドポイント URI をプライベート IP アドレスに解決するように、Virtual Private Cloud ネットワーク内で DNS 解決が正しく構成されていることを確認します。

設定手順

Dataproc Metastore インスタンスのネットワーク アクセスが適切であることを確認する手順は次のとおりです。

1. プライベート サービス アクセスを構成する

Dataproc Metastore は、プライベート サービス アクセスを使用して、Virtual Private Cloud ネットワークと Dataproc Metastore インスタンスが存在する Google 管理のサービス プロデューサー ネットワークの間にプライベート接続を確立します。

  • Private Service Access 接続を確認する:
    1. Google Cloud コンソールで、[Virtual Private Cloud ネットワーク > VPC ネットワーク ピアリング] に移動します。
    2. servicenetworking-googleapis-com という名前のピアリング接続が存在し、その状態が ACTIVE であることを確認します。
    3. この接続がない場合や有効でない場合は、プライベート サービス アクセスの構成の手順に沿って操作します。これには、サービス プロデューサー ネットワークの IP アドレス範囲の割り当てが含まれます。

2. ファイアウォール ルールを構成する

Virtual Private Cloud ネットワーク（または、該当する場合は共有 Virtual Private Cloud ホスト プロジェクト）のファイアウォール ルールで必要なトラフィックが許可されていることを確認します。

  • ワークロードからメタストアへの下り（外向き）ルール:
    • 下り（外向き）ファイアウォール ルールで、Dataproc クラスタまたは Dataproc Serverless ワークロードからポート 9083 の Dataproc Metastore インスタンスの IP アドレス範囲へのアウトバウンド TCP トラフィックが許可されていることを確認します。これは、Hive Metastore のデフォルト ポートです。
    • プライベート サービス アクセスを使用している場合、このトラフィックはプライベートにルーティングされます。
  • 上り（内向き）ルール（クライアントから Metastore への接続ではあまり一般的ではありません）:
    • 通常、通信はワークロードから発信されるため、Dataproc Metastore インスタンスからワークロードへのトラフィック用に Virtual Private Cloud で上り（内向き）ルールを構成する必要はありません。ただし、制限が厳しすぎる上り（内向き）ルールによって必要なレスポンスが誤ってブロックされていないことを確認します。

3. DNS 解決を確認する

Dataproc ワークロードは、Dataproc Metastore エンドポイント URI をプライベート IP アドレスに解決する必要があります。

  • DNS ピアリングまたは限定公開ゾーン: カスタム DNS サーバーまたは限定公開 Cloud DNS ゾーンを使用している場合は、Dataproc Metastore エンドポイント（your-metastore-endpoint.us-central1.dataproc.cloud.google.com）が、Private Service Access で使用されるプライベート IP 範囲に正しく転送または解決される。
  • DNS 解決のテスト: Dataproc ワークロードと同じサブネット内の VM から、nslookup または dig を使用して、Dataproc Metastore エンドポイントがプライベート IP アドレスに解決されることを確認します。

ネットワーク接続のトラブルシューティング

ネットワーク アクセスを構成した後に接続の問題が発生した場合は、次のトラブルシューティングの手順を検討してください。

次のステップ