Dataproc Serverless for Spark のネットワーク構成

このドキュメントでは、Dataproc Serverless for Spark のネットワーク構成に必要な要件について説明します。

Virtual Private Cloud サブネットワークの要件

Dataproc Serverless for Spark のワークロードまたはインタラクティブ セッションの実行に使用する Virtual Private Cloud サブネットワークは、次のサブセクションに記載されている要件を満たす必要があります。

限定公開の Google アクセスの要件

Dataproc Serverless バッチ ワークロードまたはインタラクティブ セッションに選択したリージョンの VPC サブネットで、限定公開の Google アクセスが有効になっている必要があります。

外部ネットワーク アクセス: ワークロードで外部ネットワークまたはインターネット アクセスが必要な場合は、Cloud NAT を設定して、VPC ネットワークで内部 IP を使用してアウトバンド トラフィックを許可できます。

オープン サブネット接続の要件

Dataproc Serverless バッチ ワークロードまたはインタラクティブ セッション用に選択されたリージョンの VPC サブネットは、VM インスタンス間のすべてのポートで内部サブネット通信を許可する必要があります。

次の Google Cloud CLI コマンドは、すべてのポートですべてのプロトコルを使用して VM 間の内部上り（内向き）通信を許可するサブネットにネットワーク ファイアウォールを接続します。

gcloud compute firewall-rules create allow-internal-ingress \
    --network=NETWORK_NAME \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

注:

  • SUBNET_RANGES:VM 間の内部上り（内向き）接続を許可するをご覧ください。default-allow-internal ファイアウォール ルールを使用したプロジェクトの default VPC ネットワークがオープン サブネット接続の要件を満たしており、すべてのポート（tcp:0-65535、udp:0-65535、icmp protocols:ports）で上り（内向き）通信が許可されています。ただし、このルールはネットワーク上の任意の VM インスタンスからの上り（内向き）通信も許可します。

Dataproc サーバーレスと VPC-SC ネットワーク

VPC Service Controls を使用すると、ネットワーク管理者は Google マネージド サービスのリソースにセキュリティ境界を定義し、これらのサービス間の通信を制御できます。

Dataproc Serverless で VPC-SC ネットワークを使用する場合は、次の戦略に注意してください。

詳細については、VPC Service Controls - Dataproc Serverless for Spark をご覧ください。