Dataproc Serverless for Spark のネットワーク構成

Dataproc Serverless for Spark のワークロードの実行に使用する VPC サブネットワークは、次の要件を満たす必要があります。

  • オープン サブネット接続: このサブネットにより、すべてのポートでサブネット通信を許可する必要があります。次の gcloud コマンドは、すべてのポートですべてのプロトコルを使用する上り（内向き）通信を許可するサブネットにネットワーク ファイアウォールを接続します。

    gcloud compute firewall-rules create allow-internal-ingress \
    --network=network-name \
    --source-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

    • SUBNET_RANGES:VM 間の内部上り（内向き）接続を許可するをご覧ください。default-allow-internal ファイアウォール ルールを使用したプロジェクトの default VPC ネットワークがオープン サブネット接続の要件を満たしており、すべてのポート（tcp:0-65535、udp:0-65535、icmp protocol:ports など）で上り（内向き）通信が許可されています。ただし、ネットワーク上の任意の VM インスタンスからの上り（内向き）通信も許可されます。

  • 限定公開の Google アクセスサブネットで限定公開の Google アクセスを有効にする必要があります。

    • 外部ネットワークへのアクセス: ワークロードで外部ネットワークまたはインターネット アクセスが必要な場合は、VPC ネットワークの内部 IP を使用した送信トラフィックを許可するように Cloud NAT を設定できます。

Dataproc Serverless ネットワークと VPC-SC ネットワーク

VPC Service Controls を使用すると、Google マネージド サービスのリソースにセキュリティ境界を定義し、これらのサービス間の通信を制御できます。

Dataproc サーバーレスで VPC-SC ネットワークを使用する際の制限事項と戦略に注意してください。