Dataproc Serverless for Spark のネットワーク構成

Dataproc Serverless for Spark のワークロードの実行に使用する VPC サブネットワークは、次の要件を満たす必要があります。

  • オープン サブネット接続: このサブネットにより、すべてのポートでサブネット通信を許可する必要があります。次の gcloud コマンドは、すべてのポートですべてのプロトコルを使用する上り(内向き)通信を許可するサブネットにネットワーク ファイアウォールを接続します。

    gcloud compute firewall-rules create allow-internal-ingress \
        --network=network-name \
        --source-ranges=SUBNET_RANGES \
        --destination-ranges=SUBNET_RANGES \
        --direction=ingress \
        --action=allow \
        --rules=all
    

    • SUBNET_RANGES:VM 間の内部上り(内向き)接続を許可するをご覧ください。default-allow-internal ファイアウォール ルールを使用したプロジェクトの default VPC ネットワークがオープン サブネット接続の要件を満たしており、すべてのポート(tcp:0-65535、udp:0-65535、icmp protocol:ports など)で上り(内向き)通信が許可されています。ただし、ネットワーク上の任意の VM インスタンスからの上り(内向き)通信も許可されます。
  • 限定公開の Google アクセスサブネットで限定公開の Google アクセスを有効にする必要があります。

    • 外部ネットワークへのアクセス: ワークロードで外部ネットワークまたはインターネット アクセスが必要な場合は、Cloud NAT を設定して、VPC ネットワークで内部 IP を使用してアウトバンド トラフィックを許可できます。

Dataproc Serverless ネットワークと VPC-SC ネットワーク

VPC Service Controls を使用すると、Google マネージド サービスのリソースにセキュリティ境界を定義し、これらのサービス間の通信を制御できます。

Dataproc サーバーレスで VPC-SC ネットワークを使用する際の制限事項と戦略に注意してください。