Dataproc Serverless for Spark のワークロードの実行に使用する VPC サブネットワークは、次の要件を満たす必要があります。
オープン サブネット接続: このサブネットにより、すべてのポートでサブネット通信を許可する必要があります。次の gcloud コマンドは、すべてのポートですべてのプロトコルを使用する上り(内向き)通信を許可するサブネットにネットワーク ファイアウォールを接続します。
gcloud compute firewall-rules create allow-internal-ingress \ --network=network-name \ --source-ranges=SUBNET_RANGES \ --destination-ranges=SUBNET_RANGES \ --direction=ingress \ --action=allow \ --rules=all
- SUBNET_RANGES:VM 間の内部上り(内向き)接続を許可するをご覧ください。
default-allow-internal
ファイアウォール ルールを使用したプロジェクトのdefault
VPC ネットワークがオープン サブネット接続の要件を満たしており、すべてのポート(tcp:0-65535、udp:0-65535、icmp protocol:ports など)で上り(内向き)通信が許可されています。ただし、ネットワーク上の任意の VM インスタンスからの上り(内向き)通信も許可されます。
- SUBNET_RANGES:VM 間の内部上り(内向き)接続を許可するをご覧ください。
限定公開の Google アクセスサブネットで限定公開の Google アクセスを有効にする必要があります。
- 外部ネットワークへのアクセス: ワークロードで外部ネットワークまたはインターネット アクセスが必要な場合は、Cloud NAT を設定して、VPC ネットワークで内部 IP を使用してアウトバンド トラフィックを許可できます。
Dataproc Serverless ネットワークと VPC-SC ネットワーク
VPC Service Controls を使用すると、Google マネージド サービスのリソースにセキュリティ境界を定義し、これらのサービス間の通信を制御できます。
Dataproc サーバーレスで VPC-SC ネットワークを使用する際の制限事項と戦略に注意してください。
VPC-SC 境界の外部に依存関係をインストールするには、依存関係をプリインストールするカスタム コンテナ イメージを作成します。それから、カスタム コンテナ イメージを使用するSpark バッチ ワークロードを送信します。