Dataproc Serverless for Spark 网络配置

用于执行的 VPC 子网 Dataproc Serverless for Spark 工作负载必须满足以下要求：

  • 开放子网连接：子网必须允许子网通信 所有端口上。以下 gcloud 命令可将网络防火墙连接到 允许所有端口上的所有协议进行入站通信的子网： 

    gcloud compute firewall-rules create allow-internal-ingress \
    --network=network-name \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

    • SUBNET_RANGES: 查看 允许虚拟机之间的内部入站连接。 项目中的 default VPC 网络， default-allow-internal防火墙规则 允许所有端口上的入站通信 （tcp:0-65535、udp:0-65535 和 icmp agreement:ports）， 满足开放子网连接要求不过，它也支持 入站流量。
    。

  • 专用 Google 访问通道：该子网必须具有 已启用专用 Google 访问通道。

    • 外部网络访问。如果您的工作负载需要外部网络或互联网 则可以设置 Cloud NAT 以允许出站流量 使用 VPC 网络上的内部 IP 地址。

Dataproc 无服务器网络和 VPC-SC 网络

借助 VPC Service Controls，管理员可以为 Google 托管式服务的资源定义安全边界，以控制与这些服务的通信以及这些服务之间的通信。

使用基于 VPC 网络的 VPC-SC 网络时，请注意以下限制和策略 Dataproc 无服务器：