Dataproc Serverless for Spark 网络配置

用于执行 Dataproc Serverless for Spark 工作负载的 VPC 子网必须满足以下要求：

  • 打开子网连接：子网必须允许所有端口上的子网通信。以下 gcloud 命令会将网络防火墙连接到子网，以允许使用所有端口上的所有协议进行入站流量通信：

    gcloud compute firewall-rules create allow-internal-ingress \
    --network=network-name \
    --source-ranges=SUBNET_RANGES \
    --destination-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

    • SUBNET_RANGES: 查看 允许虚拟机之间的内部入站连接。 具有 default-allow-internal 防火墙规则的项目中的 default VPC 网络符合“开放子网连接性”要求，因为该规则允许所有端口上的入站流量通信（tcp:0-65535、udp:0-65535 和 icmp protocols:ports）。不过，它也支持 入站流量。

  • 专用 Google 访问通道：子网必须启用专用 Google 访问通道。

    • 外部网络访问。如果您的工作负载需要外部网络或互联网 则可以设置 Cloud NAT 以允许出站流量 使用 VPC 网络上的内部 IP 地址。

Dataproc 无服务器网络和 VPC-SC 网络

借助 VPC Service Controls，管理员可以为 Google 托管式服务的资源定义安全边界，以控制与这些服务的通信以及这些服务之间的通信。

请注意，当 VPC-SC 网络与 Dataproc Serverless 搭配使用时，存在以下限制和策略：