Dataproc Serverless for Spark 网络配置

用于执行 Dataproc Serverless for Spark 工作负载的 VPC 子网必须满足以下要求：

  • 开放子网连接：子网必须允许所有端口上的子网通信。以下 gcloud 命令会将网络防火墙连接到子网，以允许使用所有端口上的所有协议进行入站流量通信：

    gcloud compute firewall-rules create allow-internal-ingress \
    --network=network-name \
    --source-ranges=SUBNET_RANGES \
    --direction=ingress \
    --action=allow \
    --rules=all

    • SUBNET_RANGES:请参阅允许在虚拟机之间建立内部入站连接。项目中的 default VPC 网络符合 default-allow-internal 防火墙规则，该规则允许所有端口（tcp:0-65535、udp:0-65535 和 icmp agreement:ports）上的入站通信，满足开放子网连接要求。但是，它也允许网络上任何虚拟机实例的入站流量。

  • 专用 Google 访问通道：子网必须启用专用 Google 访问通道。

    • 外部网络访问。如果您的工作负载需要外部网络或互联网访问权限，您可以设置 Cloud NAT 以允许在 VPC 网络上使用内部 IP 传输出站流量。

Dataproc 无服务器网络和 VPC-SC 网络

借助 VPC Service Controls，管理员可以为 Google 托管式服务的资源定义安全边界，以控制与这些服务的通信以及这些服务之间的通信。

将 VPC-SC 网络与 Dataproc Serverless 搭配使用时，请注意以下限制和策略：