Dataproc Serverless for Spark 网络配置

用于执行无服务器 Spark 工作负载的 VPC 子网必须满足以下要求：

  • 打开子网连接：子网必须允许所有端口上的子网通信。以下 gcloud 命令会将网络防火墙连接到子网，以允许使用所有端口上的所有协议进行入站流量通信：

    gcloud compute firewall-rules create allow-internal-ingress \
--network="network-name" \
--source-ranges="subnetwork internal-IP ranges" \
--direction="ingress" \
--action="allow" \
--rules="all"
    注意：具有 default-allow-internal 防火墙规则的项目中的 default VPC 网络符合此要求，因为该规则允许所有端口上的入站流量通信（tcp:0-65535、udp:0-65535 和 icmp protocols:ports）符合此要求。但是，它还允许网络上的任何虚拟机实例的入站流量

  • 专用 Google 访问通道。该子网必须启用专用 Google 访问通道。

    • 外部网络访问。驱动程序和执行程序具有内部 IP 地址。您可以设置 Cloud NAT 以允许使用 VPC 网络中使用内部 IP 地址的出站流量。