Dataproc Serverless for Spark 网络配置

用于执行无服务器 Spark 工作负载的 VPC 子网必须满足以下要求:

  • 打开子网连接:子网必须允许所有端口上的子网通信。以下 gcloud 命令会将网络防火墙连接到子网,以允许使用所有端口上的所有协议进行入站流量通信:

    gcloud compute firewall-rules create allow-internal-ingress \
    --network="network-name" \
    --source-ranges="subnetwork internal-IP ranges" \
    --direction="ingress" \
    --action="allow" \
    --rules="all"
    
    注意:具有 default-allow-internal 防火墙规则的项目中的 default VPC 网络符合此要求,因为该规则允许所有端口上的入站流量通信(tcp:0-65535、udp:0-65535 和 icmp protocols:ports)符合此要求。但是,它还允许网络上的任何虚拟机实例的入站流量

  • 专用 Google 访问通道。该子网必须启用专用 Google 访问通道

    • 外部网络访问。驱动程序和执行程序具有内部 IP 地址。您可以设置 Cloud NAT 以允许使用 VPC 网络中使用内部 IP 地址的出站流量。