用于执行的 VPC 子网 Dataproc Serverless for Spark 工作负载必须满足以下要求:
开放子网连接:子网必须允许子网通信 所有端口上。以下 gcloud 命令可将网络防火墙连接到 允许所有端口上使用所有协议进行入站通信的子网:
gcloud compute firewall-rules create allow-internal-ingress \ --network=network-name \ --source-ranges=SUBNET_RANGES \ --destination-ranges=SUBNET_RANGES \ --direction=ingress \ --action=allow \ --rules=all
- SUBNET_RANGES: 查看
允许虚拟机之间的内部入站连接。
项目中的
default
VPC 网络,default-allow-internal
防火墙规则 允许所有端口上的入站通信 (tcp:0-65535、udp:0-65535 和 icmp agreement:ports), 满足开放子网连接要求不过,它也支持 入站流量。
- SUBNET_RANGES: 查看
允许虚拟机之间的内部入站连接。
项目中的
专用 Google 访问通道:该子网必须具有 已启用专用 Google 访问通道。
- 外部网络访问。如果您的工作负载需要外部网络或互联网 则可以设置 Cloud NAT 以允许出站流量 使用 VPC 网络上的内部 IP 地址。
Dataproc 无服务器网络和 VPC-SC 网络
借助 VPC Service Controls,管理员可以为 Google 托管式服务的资源定义安全边界,以控制与这些服务的通信以及这些服务之间的通信。
使用基于 VPC 网络的 VPC-SC 网络时,请注意以下限制和策略 Dataproc 无服务器:
要在 VPC-SC 边界外安装依赖项,请创建一个 自定义容器映像 预安装依赖项 提交 Spark 批量工作负载 自定义容器映像