本页介绍了 Dataproc 集群网络配置要求和选项。
Dataproc 连接要求
您的 Dataproc 集群必须位于满足路由和防火墙要求的 VPC 网络中，才能安全地访问 Google API 和其他资源。
路由要求
在集群虚拟机上运行的 Dataproc 代理 需要通过互联网路由来访问 Dataproc Control API 来获取作业和报告状态。创建完毕后，VPC 网络 包含系统生成的默认路由 连接到互联网。不建议删除通向互联网的默认路由；请改用 防火墙来控制网络访问请注意， 仅限内部 IP 的集群 需要此默认路由以访问 Dataproc Control API 和其他 Google 服务（如 Cloud Storage）但其流量不会 离开 Google 数据中心。
防火墙要求
Dataproc 集群虚拟机 (VM) 必须能够使用 ICMP、TCP（所有端口）和 UDP（所有端口）协议相互通信。
default VPC 网络
default-allow-internal 防火墙
规则满足 Dataproc 集群连接要求
并允许来自以下来源范围内的 10.128.0.0/9 来源范围的入站流量：
该 VPC 网络上的所有虚拟机，如下所示：
| 规则 | 网络 | 方向 | 优先级 | 来源范围 | 协议：端口 |
|---|---|---|---|---|---|
default-allow-internal |
default |
入站流量 | 65534 |
10.128.0.0/9 |
tcp:0-65535、udp:0-65535、icmp |
如果您删除
default-allow-internal防火墙规则，则入站流量default网络已被 隐式拒绝入站规则。如果您删除了
default-allow-internal防火墙规则或不使用defaultVPC 网络，则必须创建符合 Dataproc 连接性要求的自定义规则，然后将其应用于集群的 VPC 网络。
最佳实践：为集群 VPC 网络创建入站防火墙规则，通过使用来源 IP 地址范围或通过网络标记或服务账号标识集群虚拟机，仅允许在集群虚拟机之间建立入站连接。
创建入站流量防火墙规则
如果您或您的网络管理员或安全管理员创建了 入站防火墙规则 它必须具有 以下特征：
sources 参数会指定 数据包的来源。所有 Dataproc 集群虚拟机 必须能够相互通信。您可以在 GCP 控制台中 按 IP 地址范围、来源标记或 虚拟机
规则的目标必须标识 集群虚拟机目标可以是 VPC 网络中的所有虚拟机，或者 您可以按 IP 地址范围、目标标记或目标服务来识别虚拟机 。
规则必须包含以下内容 协议和端口：
- TCP（所有端口，0 到 65535）
- UDP（所有端口，0 到 65535）
- ICMP
Dataproc 使用在多个端口上运行的服务。指定 所有端口都有助于服务成功运行。
诊断 VPC 防火墙规则
如需审核未由优先级较高的防火墙规则处理的数据包，您可以创建两条低优先级 (65534) 的拒绝防火墙规则。与隐式防火墙规则不同，您可以为以下每条低优先级规则启用防火墙规则日志记录：
入站拒绝规则（来源
0.0.0.0/0、所有协议以及 VPC 网络中的所有目标）出站拒绝规则（目的地为
0.0.0.0/0，所有协议，VPC 网络中的所有目标）
利用这些低优先级规则和防火墙规则日志记录，您可以 而不是由更高优先级（可能更具体）处理的数据包 防火墙规则这两个低优先级规则还通过实现“最终丢弃数据包”策略来遵循安全性最佳做法。
检查这些规则的防火墙规则日志，以确定是否需要创建或修改更高优先级的规则以允许数据包。例如，如果在 Dataproc 集群之间发送数据包 虚拟机被丢弃，这可能表示需要 调整后。
创建 VPC 网络
您可以创建自己的自动模式或自定义 VPC 网络，而不是使用 default VPC 网络。创建集群时，您将网络与
集群。
Assured Workloads 环境：使用 Assured Workloads 环境，适用于 集群、VPC 网络及其 Cloud Storage 存储分区必须包含在 Assured Workloads 环境中。
创建使用您的 VPC 网络的集群
控制台
在自定义集群面板的“网络配置”部分中选择您的网络。选择 子网选择器中会显示 为集群选择的区域
Google Cloud CLI
将 gcloud dataproc clusters create 与 ‑‑network 或 ‑‑subnet 标志搭配使用，在网络中的子网上创建集群。如果您使用 ‑‑network 标志，集群将使用与集群创建区域中指定网络同名的子网。
--network example。由于自动网络是
为每个子网指定网络名称，
将自动模式 VPC 网络名称传递给 ‑‑network 标志。
集群将使用
使用 ‐‐region 标志指定的区域。
gcloud dataproc clusters create CLUSTER_NAME \ --network NETWORK_NAME \ --region=REGION \ ... other args ...
--subnet example。您可以使用 ‑‑subnet
标志，以创建在 Google Cloud 控制台中使用自动模式或自定义 VPC 网络子网的集群
集群区域指定子网的完整资源路径。
gcloud dataproc clusters create CLUSTER_NAMEW \ --subnet projects/PROJECT_ID/regions/REGION/subnetworks/SUBNET_NAME \ --region=REGION \ ... other args ...
REST API
您可以将 networkUri 或 subnetworkUri GceClusterConfig 字段指定为 clusters.create 请求的一部分。
示例
POST /v1/projects/my-project-id/regions/us-central1/clusters/
{
"projectId": "PROJECT_ID",
"clusterName": CLUSTER_NAME,
"config": {
"configBucket": "",
"gceClusterConfig": {
"subnetworkUri": SUBNET_NAME,
},
...
创建使用另一个项目中的 VPC 网络的集群
Dataproc 集群可以使用宿主项目中定义的共享 VPC 网络。创建 Dataproc 集群的项目称为服务项目。
找到 Dataproc 集群项目编号：
- 打开 IAM &管理员 设置页面 Google Cloud 控制台。选择要在其中创建 Dataproc 集群。复制项目 ID。
具有共享 VPC 管理员角色的主账号必须执行以下步骤。如需了解背景信息，请参阅关于设置共享 VPC 的说明。
确保将共享 VPC 宿主项目 已启用。
将项目连接到 Dataproc 集群 添加到宿主项目
配置 Dataproc 服务代理服务账号 (
service-[project-number]@dataproc-accounts.iam.gserviceaccount.com) 添加网络用户 的以下角色：打开 IAM 和管理 页面。
使用项目选择器选择新的宿主项目。
点击授予访问权限。
填写“授予访问权限”表单：
添加主账号：输入服务账号。
分配角色：在过滤条件框中插入“计算网络”，然后选择 Compute Network User 角色。
点击保存。
服务账号获得宿主项目的
Network User角色后，请创建一个集群，该集群使用共享 VPC 网络。
创建使用另一个项目中的 VPC 子网的集群
Dataproc 集群可以使用 宿主项目中定义的共享 VPC 子网。 创建 Dataproc 集群的项目称为服务项目。
找到 Dataproc 集群项目编号：
- 在 Google Cloud 控制台中打开 IAM 和管理 设置页面。选择您要用于创建 Dataproc 集群的项目。复制项目 ID。
具有共享 VPC 管理员角色的主账号必须执行以下步骤。如需了解背景信息，请参阅关于设置共享 VPC 的说明。
请确保已启用共享 VPC 宿主项目。
将项目连接到 Dataproc 集群 添加到宿主项目
配置 Dataproc 服务代理服务账号 (
service-[project-number]@dataproc-accounts.iam.gserviceaccount.com) 添加网络用户 的以下角色：打开 Google Cloud 控制台中的 VPC 网络页面。
使用项目选择器选择宿主项目。
点击包含 Dataproc 集群将使用的子网的网络。
在 VPC 网络详情页面中，点击集群将使用的子网名称旁边的复选框。
如果信息面板未打开，请点击显示信息面板。
请针对每个服务账号执行以下步骤：
在信息面板中，点击添加主账号。
填写“授予访问权限”表单：
添加主账号：输入服务账号。
分配角色：在过滤条件框中插入“计算网络”，然后选择 Compute Network User 角色。
点击保存。
在服务账号获得宿主项目的
Network User角色后， 创建集群 （使用共享 VPC 子网）。
创建仅使用内部 IP 地址的 Dataproc 集群
您可以创建一个与 公共互联网，其虚拟机实例通过专用 IP 子网进行通信 （集群虚拟机未分配公共 IP 地址）。为了实现此目的，子网必须启用专用 Google 访问通道，这样集群节点才能通过内部 IP 访问 Google API 和服务，例如 Cloud Storage。
控制台
您可以创建具有专用 Google 访问通道的 Dataproc 集群 从 Dataproc 创建集群 页面。点击位于以下位置的仅限内部 IP： 自定义集群 面板为您的集群启用此功能。
gcloud CLI
您可以使用带有 ‑‑no-address 标志的 gcloud dataproc clusters create 命令，创建仅使用内部 IP 地址的 Dataproc 集群。
使用 ‑‑no-address 和 ‑‑network 标志：将 ‑‑no-address 标志与 ‑‑network 标志结合使用，创建一个集群，该集群使用的子网与要创建集群的区域中的网络同名。
gcloud dataproc clusters create CLUSTER_NAME \ --no-address \ --network NETWORK_NAME \ --region=REGION \ ... other args ...
例如，由于创建的自动网络在每个层级
同名的自动网络，那么您可以传递自动网络
名称添加到 ‑‑network flag
创建一个集群，该集群将使用集群区域中的自动子网。
使用 ‐‐no-address 和 ‐‐subnet 标志：
将 ‑‑no-address 标志与
‑‑subnet标志
该集群将使用相应区域中自动或自定义子网
将在其中创建集群传递 ‑‑subnet 标志
子网的完整资源路径
gcloud dataproc clusters create cluster-name \ --no-address \ --subnet projects/project-id/regions/region/subnetworks/subnetwork-name \ --region=region \ ... other args ...
REST API
您可以将 GceClusterConfig
internalIpOnly
字段（作为true
clusters.create
仅启用内部 IP 地址的请求。
示例：
POST /v1/projects/my-project-id/regions/us-central1/clusters/
{
"projectId": "my-project-id",
"clusterName": "example-cluster",
"config": {
"configBucket": "",
"gceClusterConfig": {
"subnetworkUri": "custom-subnet-1",
"zoneUri": "us-central1-b",
"internalIpOnly": true
},
...
由于默认情况下仅限内部 IP 的集群无法访问互联网，因此从互联网下载依赖项的作业（例如从 Maven Central 下载 Spark 依赖项软件包）将失败。可通过多种解决方法避免此问题：
使用 Cloud NAT 启用对互联网的集群访问权限。
创建包含依赖项（例如
/usr/lib/spark/jars/中的 Spark 依赖项软件包）的自定义映像。将依赖项上传到 Cloud Storage 存储分区，然后使用初始化操作在创建集群期间从存储分区下载依赖项。
Dataproc 和 VPC Service Controls 网络
借助 VPC Service Controls，管理员可以为 Google 托管式服务的资源定义安全边界，以控制与这些服务的通信以及这些服务之间的通信。
请注意，当 VPC Service Controls 网络与 Dataproc 集群搭配使用时，存在以下限制和策略：
如需在 VPC Service Controls 边界外安装组件，请创建一个 Dataproc 自定义映像 预安装组件，然后使用自定义映像创建集群。