此页面由 Cloud Translation API 翻译。

配置互联网访问权限和防火墙规则

本文档介绍了如何完成以下任务：

配置 Dataflow 虚拟机 (VM) 实例以实现互联网访问
创建网络标记
为与 Dataflow 作业关联的网络定义防火墙规则

本文档假定您具备 Google Cloud 网络的基本知识。如需为 Dataflow 作业定义网络，请参阅指定网络和子网。如需详细了解如何排查网络问题，请参阅排查 Dataflow 网络问题。

对 Dataflow 的 Google Cloud API 的访问权限

Dataflow 工作器虚拟机 (VM) 必须能够访问 Google Cloud API 和服务。这组依赖的 Google Cloud 端点可能会随时间而变化，但它们都支持 VPC Service Controls。您可以使用以下任一方法配置对 Google Cloud API 的访问权限：

配置专用 Google 访问通道。专用 Google 访问通道可让仅具有内部 IP 地址的虚拟机访问 Google Cloud 和服务的 IP 地址。
配置 Private Service Connect 端点 IP 地址以访问 Google Cloud API 和服务。
为工作器虚拟机配置外部 IP 地址。

默认情况下，防火墙规则和 DNS 配置允许访问 Google Cloud API。不过，您可能正在积极限制对部分 Google Cloud API 的访问权限，例如，如果您使用的是 VPC Service Controls。在这种情况下，至少应提供对 restricted.googleapis.com 的访问权限。如果您使用的是 Private Service Connect，请提供对 vpc-sc bundle 的访问权限。提供对更宽松的网域（例如 private.googleapis.com）的访问权限，也可以提供所需的功能。

如需允许通过给定网域访问必要的 Google Cloud API，您的环境必须满足以下要求：

防火墙规则必须允许出站到所选网域下的所有地址范围。
DNS 必须将 *.googleapis.com 解析为您选择的网域。

例如，如果您的防火墙规则将出站流量限制为 restricted.googleapis.com 地址范围，则 *.googleapis.com 必须解析为该范围内的地址。如需了解详情，请参阅为 googleapis.com 配置 DNS。

同样，如果您使用的是 Private Service Connect，则必须为 googleapis.com 默认网域创建 DNS 记录，以确保至少能够访问 vpc-sc 软件包中的所有服务。

Dataflow 的互联网访问权限

根据您的使用场景，您的虚拟机可能还需要访问 Google Cloud 外部的资源。使用以下任一方法为 Dataflow 配置互联网访问权限：

为工作器虚拟机配置外部 IP 地址，使其满足互联网访问要求。
配置 NAT 解决方案，例如 Cloud NAT。此选项用于运行访问 Google Cloud 外部需要访问互联网的 API 和服务的作业。例如，Python SDK 作业可能需要访问 Python Package Index (PyPI) 才能下载流水线依赖项。在这种情况下，您必须为工作器虚拟机配置外部 IP 地址，或者必须使用 Cloud NAT。您还可以在作业提交期间提供 Python 流水线依赖项。例如，您可以使用自定义容器来提供 Python 流水线依赖项，这样就无需在运行时访问 PyPI。

如需了解详情，请参阅 Apache Beam 文档中的管理 Python 流水线依赖项。

关闭外部 IP 地址

默认情况下，Dataflow 会同时将外部和内部 IP 地址分配给工作器。关闭公共 IP 地址后，Dataflow 作业只能访问以下位置的资源：

同一 VPC 网络中的另一个实例
共享 VPC 网络
启用了 VPC 网络对等互连的网络

如果没有外部 IP 地址，您仍可以执行管理和监控任务。您可以通过上面列出的选项使用 SSH 访问您的工作器。但是，流水线无法访问互联网，并且互联网主机无法访问您的 Dataflow 工作器。

不使用外部 IP 地址有助于更好地保护数据处理基础架构。您还可以减少 Google Cloud 项目配额中使用的外部 IP 地址数量。

如果您关闭外部 IP 地址，则 Dataflow 作业将无法访问 Google Cloud 外部需要互联网访问权限的 API 和服务。

如需关闭外部 IP 地址，请执行以下操作之一：

Java

为您的网络或子网启用专用 Google 访问通道。
在 Dataflow 作业的参数中，指定 --usePublicIps=false 和 --network=NETWORK-NAME 或 --subnetwork=SUBNETWORK-NAME。
根据您的选择，替换以下项之一：
- NETWORK-NAME：您的 Compute Engine 网络的名称
- SUBNETWORK-NAME：您的 Compute Engine 子网的名称

Python

如需暂存所有 Python 软件包依赖项，请按照 Apache Beam 流水线依赖项说明进行操作。
为您的网络或子网启用专用 Google 访问通道。
在 Dataflow 作业的参数中，指定 --no_use_public_ips 和 --network=NETWORK 或 --subnetwork=SUBNETWORK。

根据您的选择，替换以下项之一：

NETWORK-NAME：您的 Compute Engine 网络的名称
SUBNETWORK-NAME：您的 Compute Engine 子网的名称

Go

为您的网络或子网启用专用 Google 访问通道。
在 Dataflow 作业的参数中，指定 --no_use_public_ips 和 --network=NETWORK 或 --subnetwork=SUBNETWORK。

根据您的选择，替换以下项之一：

NETWORK-NAME：您的 Compute Engine 网络的名称
SUBNETWORK-NAME：您的 Compute Engine 子网的名称

Dataflow 的网络标记

网络标记是您可以关联到 Compute Engine 虚拟机的文本特性。借助网络标记，您可以将 VPC 网络防火墙规则和某些自定义静态路由应用于特定虚拟机实例。Dataflow 支持将网络标记添加到运行特定 Dataflow 作业的所有工作器虚拟机。

即使您不使用网络参数，Dataflow 也始终会将默认网络标记 dataflow 添加到其创建的每个工作器虚拟机。

启用网络标记

只有在运行 Dataflow 作业模板来创建作业时，才能指定网络标记。作业启动后，您无法向作业添加更多网络标记。如需将其他网络标记应用于作业，必须使用所需的网络标记重新创建作业模板。

无论您使用 Java 还是 Python 运行，都请将以下命令添加到流水线代码中：

--experiments=use_network_tags=TAG-NAME

将 TAG-NAME 替换为您的标记名称。如果您添加多个标记，请用英文分号 ; 分隔每个标记，格式如下所示：TAG-NAME-1;TAG-NAME-2;TAG-NAME-3;...。

为 Flex 模板虚拟机启用网络标记

使用 Flex 模板时，如需为 Dataflow 工作器虚拟机启用网络标记，请使用 --additional-experiments 选项，如以下示例所示：

--additional-experiments=use_network_tags=TAG-NAME

如需为工作器虚拟机和启动器虚拟机启用网络标记，请使用以下两个选项：

--additional-experiments=use_network_tags=TAG-NAME
--additional-experiments=use_network_tags_for_flex_templates=TAG-NAME

将 TAG-NAME 替换为您的标记名称。如果您添加多个标记，请用英文分号 ; 分隔每个标记，格式如下所示：TAG-NAME-1;TAG-NAME-2;TAG-NAME-3;...。

启用网络标记后，系统会解析这些标记并将其附加到虚拟机。

请参阅适用于网络标记的限制。

Dataflow 的防火墙规则

防火墙规则可让您允许或拒绝传入和传出虚拟机的流量。如果您的 Dataflow 作业使用 Dataflow Shuffle 或 Streaming Engine，则只需确保防火墙规则允许访问 Google Cloud API。否则，您必须配置其他防火墙规则，以便 Dataflow 虚拟机可以在 TCP 端口 12345（适用于流处理作业）和 TCP 端口 12346（适用于批量作业）上发送和接收网络流量。项目所有者、编辑者或安全管理员必须在 Dataflow 虚拟机使用的 VPC 网络中创建必要的防火墙规则。

在为 Dataflow 配置防火墙规则之前，请先参阅以下文档：

为 Dataflow 创建防火墙规则时，请指定 Dataflow 网络标记。否则，防火墙规则适用于 VPC 网络中的所有虚拟机。

如果适用，分层防火墙政策会先进行评估，并且这些规则会抢占 VPC 防火墙规则。如果 Dataflow 作业属于在其中使用分层防火墙政策的文件夹或组织中的项目，则需要 compute.orgFirewallPolicyAdmin 角色才能修改政策。

如果您在运行流水线代码时未创建自定义网络标记，则 Dataflow 虚拟机会使用默认 dataflow 标记。如果没有自定义网络标记，请使用默认 dataflow 标记创建防火墙规则。

如果您在运行流水线代码时创建了自定义网络标记，则 Dataflow 虚拟机会使用这些标记。使用自定义标记创建防火墙规则。

某些 VPC 网络（例如自动创建的 default 网络）包含符合 Dataflow 防火墙要求的 default-allow-internal 规则。

防火墙入站规则示例

入站防火墙规则允许 Dataflow 虚拟机相互接收数据包。您必须始终创建入站允许防火墙规则，或者始终禁止流量，即使出站规则允许此类流量也是如此。

在以下示例中，系统会为 Dataflow 创建防火墙入站规则，其中所有工作器虚拟机都具有默认网络标记 dataflow。项目所有者、编辑者或安全管理员可以使用以下 gcloud 命令来创建入站允许规则，以允许 TCP 端口 12345 和 12346 上具有网络标记 dataflow 的虚拟机到具有相同标记的其他虚拟机的流量：

gcloud compute firewall-rules create FIREWALL_RULE_NAME_INGRESS \
    --action=allow \
    --direction=ingress \
    --network=NETWORK  \
    --target-tags=CUSTOM_TAG \
    --source-tags=CUSTOM_TAG \
    --priority=PRIORITY_NUM \
    --rules tcp:12345-12346

替换以下内容：

FIREWALL_RULE_NAME_INGRESS：防火墙规则的名称。
NETWORK：工作器虚拟机使用的网络的名称
CUSTOM_TAG：以英文逗号分隔的网络标记列表

下表列出了网络标记使用准则：
- 如果省略 --target-tags，则规则将应用于 VPC 网络中的所有虚拟机。
- 如果省略 --source-tags 以及其他所有来源规范，则允许来自任何来源的流量。
- 如果您未指定自定义网络标记，并且您希望规则特定于 Dataflow 虚拟机，请使用 dataflow 作为网络标记。
- 如果您已指定自定义网络标记，并且您希望规则特定于 Dataflow 虚拟机，请使用自定义网络标记。
PRIORITY_NUM：防火墙规则的优先级

数字越小，优先级越高，0 表示最高优先级。

防火墙出站规则示例

出站防火墙规则允许 Dataflow 虚拟机相互发送数据包。如果您已创建任何出站拒绝防火墙规则，则可能需要在 VPC 网络中创建自定义出站允许防火墙规则。

在此示例中，系统会为 Dataflow 创建防火墙出站规则，其中所有工作器虚拟机都具有默认网络标记 dataflow。项目所有者、编辑者或安全管理员可以使用以下 gcloud 命令来创建出站允许规则，以允许 TCP 端口 12345 和 12346 上具有网络标记 dataflow 的虚拟机到具有相同标记的其他虚拟机的流量：

gcloud compute firewall-rules create FIREWALL_RULE_NAME_EGRESS \
    --network=NETWORK \
    --action=allow \
    --direction=egress \
    --target-tags=CUSTOM_TAG \
    --source-tags=CUSTOM_TAG \
    --destination-ranges=DESTINATION-RANGES\
    --priority=PRIORITY_NUM  \
    --rules tcp:12345-12346

替换以下内容：

FIREWALL_RULE_NAME_EGRESS：防火墙规则的名称。
NETWORK：工作器虚拟机使用的网络的名称
CUSTOM_TAG：以英文逗号分隔的网络标记列表

下表列出了网络标记使用准则：
- 如果省略 --target-tags，则规则将应用于 VPC 网络中的所有虚拟机。
- 如果省略 --source-tags 以及其他所有来源规范，则允许来自任何来源的流量。
- 如果您未指定自定义网络标记，并且您希望规则特定于 Dataflow 虚拟机，请使用 dataflow 作为网络标记。
- 如果您已指定自定义网络标记，并且您希望规则特定于 Dataflow 虚拟机，请使用自定义网络标记。
DESTINATION-RANGES：以英文逗号分隔的 CIDR 列表

包括所选子网的主要 IP 地址范围。
PRIORITY_NUM：防火墙规则的优先级

数字越小，优先级越高，0 表示最高优先级。

对于 Dataflow 使用的特定 TCP 端口，您可以查看项目容器清单。该容器清单会明确指定端口，以便将主机端口映射到容器。

通过 SSH 访问工作器虚拟机

Dataflow 不要求使用 SSH；但是，SSH 在排查问题时会相当实用。

如果工作器虚拟机具有外部 IP 地址，则您可以通过 Google Cloud 控制台或使用 Google Cloud CLI 连接到虚拟机。如需使用 SSH 进行连接，您必须配置相应的防火墙规则，该规则至少要允许 TCP 端口 22 上来自以下系统 IP 地址的传入连接：运行 gcloud 的系统，或运行用于访问 Google Cloud 控制台的网络浏览器的系统。

您可以通过在一个工作器上打开 SSH 会话，并运行 iproute2 来查看网络配置和活动。如需了解详情，请参阅 Linux Foundation 维基中的 iproute2 页面。

如果您需要连接到仅具有内部 IP 地址的工作器虚拟机，请参阅为内部专用的虚拟机选择连接选项。

后续步骤

了解 Connectivity Tests。Connectivity Tests 是一个诊断工具，可让您检查网络端点之间的连接。
创建和运行 Connectivity Tests 测试。