配置 VPC Service Controls

Cloud Composer 1 |Cloud Composer 2 |Cloud Composer 3

借助 VPC Service Controls，组织可以为 Google Cloud 资源定义边界，从而降低数据渗漏风险。

Cloud Composer 环境可以部署在服务边界内。通过使用 VPC Service Controls 配置您的环境，您可以在利用 Cloud Composer 的全代管式工作流编排功能的同时确保敏感数据的私密性。

VPC Service Controls 对 Cloud Composer 的支持意味着：

• 现在可以选择 Cloud Composer 作为 VPC Service Controls 边界内的安全服务。
• 将 Cloud Composer 使用的所有底层资源都配置为支持 VPC Service Controls 架构并遵循其规则。

使用 VPC Service Controls 部署 Cloud Composer 环境时，您可以：

• 降低数据泄露风险。
• 防止因访问权限控制配置错误而导致数据泄露。
• 降低恶意用户将数据复制到未经授权的 Google Cloud 资源或外部攻击者从互联网访问 Google Cloud 资源的风险。

注意 ：如果 Cloud Composer 受边界保护，则无法 直接与边界外托管的资源进行通信。这还将阻止直接访问某些 Python 模块可能需要的公共 PyPI 依赖项。如需了解详情，请参阅下面的安装 PyPI 软件包。

VPC Service Controls 模式下的 Airflow 网络服务器

在 VPC Service Controls 模式下，对网站服务器的访问受边界保护，并且会阻止来自边界外的访问。

如需允许从服务边界外访问，请配置 访问权限级别。

创建服务边界

如需了解如何创建和配置服务边界，请参阅创建服务边界。确保选择 Cloud Composer 作为边界内保护的一项服务。

在边界中创建环境

在边界内部署 Cloud Composer 需要执行一些额外步骤。创建 Cloud Composer 环境时：

1. 为您的项目启用 Access Context Manager API 和 Cloud Composer API。如需参考，请参阅启用 API。

2. 确保您的服务边界具有以下 VPC 可访问服务。 否则您的环境可能无法创建：

   • Cloud Composer API (composer.googleapis.com)
   • Compute Engine API (compute.googleapis.com)
   • Kubernetes Engine API (container.googleapis.com)
   • Container Registry API (containerregistry.googleapis.com)
   • Artifact Registry API (artifactregistry.googleapis.com)
   • Cloud Storage API (storage.googleapis.com)
   • Cloud SQL Admin API (sqladmin.googleapis.com)
   • Cloud Logging API (logging.googleapis.com)
   • Cloud Monitoring API (monitoring.googleapis.com)
   • Cloud Pub/Sub API (pubsub.googleapis.com)
   • Security Token Service API (sts.googleapis.com)
   • Cloud Resource Manager API (cloudresourcemanager.googleapis.com)
   • Service Directory API (servicedirectory.googleapis.com)
   • Cloud Key Management Service API (cloudkms.googleapis.com)（如果您使用的是 Cloud KMS 或 CMEK 密钥）
   • Secret Manager API (secretmanager.googleapis.com)（如果您将 Secret Manager 用作 Secret 后端）
   警告 ：在 Cloud Composer 2.0.* 版中，如果您在 Cloud Identity-Aware Proxy API (iap.googleapis.com) 或 Identity-Aware Proxy TCP API (iaptunnel.googleapis.com) 则无法创建 Cloud Composer 环境。如需解决此问题，请参阅在将 Identity-Aware Proxy API 添加到 VPC Service Controls 边界后，项目中的环境创建失败。

3. 创建启用专用 IP 的新 Cloud Composer 环境。 请注意，必须在环境创建期间配置此设置。

4. 默认情况下，只有在安全边界内才能访问 Airflow 界面和 API。您想将其设为在安全级别以外的地方使用 然后按照说明 允许从边界外访问受保护的资源。

使用 VPC Service Controls 配置现有环境

在以下情况下，您可以将环境所属的项目添加到边界：

• 如上一部分中所述，您创建了边界。

• 您的环境为专用 IP 环境。

安装 PyPI 软件包

在默认 VPC Service Controls 配置中，Cloud Composer 仅支持从可从 VPC 网络的内部 IP 地址空间访问的专用代码库安装 PyPI 软件包。

注意 ：2024 年 9 月 26 日之后，所有 Cloud Composer 环境 将无权访问公共 PyPI 代码库您可以从 VPC 可访问服务列表中移除 Cloud Build，以测试您的环境是否与此更改兼容。如果您的环境在执行此操作后可以安装 PyPI 软件包，则表示该环境与此更改兼容。如果您遇到错误，可以在更改生效之前进行调试。

从私有代码库安装

推荐的配置是设置私有 PyPI 代码库，使用组织使用的经过审核的软件包填充，然后配置 Cloud Composer 以从私有代码库安装 Python 依赖项。

从公共代码库安装

注意 ：使用此设置时，请确保您了解使用 外部代码库请务必信任任何外部代码库的内容和完整性，因为这些连接可能会被用作泄露矢量。

远程代码库

这是从公共资源库安装软件包的推荐方法 存储库

如需从专用 IP 空间之外的代码库安装 PyPI 软件包，请执行以下操作： 请按以下步骤操作：

1. 创建 Artifact Registry 远程代码库。
2. 向此代码库授予对上游源代码的访问权限。
3. 将 Airflow 配置为 从 Artifact Registry 代码库中安装软件包。

外部连接

如需从专用 IP 空间之外的代码库安装 PyPI 软件包，请执行以下操作： 请按以下步骤操作：

1. 配置 Cloud NAT 以允许在专用 IP 空间中运行的 Cloud Composer 与外部 PyPI 代码库连接。

2. 配置防火墙规则以允许从 Composer 集群到代码库的出站连接。

用于 Cloud Composer 数据平面的服务账号必须具有以下权限角色：Composer.Worker 和 iam.serviceAccountUser。

配置与 Google API 和服务的连接

在 VPC Service Controls 配置中，如需控制网络流量， 通过 restricted.googleapis.com。此网域会阻止对不支持 VPC Service Controls 的 Google API 和服务的访问。

Cloud Composer 环境使用以下网域：

• *.googleapis.com 用于访问其他 Google 服务。

• *.composer.cloud.google.com 用于为您的 Cloud Storage 存储分区 没有障碍在创建 环境

  • 或者，您也可以为特定区域创建规则。为此，请使用 REGION.composer.cloud.google.com。将 REGION 替换为环境所在的区域，例如 us-central1。

• （可选）访问 *.composer.googleusercontent.com 时 您的环境的 Airflow Web 服务器。只有当您通过在 VPC 网络中运行的实例访问 Airflow Web 服务器时，才需要此规则，否则不需要。此规则的一个常见场景是，您希望从 VPC 网络内调用 Airflow REST API。

  注意 ：如果您的环境使用 VPC Service Controls，并且用户 允许从 VPC 网络外部访问边界，则此 访问 Airflow 界面时不需要规则。
  • 此外，您还可以为特定环境创建规则。接收者 为此，请使用 ENVIRONMENT_WEB_SERVER_NAME.composer.googleusercontent.com ，了解所有最新动态。将 ENVIRONMENT_WEB_SERVER_NAME 替换为您环境的 Airflow 界面网址的唯一部分，例如 bffe6ce6c4304c55acca0e57be23128c-dot-us-central1。

• *.pkg.dev 用于获取环境映像，例如在创建或 更新环境

• *.gcr.io GKE 需要连接到 Container Registry 网域，而不考虑 Cloud Composer 版本。

注意：如果您未为 Google API 和服务配置 DNS 规则，系统会使用默认网域的网域选项解析它们。

配置与 restricted.googleapis.com 端点的连接：

网域	DNS 名称	CNAME 记录	A 记录
*.googleapis.com	googleapis.com.	DNS 名称：*.googleapis.com. 资源记录类型：CNAME 规范名称：googleapis.com.	资源记录类型：A IPv4 地址：199.36.153.4、199.36.153.5、199.36.153.6、199.36.153.7
*.composer.cloud.google.com	composer.cloud.google.com.	DNS 名称：*.composer.cloud.google.com. 资源记录类型：CNAME 规范名称：composer.cloud.google.com.	资源记录类型：A IPv4 地址：199.36.153.4、199.36.153.5、199.36.153.6、199.36.153.7
*.composer.googleusercontent.com （可选，参见说明）	composer.googleusercontent.com.	DNS 名称：*.composer.googleusercontent.com. 资源记录类型：CNAME 规范名称：composer.googleusercontent.com.	资源记录类型：A IPv4 地址：199.36.153.4、199.36.153.5、199.36.153.6、199.36.153.7
*.pkg.dev	pkg.dev.	DNS 名称：*.pkg.dev. 资源记录类型：CNAME 规范名称：pkg.dev.	资源记录类型：A IPv4 地址：199.36.153.4、199.36.153.5、199.36.153.6、199.36.153.7
*.gcr.io	gcr.io.	DNS 名称：*.gcr.io. 资源记录类型：CNAME 规范名称：gcr.io.	资源记录类型：A IPv4 地址：199.36.153.4、199.36.153.5、199.36.153.6、199.36.153.7

如需创建 DNS 规则，请执行以下操作：

1. 创建新的 DNS 区域，并使用 DNS 名称作为此区域的 DNS 名称。

   示例：pkg.dev.

2. 为 CNAME 记录添加记录集。

   示例：

   • DNS 名称：*.pkg.dev.
   • 资源记录类型：CNAME
   • 规范名称：pkg.dev.

3. 添加记录集，并为 A 记录指定以下值：

   示例：

   • 资源记录类型：A
   • IPv4 地址：199.36.153.4、199.36.153.5、199.36.153.6、199.36.153.7

如需了解详情，请参阅 设置与 Google API 和服务的专用连接。

配置防火墙规则

如果您的项目具有非默认防火墙规则（例如 覆盖规则 隐式防火墙规则，或者 您可在以下位置修改预先填充的规则 默认网络，然后验证以下防火墙规则是否 配置。

例如，如果您有一条防火墙规则拒绝所有出站流量，Cloud Composer 可能会无法创建环境。为避免出现问题 定义遵循列表且具有更高优先级的选择性 allow 规则 全局规则deny。

重要提示：以下规则列表可能多余，具体取决于项目中防火墙规则的配置方式。例如，如果您的防火墙规则 则不需要列出的出站规则。

配置 VPC 网络以允许来自您的环境的流量：

• 请参阅使用防火墙规则，了解如何检查、添加和更新 VPC 网络的规则。
• 使用连接性工具验证 IP 网段之间的连接性。
• 您可以使用广告联盟标记进一步限制访问权限。您可以在创建环境时设置这些标记。

说明	方向	操作	来源或目标	协议	端口
DNS 请按照VPC Service Controls 对 Cloud DNS 的支持中所述进行配置	-	-	-	-	-
Google API 和服务	出站	允许	您用于 Google API 和服务的 restricted.googleapis.com 的 IPv4 地址。	TCP	443
环境的集群节点	出站	允许	环境的子网主要 IP 地址范围	TCP、UDP	全部
环境的集群 Pod	出站	允许	环境子网中 Pod 的次要 IP 地址范围	TCP、UDP	全部
环境的集群控制平面	出站	允许	GKE 控制平面 IP 地址范围	TCP、UDP	全部
（如果您的环境使用 Private Service Connect）连接子网	出站	允许	Cloud Composer 连接子网范围	TCP	3306、3307
（如果您的环境使用 VPC 对等互连）租户网络	出站	允许	Cloud Composer 租户网络 IP 地址范围	TCP	3306、3307

注意：GKE 服务会自动创建多个入站和出站防火墙规则，以便您环境中的集群正常运行（例如 Google Cloud 健康检查的入站和出站规则）。请参阅 GKE 防火墙规则页面了解详情。 删除或屏蔽 GKE 服务创建的防火墙规则。

要获取 IP 范围，请执行以下操作：

• Pod、Service 和控制平面地址范围 环境集群的集群页面上：

  1. 在 Google Cloud 控制台中，前往环境页面。

     转到“环境”

  2. 在环境列表中，点击您的环境名称。环境详情页面会打开。

  3. 转到环境配置标签页。

  4. 点击查看集群详情链接。

• 您可以在环境配置标签页上查看环境的 Cloud Composer 租户网络 IP 地址范围。

• 您可以查看环境的 环境配置标签页上显示的子网 ID 和 Cloud Composer 连接子网 ID。如需获取子网的 IP 地址范围，请前往 VPC 网络页面，然后点击网络名称以查看详细信息：

  转到“VPC 网络”

VPC Service Controls 日志

排查环境创建问题时，您可以分析审核日志 VPC Service Controls

除了其他日志消息之外，您还可以查看日志，了解用于配置环境组件的 [e-mail] 和 [e-mail] 服务账号的相关信息。

Cloud Composer 服务使用 [e-mail] 个服务账号需要管理 您的环境中的租户项目组件。

[e-mail] 服务账号（也称为 Composer Service Agent Service Account）用于管理服务和宿主项目中的环境组件。

限制

• 所有 VPC Service Controls 网络限制条件也适用于您的 Cloud Composer 环境。如需了解详情，请参阅 VPC Service Controls 文档。

• 当 Cloud Composer 在边界内运行时，对公共 PyPI 代码库的访问权限会受到限制。请参阅安装 Python 依赖项，了解如何在专用 IP 模式下安装 PyPI 模块。

后续步骤

• 创建环境
• 安装 PyPI 软件包