为 Dataform 配置 VPC Service Controls

VPC Service Controls 是 Google Cloud 的一项功能，可让您设置有助于防止数据渗漏的边界。本指南介绍如何将 VPC Service Controls 与 Dataform 结合使用，以提高服务的安全性。

VPC Service Controls 为 Google Cloud 服务提供了一层额外的防御，该防御独立于 Identity and Access Management (IAM) 提供的保护。

如需详细了解 VPC Service Controls，请参阅 VPC Service Controls 概览。

限制

Dataform 支持 VPC Service Controls，但存在以下限制：

安全注意事项

为 Dataform 设置 VPC Service Controls 边界时，您应检查授予 Dataform 服务帐号的权限，并确保它们与您的安全架构匹配。

根据您授予 Dataform 服务帐号的权限，该服务帐号可能有权访问 BigQuery 或 Secret Manager 数据（无论 VPC Service Controls 为何）。在这种情况下，通过 VPC Service Controls 边界对 Dataform 进行限制不会阻止与 BigQuery 或 Secret Manager 的通信。

如果您不需要执行源自 Dataform 代码库的任何工作流调用，则应阻止与 BigQuery 的通信。如需详细了解如何阻止与 BigQuery 的通信，请参阅阻止与 BigQuery 的通信。

如果您没有任何 Dataform 代码库连接到第三方 Git 代码库，则应阻止与 Secret Manager 的通信。如需详细了解如何阻止与 Secret Manager 的通信，请参阅阻止与 Secret Manager 的通信。

准备工作

在为 Dataform 配置 VPC Service Controls 服务边界之前，请按照限制远程代码库指南来设置 dataform.restrictGitRemotes 组织政策。

必须使用 dataform.restrictGitRemotes 组织政策，以确保在使用 Dataform 时强制执行 VPC Service Controls 检查，并限制第三方对 Dataform Git 代码库的访问。

所需的角色

如需获取配置 VPC Service Controls 服务边界所需的权限，请让管理员授予您项目的 Access Context Manager Editor (roles/accesscontextmanager.policyEditor) IAM 角色。 如需详细了解如何授予角色，请参阅管理访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

如需详细了解 VPC Service Controls 权限，请参阅使用 IAM 进行访问权限控制。

配置 VPC Service Controls

您可以通过以下方式使用 VPC Service Controls 服务边界限制 Dataform：

  • 将 Dataform 添加到限制 BigQuery 的现有服务边界。
  • 创建限制 Dataform 和 BigQuery 的服务边界。

如需将 Dataform 添加到限制 BigQuery 的服务边界，请按照 VPC Service Controls 文档中的更新服务边界指南进行操作。

如需创建同时限制 Dataform 和 BigQuery 的新服务边界，请按照 VPC Service Controls 文档中的创建服务边界指南进行操作。

可选：禁止与 BigQuery 通信

Dataform 与 BigQuery 的通信方式取决于 Dataform 中使用的服务帐号类型。

默认的 Dataform 服务帐号使用 bigquery.jobs.create 权限与 BigQuery 进行通信。在授予 Dataform 在 BigQuery 中运行 SQL 工作流所需的角色时，您可以授予包含此权限的默认 Dataform 服务帐号角色。

如需阻止默认 Dataform 服务帐号与 BigQuery 之间的通信，您需要撤消已授予默认 Dataform 服务帐号且包含 bigquery.jobs.create 权限的所有预定义角色和自定义角色。如需撤消角色，请按照管理对项目、文件夹和组织的访问权限指南进行操作。

自定义 Dataform 服务帐号使用以下权限和角色与 BigQuery 通信：

  • 授予自定义服务帐号的 bigquery.jobs.create 权限。
  • Service Account Token Creator (roles/iam.serviceAccountTokenCreator) 角色，授予自定义服务帐号上的默认 Dataform 服务帐号。

您可以通过以下任一方式阻止自定义 Dataform 服务帐号与 BigQuery 之间的通信：

  • 撤消已授予所选自定义 Dataform 服务帐号的默认服务帐号的 Service Account Token Creator (roles/iam.serviceAccountTokenCreator) 角色。如需撤消 Service Account Token Creator (roles/iam.serviceAccountTokenCreator) 角色，请按照管理对服务帐号的访问权限指南进行操作。

  • 撤消在项目级向包含 bigquery.jobs.create 权限的自定义服务帐号授予的所有预定义角色和自定义角色。如需撤消角色，请按照管理对项目、文件夹和组织的访问权限指南进行操作。

以下必须撤消的预定义 BigQuery IAM 角色中包含 bigquery.jobs.create 权限：

可选：禁止与 Secret Manager 通信

Dataform 使用 secretmanager.versions.access 权限访问各个 Secret Manager Secret。当您将 Dataform 代码库关联到第三方代码库时，会针对所选 Secret Manager 密钥向默认 Dataform 服务帐号授予此权限。

如需阻止 Dataform 与 Secret Manager 之间的通信，您需要从默认 Dataform 服务帐号撤消对所有 Secret 的访问权限。

如需撤消默认 Dataform 服务帐号对 Secret Manager Secret 的访问权限，请按照 Secret Manager 文档中的管理对 Secret 的访问权限指南进行操作。对于所选 Secret，您必须撤消已授予默认 Dataform 服务帐号的包含 secretmanager.versions.access 权限的所有预定义角色和自定义角色。

以下预定义的 Secret Manager IAM 角色中包含 secretmanager.versions.access 权限：

后续步骤