为 Dataform 配置 VPC Service Controls

VPC Service Controls 是 Google Cloud 的一项功能，可让您设置有助于防止数据渗漏的边界。 本指南介绍了如何将 VPC Service Controls 与 Dataform 搭配使用，以帮助提高服务的安全性。

VPC Service Controls 为 Google Cloud 服务提供了一层额外的安全防御，它独立于 Identity and Access Management (IAM) 提供的保护。

如需详细了解 VPC Service Controls，请参阅 VPC Service Controls 概览。

限制

Dataform 支持 VPC Service Controls，但存在以下限制：

安全注意事项

为 Dataform 设置 VPC Service Controls 边界时，您应检查向 Dataform 服务帐号授予的权限，并确保这些权限与您的安全架构相匹配。

根据您向 Dataform 服务帐号授予的权限，该服务帐号可能有权访问服务帐号所属项目中的 BigQuery 或 Secret Manager 数据（无论 VPC Service Controls 如何）。在这种情况下，使用 VPC Service Controls 边界限制 Dataform 不会阻止与 BigQuery 或 Secret Manager 的通信。

如果您不需要执行源自 Dataform 代码库的任何工作流调用，则应阻止与 BigQuery 的通信。如需详细了解如何阻止与 BigQuery 的通信，请参阅阻止与 BigQuery 的通信。

如果您的所有 Dataform 代码库都未连接到第三方 Git 代码库，则应阻止与 Secret Manager 的通信。如需详细了解如何阻止与 Secret Manager 的通信，请参阅阻止与 Secret Manager 的通信。

准备工作

在为 Dataform 配置 VPC Service Controls 服务边界之前，请按照限制远程代码库指南设置 dataform.restrictGitRemotes 组织政策。

必须使用 dataform.restrictGitRemotes 组织政策，以确保在使用 Dataform 时强制执行 VPC Service Controls 检查，并限制第三方对 Dataform Git 代码库的访问。

所需的角色

如需获取配置 VPC Service Controls 服务边界所需的权限，请让管理员向您授予项目的 Access Context Manager Editor (roles/accesscontextmanager.policyEditor) IAM 角色。如需详细了解如何授予角色，请参阅管理访问权限。

您也可以通过自定义角色或其他预定义角色来获取所需的权限。

如需详细了解 VPC Service Controls 权限，请参阅使用 IAM 进行访问权限控制。

配置 VPC Service Controls

您可以通过以下方式使用 VPC Service Controls 服务边界来限制 Dataform：

  • 将 Dataform 添加到限制 BigQuery 的现有服务边界。
  • 创建一个同时限制 Dataform 和 BigQuery 的服务边界。

如需将 Dataform 添加到限制 BigQuery 的服务边界，请按照 VPC Service Controls 文档中的更新服务边界指南进行操作。

如需创建同时限制 Dataform 和 BigQuery 的新服务边界，请按照 VPC Service Controls 文档中的创建服务边界指南进行操作。

可选：禁止与 BigQuery 通信

Dataform 与 BigQuery 的通信方式取决于 Dataform 中使用的服务帐号类型。

默认的 Dataform 服务帐号使用 bigquery.jobs.create 权限与 BigQuery 进行通信。授予 Dataform 在 BigQuery 中运行 SQL 工作流所需的角色时，您将授予包含此权限的默认 Dataform 服务帐号角色。

如需阻止默认 Dataform 服务帐号与 BigQuery 之间的通信，您需要撤消包含 bigquery.jobs.create 权限（已授予默认 Dataform 服务帐号）的所有预定义角色和自定义角色。如需撤消角色，请按照管理对项目、文件夹和组织的访问权限指南执行操作。

自定义 Dataform 服务账号使用以下权限和角色与 BigQuery 进行通信：

  • 提供给自定义服务帐号的 bigquery.jobs.create 权限。
  • Service Account Token Creator (roles/iam.serviceAccountTokenCreator) 角色，授予自定义服务帐号上的默认 Dataform 服务帐号。

您可以通过以下任一方式阻止自定义 Dataform 服务帐号与 BigQuery 之间的通信：

  • 撤消授予所选自定义 Dataform 服务帐号上默认服务帐号的 Service Account Token Creator (roles/iam.serviceAccountTokenCreator) 角色。如需撤消 Service Account Token Creator (roles/iam.serviceAccountTokenCreator) 角色，请按照管理对服务帐号的访问权限指南操作。

  • 向包含 bigquery.jobs.create 权限的自定义服务帐号撤消在项目级授予的所有预定义角色和自定义角色。如需撤消角色，请按照管理对项目、文件夹和组织的访问权限指南执行操作。

bigquery.jobs.create 权限包含在以下必须撤消的预定义 BigQuery IAM 角色中：

可选：禁止与 Secret Manager 通信

Dataform 使用 secretmanager.versions.access 权限来访问各个 Secret Manager Secret。将 Dataform 代码库连接到第三方代码库时，您可以向所选 Secret Manager 密钥的默认 Dataform 服务帐号授予此权限。

如需阻止 Dataform 与 Secret Manager 之间的通信，您需要撤消默认 Dataform 服务帐号对所有 Secret 的访问权限。

如需撤消默认 Dataform 服务帐号对 Secret Manager Secret 的访问权限，请按照 Secret Manager 文档中的管理对 Secret 的访问权限指南操作。您必须撤消包含 secretmanager.versions.access 权限的所有预定义角色和自定义角色，这些角色授予选定 Secret 的默认 Dataform 服务帐号。

以下预定义的 Secret Manager IAM 角色中包含 secretmanager.versions.access 权限：

后续步骤