本页介绍 Cloud Data Fusion 中的访问权限控制选项。
您可以通过以下方式控制对 Cloud Data Fusion 中资源的访问权限:
如需控制对控制平面操作的访问权限(例如通过 Google Cloud 控制台、Google Cloud CLI 和 REST API 创建和更新实例),请使用身份和访问管理 (IAM),如本页所述。
如需向运行数据流水线的服务账号授予对数据服务(例如 BigQuery 或 Cloud Storage)的访问权限,请使用 IAM。 Google Cloud
如需了解 Cloud Data Fusion 访问权限控制涉及的架构和资源,请参阅网络。如需了解如何授予角色和权限,请参阅管理对项目、文件夹和组织的访问权限。
Cloud Data Fusion 中的 IAM 简介
通过向 Google Cloud 项目中的服务账号和其他正文授予 IAM 角色和权限,您可以控制对 Cloud Data Fusion 功能的访问权限。
如需向用户账号授予精细的访问权限,以便他们使用 Cloud Data Fusion 网页界面,请使用 RBAC。
默认情况下,Cloud Data Fusion 使用以下服务账号:
Cloud Data Fusion Service Account
Cloud Data Fusion 服务账号是 Google 管理的服务代理,可以在流水线设计时访问客户资源。启用 Cloud Data Fusion API 后,系统会自动将此服务代理添加到项目中。它适用于项目中的所有实例。
服务代理有以下责任:
在流水线设计期间与其他服务(例如 Cloud Storage、BigQuery 或 Datastream)通信。
通过预配 Dataproc 集群和提交流水线作业来启用执行。
Cloud Data Fusion 服务账号的角色
默认情况下,Cloud Data Fusion 服务账号仅具有 Cloud Data Fusion API Service Agent 角色 (roles/datafusion.serviceAgent
)。
此服务代理的主账号名称为 service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com
。
以下默认资源与 Cloud Data Fusion API Service Agent 角色相关联。
角色 | 资源 | 权限 |
---|---|---|
Cloud Data Fusion API Service Agent | 关联的服务:
|
请参阅 Cloud Data Fusion API Service Agent 权限。 |
Compute Engine 默认服务账号或自定义服务账号
Compute Engine 服务账号是 Cloud Data Fusion 用于部署和运行访问其他Google Cloud 资源的作业的默认账号。默认情况下,它会挂接到 Dataproc 集群虚拟机,以便 Cloud Data Fusion 在流水线运行期间访问 Dataproc 资源。
您可以在创建 Cloud Data Fusion 实例时选择要附加到 Dataproc 集群的自定义服务账号,也可以在 Cloud Data Fusion 网页界面中创建新的计算配置文件。
如需了解详情,请参阅 Cloud Data Fusion 中的服务账号。
Compute Engine 服务账号的角色
默认情况下,为了在您运行数据流时访问资源(例如来源和接收器),Cloud Data Fusion 会使用 Compute Engine 默认服务账号。
出现问题。您可以为 Cloud Data Fusion 实例设置用户管理的自定义服务账号,并向此账号授予角色。之后,您可以在创建新实例时选择此服务账号。
Cloud Data Fusion Runner 角色
在包含 Cloud Data Fusion 实例的项目中,为默认服务账号和用户管理的自定义服务账号授予 Cloud Data Fusion Runner 角色 (datafusion.runner
)。
角色 | 说明 | 权限 |
---|---|---|
Data Fusion Runner (datafusion.runner) |
允许 Compute Engine 服务账号与租户项目中的 Cloud Data Fusion 服务通信 | datafusion.instances.runtime |
服务账号用户角色
在您运行流水线时启动 Dataproc 集群的项目中的默认服务账号或用户管理的服务账号中,向 Cloud Data Fusion 服务账号授予 Service Account User 角色 (roles/iam.serviceAccountUser
)。
如需了解详情,请参阅向服务账号授予权限。
Dataproc Worker 角色
如需在 Dataproc 集群上运行作业,请向 Cloud Data Fusion 流水线使用的默认服务账号或用户管理的服务账号授予 Dataproc Worker 角色 (roles/dataproc.worker
)。
用户角色
如需在 Cloud Data Fusion 中触发任何操作,您(主账号)必须拥有足够的权限。各项权限分组为多个角色,然后您向该主账号授予角色。
如果未启用 RBAC,或者您使用的 Cloud Data Fusion 版本不支持 RBAC,则具有任何 Cloud Data Fusion IAM 角色的用户都拥有对 Cloud Data Fusion 网页界面的完整访问权限。管理员角色仅允许用户管理实例,例如执行 Create
、Update
、Upgrade
和 Delete
操作。
根据主账号在 Cloud Data Fusion 中需要的权限,向其授予以下角色。
角色 | 说明 | 权限 |
---|---|---|
Cloud Data Fusion Admin (roles/datafusion.admin ) |
拥有 Viewer 的所有权限,以及创建、更新和删除 Cloud Data Fusion 实例的权限。 |
|
Cloud Data Fusion Viewer (roles/datafusion.viewer ) |
|
|
在设计时访问其他项目中的资源
本部分介绍了对在设计时位于与 Cloud Data Fusion 实例不同的 Google Cloud 项目中的资源的访问权限控制。
在 Cloud Data Fusion 网页界面中设计流水线时,您可能会使用 Wrangler 或 Preview 等函数来访问其他项目中的资源。
以下部分介绍了如何确定环境中的服务账号,然后授予适当的权限。
确定环境的服务账号
服务账号名称为 Cloud Data Fusion 服务账号,此服务代理的主要身份为 service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com
。
授予访问其他项目中资源的权限
如需授予有权访问各种资源的角色,请按以下步骤操作:
- 在包含目标资源的项目中,将 Cloud Data Fusion 服务账号 (
service-CUSTOMER_PROJECT_NUMBER@gcp-sa-datafusion.iam.gserviceaccount.com
) 添加为主账号。 - 在包含目标资源的项目中,向 Cloud Data Fusion 服务账号授予目标资源的角色。
授予角色后,您可以在设计时访问其他项目中的资源,访问方式与访问实例所在项目中的资源相同。
在执行时访问其他项目中的资源
本部分介绍了对在执行时位于与 Cloud Data Fusion 实例位于不同 Google Cloud 项目中的资源的访问权限控制。
在执行时,您可以在 Dataproc 集群上执行流水线,该集群可能会访问其他项目中的资源。默认情况下,Dataproc 集群本身会在与 Cloud Data Fusion 实例位于同一项目中启动,但您也可以在其他项目中使用集群。
如需访问其他 Google Cloud 项目中的资源,请按以下步骤操作:
- 确定项目的服务账号。
- 在资源所在的项目中,向 Compute Engine 默认服务账号授予 IAM 角色,以便其访问另一个项目中的资源。
确定 Compute Engine 服务账号
如需详细了解 Compute Engine 服务账号,请参阅 Cloud Data Fusion 中的 IAM 简介。
向 IAM 授予对其他项目中资源的访问权限
Compute Engine 默认服务账号需要有权访问其他项目中的资源。这些角色和权限可能会因您要访问的资源而异。
如需访问这些资源,请按以下步骤操作:
- 授予角色和权限,并在目标资源所在的项目中将您的 Compute Engine 服务账号指定为正文。
- 添加适当的角色以访问资源。
Cloud Data Fusion API 权限
执行 Cloud Data Fusion API 需要具备以下权限。
API 调用 | 权限 |
---|---|
instances.create |
datafusion.instances.create |
instances.delete |
datafusion.instances.delete |
instances.list |
datafusion.instances.list |
instances.get |
datafusion.instances.get |
instances.update |
datafusion.instances.update |
operations.cancel |
datafusion.operations.cancel |
operations.list |
datafusion.operations.list |
operations.get |
datafusion.operations.get |
执行常见任务的权限
执行 Cloud Data Fusion 中的常见任务需要具备以下权限:
任务 | 权限 |
---|---|
访问 Cloud Data Fusion 网页界面 | datafusion.instances.get |
在 Google Cloud 控制台中打开 Cloud Data Fusion 的实例页面 | datafusion.instances.list |
访问实例的详情页面 | datafusion.instances.get |
创建新实例 | datafusion.instances.create |
更新标签和高级选项以自定义实例 | datafusion.instances.update |
删除实例 | datafusion.instances.delete |
后续步骤
- 详细了解多个项目之间的访问权限控制。