本页面介绍如何查看您的 Cloud Data Fusion 流水线与 Google Cloud 上的其他数据移动生成的数据沿袭,以用于发现和治理。您可以在控制台的 Dataplex 页面上查看受支持数据源的沿袭图表,也可以使用 Data Lineage API 检索完整的数据沿袭记录。
在 Dataplex 中支持数据沿袭的插件
Cloud Data Fusion 和 Dataplex 支持以下插件的资产级沿袭:
- Amazon S3
- BigQuery
- BigQuery 多表接收器(6.9.1 及更高版本)
- Cloud Spanner
- Cloud Storage
- Cloud SQL for MySQL
- Cloud SQL for PostgreSQL
- Dataplex
- FTP
- 通用数据库
- HTTP
- MSSQL/SQL 服务器
- 多个 Database Tables 来源(6.9.1 及更高版本)
- MySQL
- Oracle
- PostgreSQL
- SAP OData
- SAP ODP
- SAP 表
如需了解详情,请参阅 Cloud Data Fusion 插件。
准备工作
如需在控制台的 Dataplex 页面上查看 Cloud Data Fusion 沿袭图表,请执行以下操作:
在包含 Cloud Data Fusion 实例的项目中启用 Data Lineage API。
向 Cloud Data Fusion 代管式服务帐号授予 Data Lineage Events Producer 角色 (
roles/datalineage.producer
)。如需了解详情,请参阅 Data Catalog 的预定义沿袭角色。没有 RBAC 的实例
如果未对实例启用基于角色的访问权限控制 (RBAC),请向 Cloud Data Fusion API 服务代理授予 Data Lineage Events Producer 角色 (
roles/datalineage.producer
)。如需授予所需的角色,请按以下步骤操作:
在 Google Cloud 控制台中,转到 IAM 页面。
选中包括 Google 提供的角色授权复选框。
选择 Cloud Data Fusion API 服务代理服务帐号作为主帐号,然后点击修改。
点击添加其他角色,然后选择 Data Lineage Events Producer 角色。
点击保存。
包含 RBAC 的实例
对于启用了基于角色的访问权限控制 (RBAC) 的实例,向您授予角色的服务帐号采用以下格式:
datafusion-system@TENANT_PROJECT_ID.iam.gserviceaccount.com
。 它不会显示在 IAM 页面上的主帐号列表中。如需授予所需的角色,请按以下步骤操作:
在 Google Cloud 控制台中,转到 IAM 页面。
点击授予使用权限。
在新的主帐号字段中,输入 Cloud Data Fusion API 服务代理服务帐号:
datafusion-system@TENANT_PROJECT_ID.iam.gserviceaccount.com
。选择 Data Lineage Events Producer 角色。
点击保存。
沿袭可用时间
在 Dataplex 中查看沿袭有以下限制:
仅当有 BigQuery 实体连接到受支持的插件时,Dataplex 中的沿袭才可以被发现。如需详细了解数据沿袭图表何时可用,请参阅数据沿袭。
Data Lineage API 不支持客户管理的加密密钥 (CMEK)。
查看数据沿袭注意事项。
查看数据沿袭图表
如需查看所有 Google Cloud 服务中的实体的沿袭图表,请执行以下操作:
转到 Cloud Data Fusion 中的实例并运行使用受支持的插件的数据流水线。
在控制台的“Dataplex”页面上查看沿袭图表,并找到要查看其沿袭信息的资产。
后续步骤
- 详细了解数据沿袭。