本文档介绍了数据沿袭合规性和限制。数据沿袭是按项目启用的,而不是按系统启用的。这意味着,启用 Data Lineage API 后,系统会根据项目中每个系统的产品级沿袭控制,自动报告项目中多个系统的沿袭信息。
以下系统支持自动沿袭跟踪:
系统 | 可用的沿袭控制 |
---|---|
BigQuery、 Cloud Data Fusion |
在项目中启用 Data Lineage API 后,无法配置将沿袭跟踪仅限于 Cloud Data Fusion 或 BigQuery。 |
Cloud Composer | Cloud Composer 使用环境级数据沿袭集成控制。只要满足要求,系统就会自动为所有新的 Cloud Composer 环境启用数据沿袭。如需了解详情,请参阅使用 Dataplex Universal Catalog 执行数据沿袭。对于现有环境,您可以在环境设置中启用或停用数据沿袭集成。 |
Dataflow | Dataflow 作业可以捕获沿袭事件并将其发布到 Data Lineage API。如需了解详情,请参阅在 Dataflow 中使用数据沿袭。 |
Dataproc | Dataproc Spark 作业可以捕获沿袭事件并将其发布到 Data Lineage API。如需了解详情,请参阅数据沿袭 Dataproc 集成。 |
Vertex AI | 系统会自动为 Vertex AI 制品和参数(例如模型、数据集、流水线模板和组件)启用数据沿袭功能。流水线的沿袭包括促使其创建的各种因素,以及之后派生的制品和元数据。如需了解详情,请参阅跟踪流水线制品的沿袭。 |
结算影响
在项目上启用 Data Lineage API 时,请查看对结算费用的影响,因为 Data Lineage API 是按项目启用的(如需了解详情,请参阅上一部分)。如需详细了解数据沿袭的收费方式,请参阅 Dataplex Universal Catalog 价格。
对于 BigQuery Omni,沿袭处理会分布到特定区域,费用取决于执行处理的区域。
数据沿袭合规性
- 数据沿袭记录有关数据移动的元数据,但不捕获数据本身。如需详细了解元数据中包含哪些字段,请参阅数据沿袭信息模型和 Data Lineage API 参考文档。
- 作为 Dataplex Universal Catalog 的一部分,数据沿袭会提供 VPC-SC 支持。
- Dataplex Universal Catalog 不支持使用客户管理的加密密钥来保护收集的沿袭元数据。
数据沿袭限制
在沿袭图中选择节点时,如果出现以下情况,节点详情侧边栏将为空:
- 资源位于其他组织中,或者
- 用户不是托管资源的组织的成员。