本文档提供了有关数据谱系合规性和限制的信息。 数据沿袭是按项目启用的,而不是按系统启用。这意味着,启用 Data Lineage API 后,系统可以根据每个系统的产品级沿袭控制,自动为项目中的多个系统报告沿袭信息。
以下系统支持自动谱系跟踪:
系统 | 可用的谱系控件 |
---|---|
BigQuery、 Cloud Data Fusion |
在项目中启用 Data Lineage API 后,无法配置为仅将谱系跟踪限制为 Cloud Data Fusion 或 BigQuery。 |
Cloud Composer | Cloud Composer 使用环境级数据源流水线集成控制。系统会自动为所有新的 Cloud Composer 环境启用数据沿袭,前提是这些环境符合相关要求。如需了解详情,请参阅 使用 Dataplex 的数据沿袭。对于现有环境,您可以在环境设置中启用或停用数据谱系集成。 |
Dataproc | Dataproc Spark 作业可以捕获谱系事件并将其发布到 Data Lineage API。 如需了解详情,请参阅数据沿袭与 Dataproc 集成。 |
Vertex AI | 系统会自动为 Vertex AI 工件和参数(例如模型、数据集、流水线模板和组件)启用数据传承。流水线的沿袭包括促使其创建的各种因素,以及之后派生的工件和元数据。 如需了解详情,请参阅跟踪流水线工件的沿袭。 |
结算影响
在项目中启用 Data Lineage API 后,请查看对您的结算费用的影响,因为 Data Lineage API 是按项目启用的(如需了解详情,请参阅上一部分)。
对于多区域(例如欧盟 [eu]、亚洲 [asia] 和美国 [us]),以及 BigQuery Omni,谱系处理会分布到特定区域,费用取决于执行处理的区域(请参阅Data Catalog 价格示例)。
数据沿袭合规性
- 数据沿袭会记录与数据移动相关的元数据,但不会捕获数据本身。如需详细了解元数据中包含哪些字段,请参阅数据沿袭信息模型和 Data Lineage API 参考文档。
- Dataplex 中的数据沿袭功能支持 VPC-SC。
- Dataplex 不支持使用客户管理的加密密钥来保护收集的谱系元数据。
数据沿袭限制
在谱系图中选择节点后,如果满足以下条件,节点详情侧边栏将为空:
- 资源位于其他组织中,或者
- 用户不是托管资源的组织的成员。