数据沿袭注意事项

数据沿袭是按项目启用的,而不是 按系统进行分配 这意味着,启用 Data Lineage API 后,系统可以根据每个系统的产品级沿袭控制,自动为项目中的多个系统报告沿袭信息。

以下系统支持自动沿袭跟踪:

Google Cloud 支持的系统中的产品级沿袭控制
系统 可用的谱系控件
BigQuery、
Cloud Data Fusion
无法配置以将沿袭跟踪仅限于 Cloud Data Fusion 或 BigQuery(如果在项目中启用了 Data Lineage API)。
Cloud Composer Cloud Composer 使用环境级数据源流水线集成控制。系统会自动为所有新的 Cloud Composer 环境启用数据沿袭,前提是这些环境符合相关要求。如需了解详情,请参阅使用 Dataplex 的数据沿袭。对于现有环境,您可以在环境设置中启用或停用数据谱系集成。
Dataproc Dataproc Spark 作业可以捕获谱系事件并将其发布到 Data Lineage API。 如需了解详情,请参阅数据沿袭与 Dataproc 集成
Vertex AI 系统会自动为 Vertex AI 工件和参数(例如模型、数据集、流水线模板和组件)启用数据传承。流水线的沿袭包括促使其创建的各种因素,以及之后派生的工件和元数据。 如需了解详情,请参阅跟踪流水线工件的沿袭

对结算的影响

在项目中启用 Data Lineage API 后,请查看对您的结算费用的影响,因为 Data Lineage API 是按项目启用的(如需了解详情,请参阅上一部分)。

对于多区域(例如欧盟 [eu]、亚洲 [asia] 和美国 [us]),以及 BigQuery Omni,谱系处理会分布到特定区域,费用取决于执行处理的区域(请参阅数据目录价格示例)。

数据沿袭合规性

  • 数据沿袭会记录与数据移动相关的元数据,但不会捕获数据本身。请参阅数据沿袭信息模型Data Lineage API 参考文档 ,详细了解元数据中包含哪些字段。
  • Dataplex 中的数据沿袭功能支持 VPC-SC。
  • Dataplex 不支持 客户管理的加密密钥,用于保护收集的沿袭元数据。

数据沿袭限制

在谱系图中选择节点后,如果满足以下条件,节点详情侧边栏将为空:

  1. 资源位于其他组织中,或者
  2. 用户不是托管资源的组织的成员。