数据沿袭注意事项

数据沿袭是按项目启用的。这意味着,启用 Data Lineage API 后,系统可以自动报告多个系统沿袭信息,具体取决于其产品级沿袭控制。

以下系统支持自动沿袭跟踪:

Google Cloud 支持的系统中的产品级沿袭控制
系统 可用的沿袭控件
BigQuery、
Cloud Data Fusion
在项目中启用 Data Lineage API 时,无法配置以将沿袭跟踪限制为仅 Cloud Data Fusion 或 BigQuery。
Cloud Composer Cloud Composer 使用环境级数据沿袭集成控制。只要新的 Cloud Composer 环境符合相关要求,系统会自动为其启用数据沿袭。如需了解详情,请参阅 使用 Dataplex 进行数据沿袭。对于现有环境,您可以在环境设置中启用或停用数据沿袭集成。
Dataproc Dataproc Spark 作业可以捕获沿袭事件并将其发布到 Data Lineage API。如需了解详情,请参阅数据沿袭 Dataproc 集成
Vertex AI 系统会自动为 Vertex AI 工件和参数(例如模型、数据集、流水线模板和组件)启用数据沿袭。流水线的沿袭包括促成其创建的因素,以及之后派生的工件和元数据。 如需了解详情,请参阅跟踪流水线工件的沿袭

对结算的影响

在对项目启用 Data Lineage API 时,请查看对结算费用的影响,因为 Data Lineage API 是按项目启用的(如需了解详情,请参阅上一部分)。

对于多区域(例如欧盟 (eu)、亚洲 (asia) 和美国 (us))以及 BigQuery Omni,沿袭处理会分布到特定区域,费用取决于执行处理的区域(请参阅 Data Catalog 价格示例)。

数据沿袭合规性

  • 数据沿袭会记录有关数据移动的元数据,但不会捕获数据本身。如需详细了解元数据中包含哪些字段,请参阅数据沿袭信息模型Data Lineage API 参考文档
  • 作为 Dataplex 的一部分的数据沿袭提供 VPC-SC 支持。
  • Dataplex 目前不提供使用客户管理的加密密钥来保护收集的沿袭元数据的功能。

数据沿袭限制

当您在沿袭图中选择节点时,在以下情况下,节点详细信息侧边栏将为空:

  1. 相应资源位于另一个组织中,或者
  2. 该用户不是托管相应资源的组织的成员。