数据沿袭注意事项

数据沿袭是按项目启用的。 这意味着,启用 Data Lineage API 后,沿袭信息 可以针对多个系统自动生成报表,具体取决于 产品级沿袭控制

以下系统支持自动沿袭跟踪:

Google Cloud 支持的系统中的产品级沿袭控制
系统 可用的沿袭控件
BigQuery、
Cloud Data Fusion
无法配置以将沿袭跟踪仅限于 Cloud Data Fusion 或 BigQuery(如果在项目中启用了 Data Lineage API)。
Cloud Composer Cloud Composer 使用环境级数据沿袭 集成控制数据沿袭 支持所有新的 Cloud Composer 环境,前提是这些环境符合 要求。请参阅 使用 Dataplex 进行数据沿袭 信息。对于现有环境 环境设置中的数据沿袭集成。
Dataproc Dataproc Spark 作业可以捕获沿袭事件并将其发布到 Data Lineage API。 如需了解详情,请参阅数据沿袭 Dataproc 集成
Vertex AI 系统会自动为 Vertex AI 工件和参数(例如模型、数据集、流水线模板和组件)启用数据沿袭。流水线的沿袭包括促成其创建的因素,以及之后派生的工件和元数据。 如需了解详情,请参阅跟踪流水线工件的沿袭

对结算的影响

对项目启用 Data Lineage API 时,请查看 启用 Data Lineage API 后对结算费用的影响 (如需了解详情,请参阅上一部分)。

对于多区域,例如欧盟 (eu)、亚洲 (asia), 美国和美国)以及 BigQuery Omni 中的沿袭处理 分布于特定区域,而费用则取决于 (请参阅 Data Catalog 价格示例)。

数据沿袭合规性

  • 数据沿袭会记录有关数据移动的元数据,但 并不捕获数据本身。请参阅数据沿袭信息模型Data Lineage API 参考文档 ,详细了解元数据中包含哪些字段。
  • 作为 Dataplex 的一部分的数据沿袭提供 VPC-SC 支持。
  • Dataplex 目前不提供 客户管理的加密密钥,用于保护收集的沿袭元数据。

数据沿袭限制

选择沿袭图中的某个节点后,该节点详细信息侧边栏 在以下情况下,将为空:

  1. 相应资源位于另一个组织中,或者
  2. 该用户不是托管相应资源的组织的成员。