数据沿袭是按项目启用的。 这意味着,启用 Data Lineage API 后,沿袭信息 可以针对多个系统自动生成报表,具体取决于 产品级沿袭控制
以下系统支持自动沿袭跟踪:
系统 | 可用的沿袭控件 |
---|---|
BigQuery、 Cloud Data Fusion |
无法配置以将沿袭跟踪仅限于 Cloud Data Fusion 或 BigQuery(如果在项目中启用了 Data Lineage API)。 |
Cloud Composer | Cloud Composer 使用环境级数据沿袭 集成控制数据沿袭 支持所有新的 Cloud Composer 环境,前提是这些环境符合 要求。请参阅 使用 Dataplex 进行数据沿袭 信息。对于现有环境 环境设置中的数据沿袭集成。 |
Dataproc | Dataproc Spark 作业可以捕获沿袭事件并将其发布到 Data Lineage API。 如需了解详情,请参阅数据沿袭 Dataproc 集成。 |
Vertex AI | 系统会自动为 Vertex AI 工件和参数(例如模型、数据集、流水线模板和组件)启用数据沿袭。流水线的沿袭包括促成其创建的因素,以及之后派生的工件和元数据。 如需了解详情,请参阅跟踪流水线工件的沿袭。 |
对结算的影响
对项目启用 Data Lineage API 时,请查看 启用 Data Lineage API 后对结算费用的影响 (如需了解详情,请参阅上一部分)。
对于多区域,例如欧盟 (eu)、亚洲 (asia), 美国和美国)以及 BigQuery Omni 中的沿袭处理 分布于特定区域,而费用则取决于 (请参阅 Data Catalog 价格示例)。
数据沿袭合规性
- 数据沿袭会记录有关数据移动的元数据,但 并不捕获数据本身。请参阅数据沿袭信息模型和 Data Lineage API 参考文档 ,详细了解元数据中包含哪些字段。
- 作为 Dataplex 的一部分的数据沿袭提供 VPC-SC 支持。
- Dataplex 目前不提供 客户管理的加密密钥,用于保护收集的沿袭元数据。
数据沿袭限制
选择沿袭图中的某个节点后,该节点详细信息侧边栏 在以下情况下,将为空:
- 相应资源位于另一个组织中,或者
- 该用户不是托管相应资源的组织的成员。