对存储在 Dataplex Catalog 中的 BigQuery 元数据所做的更改

2024 年 10 月 15 日至 2024 年 11 月 15 日期间,部分 BigQuery 更改存储在 Dataplex Catalog 中的元数据。

此更改使存储在 Dataplex Catalog 中的元数据与 BigQuery 元数据以及其他 Google Cloud 来源的元数据保持一致。

如果您的工作负载依赖于 BigQuery 元数据,您必须对其进行调整以保持连续性。

如需详细了解 Dataplex Catalog 元数据,请参阅 Dataplex Catalog 概览

变更范围

本部分介绍的更改适用于所有 BigQuery 条目。BigQuery 条目 属于 BigQuery 系统下的条目类型。

以下 API 方法会受到这些变更的影响:

数据类型值和表子类型值的更改也会反映在 Google Cloud 控制台中的“条目详情”页面上。

数据类型值

方面类型 SchemaAspect 的数据类型值将发生变化。字段 dataType会受到影响。

更改前的值 更改后的值
INT64 INTEGER
FLOAT64 FLOAT
STRUCT RECORD
BOOL BOOLEAN

资源名称

顶级条目字段的资源名称将发生变化 entrySource.resource。该字段已修改为包含资源 ID 而不是完整的资源名称。

更改前的值 更改后的值
//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET/tables/TABLE projects/PROJECT_ID/datasets/DATASET/tables/TABLE

祖先类型值

顶级条目字段 entrySource.ancestors.type 的祖先类型值正在更改。

更改之前的值 更改后的价值
655216118709.global.Dataset dataplex-types.global.bigquery-dataset

您需要做什么

发布期从 2024 年 10 月 15 日开始,2024 年 11 月 15 日结束。对 BigQuery 元数据的更改将在整个发布期内逐步应用。

以下是您需要执行的操作:

  • 2024 年 10 月 15 日之前:更新您的工作负载,以解读旧版元数据和更新版元数据。
  • 在发布期间:BigQuery 条目可能会捕获旧版元数据或更新版元数据。您的工作负载 应该能够解读这两个版本

    如需确定 BigQuery 条目是否使用了更新后的元数据,请在条目的 aspects 对象中找到相关的方面类型。在 类型的 aspectSource 对象,data_version 字段指示元数据 版本。 例如,对于 bigquery-table 条目,请参阅 Entry.aspects.dataplex-types.global.bigquery-table.aspectSource.data_version

    使用旧版元数据版本 使用更新后的元数据版本
    ""(空字符串) "Ingestion/1.0.0"
  • 2024 年 11 月 15 日之后:您可以视需要更新工作负载,使其仅 新版元数据

支持

如有疑问,请联系 dataplex-msa-support@google.com.