2024 年 10 月 15 日至 2024 年 11 月 15 日期间,部分 BigQuery 更改存储在 Dataplex Catalog 中的元数据。
此更改使存储在 Dataplex Catalog 中的元数据与 BigQuery 元数据以及其他 Google Cloud 来源的元数据保持一致。
如果您的工作负载依赖于 BigQuery 元数据,您必须对其进行调整以保持连续性。
如需详细了解 Dataplex Catalog 元数据,请参阅 Dataplex Catalog 概览。
变更范围
本部分介绍的更改适用于所有 BigQuery 条目。BigQuery 条目 属于 BigQuery 系统下的条目类型。
以下 API 方法会受到这些变更的影响:
数据类型值和表子类型值的更改也会反映在 Google Cloud 控制台中的“条目详情”页面上。
数据类型值
方面类型 SchemaAspect
的数据类型值将发生变化。字段
dataType
会受到影响。
更改前的值 | 更改后的值 |
---|---|
INT64 |
INTEGER |
FLOAT64 |
FLOAT |
STRUCT |
RECORD |
BOOL |
BOOLEAN |
资源名称
顶级条目字段的资源名称将发生变化
entrySource.resource
。该字段已修改为包含资源 ID
而不是完整的资源名称。
更改前的值 | 更改后的值 |
---|---|
//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET/tables/TABLE |
projects/PROJECT_ID/datasets/DATASET/tables/TABLE |
祖先类型值
顶级条目字段 entrySource.ancestors.type
的祖先类型值正在更改。
更改之前的值 | 更改后的价值 |
---|---|
655216118709.global.Dataset |
dataplex-types.global.bigquery-dataset |
您需要做什么
发布期从 2024 年 10 月 15 日开始,2024 年 11 月 15 日结束。对 BigQuery 元数据的更改将在整个发布期内逐步应用。
以下是您需要执行的操作:
- 2024 年 10 月 15 日之前:更新您的工作负载,以解读旧版元数据和更新版元数据。
在发布期间:BigQuery 条目可能会捕获旧版元数据或更新版元数据。您的工作负载 应该能够解读这两个版本
如需确定 BigQuery 条目是否使用了更新后的元数据,请在条目的
aspects
对象中找到相关的方面类型。在 类型的aspectSource
对象,data_version
字段指示元数据 版本。 例如,对于bigquery-table
条目,请参阅Entry.aspects.dataplex-types.global.bigquery-table.aspectSource.data_version
。使用旧版元数据版本 使用更新后的元数据版本 ""
(空字符串)"Ingestion/1.0.0"
2024 年 11 月 15 日之后:您可以视需要更新工作负载,使其仅 新版元数据
支持
如有疑问,请联系 dataplex-msa-support@google.com.