区域资源

将 Cloud Storage 存储桶作为 Dataplex Universal Catalog 资产附加时,Dataplex Universal Catalog 会在相应区域中创建一个发布数据集,以发布在存储桶中发现的表。

本页面介绍了 Dataplex Universal Catalog 如何将 Cloud Storage 中的单区域、双区域和多区域映射到 BigQuery 发布数据集。

Cloud Storage 区域与 BigQuery 数据集的映射

Dataplex Universal Catalog 数据湖、区域和资产是区域级资源,可以位于一个或多个区域中。BigQuery 数据集和 Cloud Storage 存储桶也是区域级资源,可以位于一个或多个区域中。

以下是 Cloud Storage 和 BigQuery 中提供的区域级资源之间的区别:

  • Cloud Storage 和 BigQuery 都支持单区域资源。

  • Cloud Storage 具有双区域,而 BigQuery 没有。

  • Cloud StorageBigQuery 都具有多区域,但它们是不同的。

您可以将 Cloud Storage 存储桶和 BigQuery 数据集作为 Dataplex Universal Catalog 资产附加到 Dataplex Universal Catalog 区域或数据湖。Dataplex Universal Catalog 可自动为作为资产附加的 Cloud Storage 存储桶创建发布数据集。

Dataplex Universal Catalog 可确保 BigQuery 区域和 Cloud Storage 区域匹配。如果 Dataplex Universal Catalog 数据湖的区域与 Cloud Storage 存储桶的某个区域不重叠,则您无法将该存储桶添加到数据湖的区域。

  • 对于单区域 Cloud Storage 存储桶,Dataplex Universal Catalog 会在该存储桶所在的区域中创建单区域发布数据集。

  • 对于位于 Cloud Storage us 多区域或 Cloud Storage eu 多区域的 Cloud Storage 存储桶,Dataplex Universal Catalog 会在相应的 BigQuery useu 多区域中创建发布数据集。

  • 对于双区域 Cloud Storage 存储桶,Dataplex Universal Catalog 会在与数据湖的区域对应的区域中创建发布数据集。将 Cloud Storage 存储桶作为资产附加到数据湖时,Dataplex Universal Catalog 会验证 Cloud Storage 存储桶的某个数据位置是否与 Dataplex Universal Catalog 数据湖的区域匹配。

后续步骤