区域资源

当您将 Cloud Storage 存储桶作为 Dataplex 资产附加时,Dataplex 会在相应区域中创建一个发布数据集,以发布在该存储桶中发现的表。

本页面介绍了 Dataplex 如何将 Cloud Storage 中的单区域、双区域和多个区域映射到 BigQuery 发布数据集。

Cloud Storage 区域与 BigQuery 数据集的映射

Dataplex 数据湖、可用区和资产是区域级资源,可以位于一个或多个区域中。BigQuery 数据集和 Cloud Storage 存储分区也是区域级资源,可以驻留在一个或多个区域中。

Cloud Storage 和 BigQuery 中的区域资源之间存在一些差异。

  • Cloud Storage 和 BigQuery 均支持单区域资源。

  • Cloud Storage 支持双区域,而 BigQuery 则没有。

  • Cloud StorageBigQuery 均支持多区域,但它们有所不同。

Cloud Storage 存储分区和 BigQuery 数据集可以作为 Dataplex 资产附加到 Dataplex 可用区或数据湖。Dataplex 会自动为作为资产连接的 Cloud Storage 存储分区创建发布数据集。

Dataplex 确保 BigQuery 区域和 Cloud Storage 区域匹配。如果您的 Dataplex 数据湖区域与 Cloud Storage 存储桶的某个区域之间没有重叠,您将无法将该存储桶添加到数据湖所在的可用区。

  • 对于单区域 Cloud Storage 存储桶,Dataplex 会在该存储桶所在的区域中创建一个单区域发布数据集。

  • 如果 Cloud Storage 存储桶位于 Cloud Storage US 多区域或 Cloud Storage EU 多区域,Dataplex 会在相应的 BigQuery USEU 多区域中创建发布数据集。

  • 对于双区域 Cloud Storage 存储分区,Dataplex 会在与数据湖区域对应的区域中创建一个发布数据集。当您将 Cloud Storage 存储桶作为资产附加到数据湖时,Dataplex 会验证该 Cloud Storage 存储桶的其中一个数据位置是否与该 Dataplex 数据湖的区域相匹配。

后续步骤