区域资源

当您将 Cloud Storage 存储桶作为 Dataplex 资产附加时,Dataplex 会在相应区域中创建发布数据集,以发布在存储桶中发现的表。

本页面介绍了 Dataplex 如何将 Cloud Storage 中的单区域、双区域和多个区域映射到 BigQuery 发布数据集。

Cloud Storage 区域与 BigQuery 数据集的映射

Dataplex 数据湖、可用区和资产是区域级资源,可以位于一个或多个区域中。BigQuery 数据集和 Cloud Storage 存储分区也是可以位于一个或多个区域的区域资源。

Cloud Storage 与 BigQuery 提供的区域级资源之间存在一些差异。

  • Cloud Storage 和 BigQuery 都支持单区域资源。

  • Cloud Storage 有双区域,而 BigQuery 没有。

  • Cloud StorageBigQuery 都有多区域位置,但它们并不相同。

Cloud Storage 存储分区和 BigQuery 数据集可以作为 Dataplex 资产附加到 Dataplex 可用区或数据湖。Dataplex 会自动为作为资产挂接的 Cloud Storage 存储分区创建数据集。

Dataplex 可确保 BigQuery 与 Cloud Storage 区域匹配。如果 Dataplex 数据湖所在的区域与 Cloud Storage 存储桶中的某个区域没有重叠,则您将无法将该存储桶添加到数据湖的可用区。

  • 对于单区域 Cloud Storage 存储桶,Dataplex 会在存储桶所在的区域中创建单区域发布数据集。

  • 对于 Cloud Storage US 多区域或 Cloud Storage EU 多区域中的 Cloud Storage 存储桶,Dataplex 会在相应的 BigQuery USEU 多区域位置创建发布数据集。

  • 对于双区域 Cloud Storage 存储分区,Dataplex 会在数据湖区域对应的区域中创建发布数据集。当您将 Cloud Storage 存储桶作为资源附加到数据湖时,Dataplex 会验证 Cloud Storage 存储桶中的某个数据位置与 Dataplex 数据湖的区域一致。

后续步骤