当您将 Cloud Storage 存储桶作为 Dataplex 资产附加时,Dataplex 会在相应区域中创建发布数据集,以发布在存储桶中发现的表。
本页面介绍了 Dataplex 如何将 Cloud Storage 中的单区域、双区域和多个区域映射到 BigQuery 发布数据集。
Cloud Storage 区域与 BigQuery 数据集的映射
Dataplex 数据湖、可用区和资产是区域级资源,可以位于一个或多个区域中。BigQuery 数据集和 Cloud Storage 存储分区也是可以位于一个或多个区域的区域资源。
Cloud Storage 与 BigQuery 提供的区域级资源之间存在一些差异。
Cloud Storage 和 BigQuery 都支持单区域资源。
Cloud Storage 有双区域,而 BigQuery 没有。
Cloud Storage 和 BigQuery 都有多区域位置,但它们并不相同。
Cloud Storage 存储分区和 BigQuery 数据集可以作为 Dataplex 资产附加到 Dataplex 可用区或数据湖。Dataplex 会自动为作为资产挂接的 Cloud Storage 存储分区创建数据集。
Dataplex 可确保 BigQuery 与 Cloud Storage 区域匹配。如果 Dataplex 数据湖所在的区域与 Cloud Storage 存储桶中的某个区域没有重叠,则您将无法将该存储桶添加到数据湖的可用区。
对于单区域 Cloud Storage 存储桶,Dataplex 会在存储桶所在的区域中创建单区域发布数据集。
对于 Cloud Storage
US
多区域或 Cloud StorageEU
多区域中的 Cloud Storage 存储桶,Dataplex 会在相应的 BigQueryUS
或EU
多区域位置创建发布数据集。对于双区域 Cloud Storage 存储分区,Dataplex 会在数据湖区域对应的区域中创建发布数据集。当您将 Cloud Storage 存储桶作为资源附加到数据湖时,Dataplex 会验证 Cloud Storage 存储桶中的某个数据位置与 Dataplex 数据湖的区域一致。