当您将 Cloud Storage 存储桶作为 Dataplex 资产附加时,Dataplex 会在相应区域中创建一个发布数据集,以发布在该存储桶中发现的表。
本页面介绍了 Dataplex 如何将 Cloud Storage 中的单区域、双区域和多个区域映射到 BigQuery 发布数据集。
Cloud Storage 区域与 BigQuery 数据集的映射
Dataplex 数据湖、可用区和资产是区域级资源,可以位于一个或多个区域中。BigQuery 数据集和 Cloud Storage 存储分区也是区域级资源,可以驻留在一个或多个区域中。
Cloud Storage 和 BigQuery 中的区域资源之间存在一些差异。
Cloud Storage 和 BigQuery 均支持单区域资源。
Cloud Storage 支持双区域,而 BigQuery 则没有。
Cloud Storage 和 BigQuery 均支持多区域,但它们有所不同。
Cloud Storage 存储分区和 BigQuery 数据集可以作为 Dataplex 资产附加到 Dataplex 可用区或数据湖。Dataplex 会自动为作为资产连接的 Cloud Storage 存储分区创建发布数据集。
Dataplex 确保 BigQuery 区域和 Cloud Storage 区域匹配。如果您的 Dataplex 数据湖区域与 Cloud Storage 存储桶的某个区域之间没有重叠,您将无法将该存储桶添加到数据湖所在的可用区。
对于单区域 Cloud Storage 存储桶,Dataplex 会在该存储桶所在的区域中创建一个单区域发布数据集。
如果 Cloud Storage 存储桶位于 Cloud Storage
US
多区域或 Cloud StorageEU
多区域,Dataplex 会在相应的 BigQueryUS
或EU
多区域中创建发布数据集。对于双区域 Cloud Storage 存储分区,Dataplex 会在与数据湖区域对应的区域中创建一个发布数据集。当您将 Cloud Storage 存储桶作为资产附加到数据湖时,Dataplex 会验证该 Cloud Storage 存储桶的其中一个数据位置是否与该 Dataplex 数据湖的区域相匹配。