将 Cloud Storage 存储分区作为 Dataplex 资产附加后,Dataplex 会在相应区域创建发布数据集,以发布在存储分区中发现的表。
本页介绍了 Dataplex 如何将 Cloud Storage 中的单个、双重和多个区域映射到 BigQuery 发布数据集。
Cloud Storage 区域与 BigQuery 数据集的映射
Dataplex 数据湖、可用区和资产是区域级资源,可位于一个或多个区域。BigQuery 数据集和 Cloud Storage 存储分区也是区域资源,可位于一个或多个区域。
以下是 Cloud Storage 和 BigQuery 中可用的区域性资源之间的差异:
Cloud Storage 和 BigQuery 都支持单区域资源。
Cloud Storage 支持双区域,而 BigQuery 不支持。
Cloud Storage 和 BigQuery 都具有多区域,但二者有所不同。
您可以将 Cloud Storage 存储分区和 BigQuery 数据集作为 Dataplex 资产附加到 Dataplex 区域或数据湖。Dataplex 会自动为作为资产附加的 Cloud Storage 存储分区创建发布数据集。
Dataplex 会确保 BigQuery 和 Cloud Storage 区域一致。如果 Dataplex 数据湖所在的区域与 Cloud Storage 存储分区所在的某个区域不重叠,则您无法将该存储分区添加到数据湖所在的可用区。
对于单区域 Cloud Storage 存储分区,Dataplex 会在与该存储分区位于同一区域中创建单区域发布数据集。
如果 Cloud Storage 存储分区位于 Cloud Storage
us
多区域或 Cloud Storageeu
多区域,Dataplex 会在相应的 BigQueryus
或eu
多区域中创建发布数据集。对于双区域 Cloud Storage 存储分区,Dataplex 会在与数据湖所在区域对应的区域中创建发布数据集。将 Cloud Storage 存储分区作为资产附加到数据湖时,Dataplex 会验证 Cloud Storage 存储分区的一个数据位置是否与 Dataplex 数据湖所在的区域匹配。
后续步骤
- 详细了解如何管理数据湖中的数据资产。
- 详细了解如何管理可用区。