数据位置和转移
本页面介绍转移作业配置位置和源数据位置的概念,以及位置和转移作业的互动方式。
如需详细了解 BigQuery 位置,请参阅数据集位置。
主要概念
转移作业位置
转移作业配置也有位置。设置转移作业时,如果目标数据集不存在,则需要先在 BigQuery 中创建该数据集,然后才能配置转移作业。在目标数据集所在的项目中创建转移作业配置。转移作业配置的位置会自动设置为您为目标数据集指定的同一位置。BigQuery Data Transfer Service 会处理数据,并将其暂存到目标 BigQuery 数据集所在的位置。
源数据位置
您希望转移到 BigQuery 的源数据还可能包含一个区域。在某些情况下,存储源数据的区域和目标数据集在 BigQuery 中的位置是不相关的。在其他类型的转移作业中,数据集和源数据必须共置于同一区域中。
对于需要主机托管的转移作业,将转移作业设置到与源数据区域不同或不兼容的区域中的目标数据集可能会导致配置错误。
转移作业位置的注意事项
不需要主机托管服务
BigQuery Data Transfer Service 进行的以下类型的转移不是特定于位置的,因此 BigQuery 数据集的位置无关紧要:
- 来自 Google 产品和服务的报告
- 来自外部来源的转移作业
需要主机托管服务
Cloud Storage
从 Cloud Storage 转移到 BigQuery 要求 Cloud Storage 存储分区与 BigQuery 目标数据集共置。
共置 Cloud Storage 存储桶,以便于转移数据。
- 如果您的 BigQuery 数据集位于多区域,则包含您要转移的数据的 Cloud Storage 存储桶必须位于同一多区域或该多区域内的位置。例如,如果您的 BigQuery 数据集位于“EU”多区域,则 Cloud Storage 存储桶可以位于欧盟内的“europe-west1”比利时区域。
- 如果您的数据集位于某个区域,则 Cloud Storage 存储桶必须位于同一区域。例如,如果您的数据集位于“asia-northeast1”东京区域,则 Cloud Storage 存储桶不能位于“ASIA”多区域。
数据仓库迁移
从 Teradata 迁移数据仓库需要将 Cloud Storage 存储分区作为转移过程的一部分。Cloud Storage 存储分区必须与 BigQuery 目标数据集位于同一位置。
Redshift 数据仓库迁移不需要共置 Cloud Storage 存储分区。