数据位置和转移

本页面介绍了数据位置、转移作业配置位置、源数据位置的概念,以及位置和转移作业的互动方式。

主要概念

位置或区域类型

BigQuery 使用两种类型的位置:

  • 单区域位置是具体的地理位置,如伦敦。

  • 多区域位置是至少包含两个地理位置的大型地理区域,如美国。

数据集位置

在创建数据集时,您可以指定一个位置以用于存储 BigQuery 数据。在创建数据集后,您无法更改该位置,但可以将数据集复制到其他位置,或手动将数据集移动到其他位置(在其他位置重新创建数据集)

BigQuery 根据服务专用条款将您的数据存储在选定位置。

转移作业位置

转移作业配置也有位置。设置转移作业时,如果目标数据集不存在,则需要先在 BigQuery 中创建该数据集,然后才能配置转移作业。转移作业配置的位置会自动设置为您为目标数据集指定的同一位置。BigQuery Data Transfer Service 会处理数据,并将其暂存到目标 BigQuery 数据集所在的位置。

源数据位置

您希望转移到 BigQuery 的源数据还可能包含一个区域。在某些情况下,存储源数据的区域和目标数据集在 BigQuery 中的位置是不相关的。在其他类型的转移作业中,数据集和源数据必须共置于同一区域中。

对于需要主机托管的转移作业,将转移作业设置到与源数据区域不同或不兼容的区域中的目标数据集可能会导致配置错误。

转移作业位置的注意事项

不需要主机托管服务

BigQuery Data Transfer Service 进行的以下类型的转移不是特定于位置的,因此 BigQuery 数据集的位置无关紧要:

需要主机托管服务

Cloud Storage

从 Cloud Storage 转移到 BigQuery 要求 Cloud Storage 存储分区与 BigQuery 目标数据集共置。

共置 Cloud Storage 存储分区,以转移数据。

  • 如果您的 BigQuery 数据集位于多区域位置,则包含您要转移的数据的 Cloud Storage 存储分区必须位于同一多区域位置或包含在该多区域位置中。例如,如果您的 BigQuery 数据集位于“EU”多区域,则 Cloud Storage 存储分区可以位于位于欧盟的“europe-west1”比利时区域。
  • 如果您的数据集位于某个区域,则 Cloud Storage 存储桶必须位于同一区域。例如,如果您的数据集位于“asia-northeast1”东京区域,则您的 Cloud Storage 存储分区不能位于“ASIA”多区域。

数据仓库迁移

Teradata 迁移数据仓库需要将 Cloud Storage 存储分区作为转移过程的一部分。Cloud Storage 存储分区必须与 BigQuery 目标数据集位于同一位置。

Redshift 数据仓库迁移不需要共置 Cloud Storage 存储分区。

支持的区域

区域

下表列出了在哪些区域可以使用 BigQuery Data Transfer Service。
区域说明 区域名称 详情
爱荷华 us-central1 叶形图标 二氧化碳排放量低
拉斯维加斯 us-west4
洛杉矶 us-west2
蒙特利尔 northamerica-northeast1 叶形图标 二氧化碳排放量低
北弗吉尼亚 us-east4
俄勒冈 us-west1 叶形图标 二氧化碳排放量低
盐湖城 us-west3
圣保罗 southamerica-east1 叶形图标 二氧化碳排放量低
圣地亚哥 southamerica-west1
南卡罗来纳 us-east1
多伦多 northamerica-northeast2
下表列出了亚太地区的 BigQuery Data Transfer Service 可用区域。
区域说明 区域名称 详情
德里 asia-south2
香港 asia-east2
雅加达 asia-southeast2
墨尔本 australia-southeast2
孟买 asia-south1
大阪 asia-northeast2
首尔 asia-northeast3
新加坡 asia-southeast1
悉尼 australia-southeast1
台湾 asia-east1
东京 asia-northeast1
下表列出了可使用 BigQuery Data Transfer Service 的欧洲区域。
区域说明 区域名称 详情
比利时 europe-west1 叶形图标 二氧化碳排放量低
芬兰 europe-north1 叶形图标 二氧化碳排放量低
法兰克福 europe-west3
伦敦 europe-west2
荷兰 europe-west4
华沙 europe-central2
苏黎世 europe-west6 叶形图标 二氧化碳排放量低

多区域

下表列出了可以使用 BigQuery Data Transfer Service 的多区域。
多区域说明 多区域名称
欧盟成员国的数据中心1 EU
美国的数据中心 US

1 位于 EU 多区域的数据不会存储在 europe-west2(伦敦)或 europe-west6(苏黎世)数据中心中。

后续步骤