Locais do BigQuery
Nesta página, explicamos o conceito de local e as diferentes regiões em que os dados podem ser armazenados e processados. Os preços de armazenamento e análise também são definidos por local de dados e reservas. Para mais informações sobre preços de locais, consulte Preços do BigQuery. Para saber como definir o local do conjunto de dados, consulte Criar conjuntos de dados. Para informações sobre locais de reserva, consulte Como gerenciar reservas em diferentes regiões.
Para mais informações sobre como o serviço de transferência de dados do BigQuery usa a localização, consulte Localização e transferências de dados.
Locais e regiões
O BigQuery oferece dois tipos de dados e locais de computação:
Uma região é um lugar geográfico específico, como Londres.
Um local multirregional é uma área geográfica grande, como os Estados Unidos, que contém duas ou mais regiões. Os locais multirregionais podem fornecer cotas maiores do que regiões únicas.
Para qualquer tipo de local, o BigQuery armazena automaticamente cópias dos seus dados em duas zonas diferentes do Google Cloud em uma única região no local selecionado. Para mais informações sobre disponibilidade e durabilidade de dados, consulte Planejamento para desastres.
Locais suportados
Os conjuntos de dados do BigQuery podem ser armazenados nas seguintes regiões e multirregiões. Para mais informações sobre regiões e zonas, consulte Geografia e regiões.
Regiões
A tabela a seguir lista as regiões das Américas em que o BigQuery está disponível.Descrição da região | Nome da região | Detalhes |
---|---|---|
Columbus, Ohio | us-east5 |
|
Dallas | us-south1 |
Baixo CO2 |
Iowa | us-central1 |
CO2 baixo |
Las Vegas | us-west4 |
|
Los Angeles | us-west2 |
|
Montreal | northamerica-northeast1 |
CO2 baixo |
Norte da Virgínia | us-east4 |
|
Oregon | us-west1 |
CO2 baixo |
Salt Lake City | us-west3 |
|
São Paulo | southamerica-east1 |
Baixo CO2 |
Santiago | southamerica-west1 |
CO2 baixo |
Carolina do Sul | us-east1 |
|
Toronto | northamerica-northeast2 |
Baixo CO2 |
Descrição da região | Nome da região | Detalhes |
---|---|---|
Délhi | asia-south2 |
|
Hong Kong | asia-east2 |
|
Jacarta | asia-southeast2 |
|
Melbourne | australia-southeast2 |
|
Mumbai | asia-south1 |
|
Osaka | asia-northeast2 |
|
Seul | asia-northeast3 |
|
Singapura | asia-southeast1 |
|
Sydney | australia-southeast1 |
|
Taiwan | asia-east1 |
|
Tóquio | asia-northeast1 |
Descrição da região | Nome da região | Detalhes |
---|---|---|
Bélgica | europe-west1 |
Baixo CO2 |
Berlim | europe-west10 |
Baixo CO2 |
Finlândia | europe-north1 |
CO2 baixo |
Frankfurt | europe-west3 |
Baixo CO2 |
Londres | europe-west2 |
Baixo CO2 |
Madri | europe-southwest1 |
Baixo CO2 |
Milão | europe-west8 |
|
Países Baixos | europe-west4 |
Baixo CO2 |
Paris | europe-west9 |
Baixo CO2 |
Turim | europe-west12 |
|
Varsóvia | europe-central2 |
|
Zurique | europe-west6 |
Baixo CO2 |
Descrição da região | Nome da região | Detalhes |
---|---|---|
Damã | me-central2 |
|
Doha | me-central1 |
|
Tel Aviv | me-west1 |
Descrição da região | Nome da região | Detalhes |
---|---|---|
Johannesburgo | africa-south1 |
Locais multirregionais
Veja na tabela a seguir as multirregiões onde o BigQuery está disponível.Descrição multirregional | Nome multirregional |
---|---|
Data centers dentro de estados membro da União Europeia1 | EU |
Data centers nos Estados Unidos2 | US |
1 Os dados localizados na multirregião EU
são armazenados apenas
em um dos seguintes locais: europe-west1
(Bélgica) ou europe-west4
(Países Baixos).
O BigQuery determina automaticamente o local exato em que os dados são armazenados e processados.
2 Os dados localizados na multirregião US
são armazenados apenas em um dos seguintes locais: us-central1
(Iowa), us-west1
(Oregon) ou us-central2
(Oklahoma). O local exato em que os dados são armazenados e processados é determinado automaticamente pelo BigQuery.
Locais do BigQuery Studio
O BigQuery Studio permite salvar, compartilhar e gerenciar versões de recursos de código, como notebooks e consultas salvas.
A tabela a seguir lista as regiões em que o BigQuery Studio está disponível:
Descrição da região | Nome da região | Detalhes | |
---|---|---|---|
África | |||
Johannesburgo | africa-south1 |
||
América | |||
Columbus | us-east5 |
||
Dallas | us-south1 |
Baixo CO2 | |
Iowa | us-central1 |
Baixo CO2 | |
Los Angeles | us-west2 |
||
Las Vegas | us-west4 |
||
Montreal | northamerica-northeast1 |
Baixo CO2 | |
N. Virgínia | us-east4 |
||
Oregon | us-west1 |
Baixo CO2 | |
São Paulo | southamerica-east1 |
CO2 baixo | |
Carolina do Sul | us-east1 |
||
Ásia-Pacífico | |||
Hong Kong | asia-east2 |
||
Jacarta | asia-southeast2 |
||
Mumbai | asia-south1 |
||
Seul | asia-northeast3 |
||
Singapura | asia-southeast1 |
||
Sydney | australia-southeast1 |
||
Taiwan | asia-east1 |
||
Tóquio | asia-northeast1 |
||
Europa | |||
Bélgica | europe-west1 |
CO2 baixo | |
Frankfurt | europe-west3 |
Baixo CO2 | |
Londres | europe-west2 |
Baixo CO2 | |
Madri | europe-southwest1 |
Baixo CO2 | |
Países Baixos | europe-west4 |
Baixo CO2 | |
Turim | europe-west12 |
||
Zurique | europe-west6 |
Baixo CO2 | |
Oriente Médio | |||
Doha | me-central1 |
||
Damã | me-central2 |
Locais do BigQuery Omni
O BigQuery Omni processa consultas no mesmo local do conjunto de dados que contém as tabelas que você está consultando. Depois que você cria o conjunto de dados, o local não pode ser alterado. Os dados residem na sua conta da AWS ou do Azure. As regiões do BigQuery Omni são compatíveis com reservas da edição Enterprise e preços de computação (análise) sob demanda. Para mais informações sobre edições, consulte Introdução às edições do BigQuery.Descrição da região | Nome da região | Região colocalizada do BigQuery | |
---|---|---|---|
AWS | |||
AWS - US East (N. Virginia) | aws-us-east-1 |
us-east4 |
|
AWS - Oeste dos EUA (Oregon) | aws-us-west-2 |
us-west1 |
|
AWS – Ásia-Pacífico (Seul) | aws-ap-northeast-2 |
asia-northeast3 |
|
AWS: Ásia-Pacífico (Sydney) | aws-ap-southeast-2 |
australia-southeast1 |
|
AWS - Europa (Irlanda) | aws-eu-west-1 |
europe-west1 |
|
AWS: Europa (Frankfurt) | aws-eu-central-1 |
europe-west3 |
|
Azure | |||
Azure - East US 2 | azure-eastus2 |
us-east4 |
Locais do BigQuery ML
O BigQuery ML processa e organiza os dados no mesmo local que o conjunto de dados que contém os dados.
O BigQuery ML armazena seus dados no local selecionado de acordo com os Termos específicos do serviço.
A previsão do modelo do BigQuery ML e outras funções de ML são aceitas em todas as regiões do BigQuery. O suporte para o treinamento do modelo varia de acordo com a região:
O treinamento para modelos treinados internamente e modelos importados é compatível com todas as regiões do BigQuery.
O treinamento para codificador automático, árvore otimizada, DNN e modelos de amplitude e profundidade está disponível nas multirregiões
US
eEU
e na maioria das regiões únicas. Para mais informações, consulte Locais para todos os outros tipos de modelos.O treinamento para o AutoML é compatível com as multirregiões
US
eEU
e a maioria das regiões únicas.
Locais para modelos remotos
Esta seção contém mais informações sobre os locais com suporte para modelos remotos e sobre onde o processamento de modelos remotos ocorre.Locais regionais
A tabela a seguir mostra quais regiões são compatíveis com diferentes tipos de modelos remotos. O nome da coluna indica o tipo de modelo remoto.Descrição da região | Nome da região | Modelos implantados na Vertex AI | LLMs de geração de texto | LLMs com embedding de texto | API Cloud Natural Language | API Cloud Translation | API Cloud Vision | API Document AI | API Speech-to-Text | |
---|---|---|---|---|---|---|---|---|---|---|
América | ||||||||||
Columbus, Ohio | us-east5 |
|||||||||
Dallas | us-south1 |
● | ● | |||||||
Iowa | us-central1 |
● | ● | ● | ● | |||||
Las Vegas | us-west4 |
● | ● | ● | ||||||
Los Angeles | us-west2 |
● | ||||||||
Montreal | northamerica-northeast1 |
● | ● | ● | ||||||
Norte da Virgínia | us-east4 |
● | ● | ● | ||||||
Oregon | us-west1 |
● | ● | ● | ● | |||||
Salt Lake City | us-west3 |
● | ||||||||
São Paulo | southamerica-east1 |
● | ● | |||||||
Santiago | southamerica-west1 |
|||||||||
Carolina do Sul | us-east1 |
● | ● | ● | ||||||
Toronto | northamerica-northeast2 |
● | ||||||||
Europa | ||||||||||
Bélgica | europe-west1 |
● | ● | ● | ● | |||||
Finlândia | europe-north1 |
● | ||||||||
Frankfurt | europe-west3 |
● | ● | ● | ● | |||||
Londres | europe-west2 |
● | ● | ● | ● | |||||
Madri | europe-southwest1 |
|||||||||
Milão | europe-west8 |
● | ● | ● | ||||||
Países Baixos | europe-west4 |
● | ● | ● | ● | |||||
Paris | europe-west9 |
● | ● | ● | ||||||
Turim | europe-west12 |
|||||||||
Varsóvia | europe-central2 |
● | ||||||||
Zurique | europe-west6 |
● | ● | |||||||
Ásia-Pacífico | ||||||||||
Délhi | asia-south2 |
|||||||||
Hong Kong | asia-east2 |
● | ● | |||||||
Jacarta | asia-southeast2 |
● | ||||||||
Melbourne | australia-southeast2 |
|||||||||
Mumbai | asia-south1 |
● | ● | ● | ||||||
Osaka | asia-northeast2 |
|||||||||
Seul | asia-northeast3 |
● | ● | ● | ||||||
Singapura | asia-southeast1 |
● | ● | ● | ● | |||||
Sydney | australia-southeast1 |
● | ● | ● | ||||||
Taiwan | asia-east1 |
● | ● | |||||||
Tóquio | asia-northeast1 |
● | ● | ● | ● | |||||
Oriente Médio | ||||||||||
Damã | me-central2 |
|||||||||
Doha | me-central1 |
|||||||||
Tel Aviv | me-west1 |
● | ● |
Locais multirregionais
A tabela a seguir mostra quais multirregiões são compatíveis com diferentes tipos de modelos remotos. O nome da coluna indica o tipo de modelo remoto.Descrição da região | Nome da região | Modelos implantados na Vertex AI | LLMs de geração de texto | LLMs com embedding de texto | API Cloud Natural Language | API Cloud Translation | API Cloud Vision | API Document AI | API Speech-to-Text |
---|---|---|---|---|---|---|---|---|---|
Data centers dentro de estados membro da União Europeia1 | EU |
● | ● | ● | ● | ● | ● | ||
Data centers nos Estados Unidos | US |
● | ● | ● | ● | ● | ● | ● |
Locais de processamento para modelos hospedados do Google
Para modelos remotos sobre o modelo do Google hospedado na Vertex AI, o local de processamento é afetado pelo local do conjunto de dados em que os modelos remotos residem.
Se o conjunto de dados em que você está criando o modelo remoto estiver em uma única região,
o endpoint do modelo da Vertex AI precisará estar na mesma região. Se você especificar o URL do endpoint do modelo, use o endpoint na mesma região do conjunto de dados. Por exemplo, se o conjunto de dados estiver na região us-central1
, especifique o endpoint
https://us-central1-aiplatform.googleapis.com/v1/projects/myproject/locations/us-central1/publishers/google/models/<target_model>
.
Se você especificar o nome do modelo, o BigQuery ML vai escolher automaticamente
o endpoint na região correta.
Se o conjunto de dados em que você está criando o modelo remoto estiver em uma região multirregional, o endpoint do modelo da Vertex AI precisará estar em uma região dentro dessa região multirregional. Por exemplo, se o conjunto de dados estiver no local multirregional eu
,
especifique o URL do endpoint da região europe-west6
, https://europe-west6-aiplatform.googleapis.com/v1/projects/myproject/locations/europe-west6/publishers/google/models/<target_model>
.
Se você especificar o nome do modelo em vez do URL do endpoint,
o BigQuery ML vai usar o endpoint europe-west4
para
conjuntos de dados na multirregional eu
e o endpoint us-central1
para
conjuntos de dados na multirregional us
.
Locais para todos os outros tipos de modelos
Esta seção contém mais informações sobre os locais com suporte para todos os tipos de modelo, exceto os modelos remotos.Locais regionais
Descrição da região | Nome da região | Modelos importados |
Treinamento do modelo integrado |
Treinamento DNN/Autoencoder/ Boosted Tree/ Wide-and-Deep models |
Treinamento do modelo do AutoML |
Ajuste de hiperparâmetros |
Integração com o Vertex AI Model Registry | ||
---|---|---|---|---|---|---|---|---|---|
América | |||||||||
Columbus, Ohio | us-east5 |
● | ● | ||||||
Dallas | us-south1 |
● | ● | ||||||
Iowa | us-central1 |
● | ● | ● | ● | ● | ● | ||
Las Vegas | us-west4 |
● | ● | ● | ● | ||||
Los Angeles | us-west2 |
● | ● | ● | ● | ||||
Montreal | northamerica-northeast1 |
● | ● | ● | ● | ● | ● | ||
Norte da Virgínia | us-east4 |
● | ● | ● | ● | ● | ● | ||
Oregon | us-west1 |
● | ● | ● | ● | ● | |||
Salt Lake City | us-west3 |
● | ● | ● | |||||
São Paulo | southamerica-east1 |
● | ● | ● | ● | ||||
Santiago | southamerica-west1 |
● | ● | ||||||
Carolina do Sul | us-east1 |
● | ● | ● | ● | ● | |||
Toronto | northamerica-northeast2 |
● | ● | ● | |||||
Europa | |||||||||
Bélgica | europe-west1 |
● | ● | ● | ● | ● | ● | ||
Berlim | europe-west10 |
● | ● | ||||||
Finlândia | europe-north1 |
● | ● | ● | |||||
Frankfurt | europe-west3 |
● | ● | ● | ● | ● | ● | ||
Londres | europe-west2 |
● | ● | ● | ● | ● | ● | ||
Madri | europe-southwest1 |
● | ● | ||||||
Milão | europe-west8 |
● | ● | ||||||
Países Baixos | europe-west4 |
● | ● | ● | ● | ● | ● | ||
Paris | europe-west9 |
● | ● | ||||||
Turim | europe-west12 |
● | |||||||
Varsóvia | europe-central2 |
● | ● | ||||||
Zurique | europe-west6 |
● | ● | ● | ● | ● | ● | ||
Ásia-Pacífico | |||||||||
Délhi | asia-south2 |
● | ● | ||||||
Hong Kong | asia-east2 |
● | ● | ● | ● | ● | ● | ||
Jacarta | asia-southeast2 |
● | ● | ● | |||||
Melbourne | australia-southeast2 |
● | ● | ||||||
Mumbai | asia-south1 |
● | ● | ● | ● | ● | |||
Osaka | asia-northeast2 |
● | ● | ● | |||||
Seul | asia-northeast3 |
● | ● | ● | ● | ● | ● | ||
Singapura | asia-southeast1 |
● | ● | ● | ● | ● | ● | ||
Sydney | australia-southeast1 |
● | ● | ● | ● | ● | ● | ||
Taiwan | asia-east1 |
● | ● | ● | ● | ● | ● | ||
Tóquio | asia-northeast1 |
● | ● | ● | ● | ● | ● | ||
Oriente Médio | |||||||||
Damã | me-central2 |
● | |||||||
Doha | me-central1 |
● | |||||||
Tel Aviv | me-west1 |
● | ● | ||||||
África | |||||||||
Johannesburgo | africa-south1 |
● | ● |
Locais multirregionais
Descrição da região | Nome da região | Modelos importados |
Treinamento do modelo integrado |
Treinamento de modelos DNN/Autoencoder/ Boosted Tree/ Wide-and-Deep |
Treinamento do modelo do AutoML |
Ajuste de hiperparâmetros |
Integração com o Vertex AI Model Registry |
---|---|---|---|---|---|---|---|
Data centers dentro de estados membro da União Europeia1 | EU |
● | ● | ● | ● | ● | ● |
Data centers nos Estados Unidos | US |
● | ● | ● | ● | ● | ● |
1 Os dados localizados na multirregião EU
não são armazenados nos data centers europe-west2
(Londres) ou europe-west6
(Zurique).
A integração do Vertex AI Model Registry é aceita apenas para integrações de região única. Se você enviar um modelo do BigQuery ML multirregional para o Model Registry, ele será convertido em um modelo regional na Vertex AI.
Um modelo multirregional dos EUA do BigQuery ML é sincronizado com a us-central1
da Vertex AI, e um modelo
multirregional da UE do BigQuery ML é sincronizado com a europe-west4
da Vertex AI. Para os modelos de região única, não há mudanças.
Locais do conversor de SQL do BigQuery
Ao migrar dados do seu armazenamento de dados legado para o BigQuery, é possível usar vários conversores de SQL para converter suas consultas SQL em GoogleSQL ou outros dialetos SQL compatíveis. Isso inclui o tradutor de SQL interativo, a API de tradução do SQL e o tradutor de SQL em lote.
Os tradutores de SQL do BigQuery estão disponíveis nos seguintes locais de processamento:
Descrição da região | Nome da região | Detalhes | |
---|---|---|---|
Ásia-Pacífico | |||
Tóquio | asia-northeast1 |
||
Mumbai | asia-south1 |
||
Singapura | asia-southeast1 |
||
Sydney | australia-southeast1 |
||
Europa | |||
UE multirregião | eu |
||
Varsóvia | europe-central2 |
||
Finlândia | europe-north1 |
Baixo CO2 | |
Madri | europe-southwest1 |
Baixo CO2 | |
Bélgica | europe-west1 |
Baixo CO2 | |
Londres | europe-west2 |
CO2 baixo | |
Frankfurt | europe-west3 |
Baixo CO2 | |
Países Baixos | europe-west4 |
Baixo CO2 | |
Zurique | europe-west6 |
Baixo CO2 | |
Paris | europe-west9 |
Baixo CO2 | |
Turim | europe-west12 |
||
América | |||
Quebec | northamerica-northeast1 |
Baixo CO2 | |
São Paulo | southamerica-east1 |
Baixo CO2 | |
EUA multirregião | us |
||
Iowa | us-central1 |
CO2 baixo | |
Carolina do Sul | us-east1 |
||
Norte da Virgínia | us-east4 |
||
Columbus, Ohio | us-east5 |
||
Dallas | us-south1 |
Baixo CO2 | |
Oregon | us-west1 |
Baixo CO2 | |
Los Angeles | us-west2 |
||
Salt Lake City | us-west3 |
Recomendador de cluster e particionamento do BigQuery
O recomendador de particionamento e clustering do BigQuery gera recomendações de partição ou cluster para otimizar as tabelas do BigQuery.
O recomendador de particionamento e clustering está disponível nos locais de processamento:
Descrição da região | Nome da região | Detalhes | |
---|---|---|---|
Ásia-Pacífico | |||
Délhi | asia-south2 |
||
Hong Kong | asia-east2 |
||
Jacarta | asia-southeast2 |
||
Mumbai | asia-south1 |
||
Osaka | asia-northeast2 |
||
Seul | asia-northeast3 |
||
Singapura | asia-southeast1 |
||
Sydney | australia-southeast1 |
||
Taiwan | asia-east1 |
||
Tóquio | asia-northeast1 |
||
Europa | |||
Bélgica | europe-west1 |
Baixo CO2 | |
Berlim | europe-west10 |
Baixo CO2 | |
UE multirregião | eu |
||
Frankfurt | europe-west3 |
Baixo CO2 | |
Londres | europe-west2 |
Baixo CO2 | |
Países Baixos | europe-west4 |
Baixo CO2 | |
Zurique | europe-west6 |
Baixo CO2 | |
América | |||
Iowa | us-central1 |
CO2 baixo | |
Las Vegas | us-west4 |
||
Los Angeles | us-west2 |
||
Montreal | northamerica-northeast1 |
CO2 baixo | |
Norte da Virgínia | us-east4 |
||
Oregon | us-west1 |
CO2 baixo | |
Salt Lake City | us-west3 |
||
São Paulo | southamerica-east1 |
Baixo CO2 | |
Toronto | northamerica-northeast2 |
Baixo CO2 | |
EUA multirregião | us |
Especificar locais
Ao carregar, consultar ou exportar dados, o BigQuery determina o local onde executar o job com base nos conjuntos de dados mencionados na solicitação. Por exemplo, se uma consulta informar uma tabela em um conjunto de dados armazenado na região asia-northeast1
, o job de consulta será executado nessa região.
Se uma consulta não se referir a tabelas ou a outros recursos contidos em conjuntos de dados, e nenhuma tabela de destino for fornecida, o job de consulta será executado na multirregião US
. Para garantir que as consultas do BigQuery sejam armazenadas em uma região ou multirregião específica, especifique o local com a solicitação de job para encaminhar a consulta adequadamente ao usar o endpoint global do BigQuery. Se você não especificar o local, as consultas poderão ser armazenadas temporariamente nos registros do roteador do BigQuery quando a consulta for usada para determinar o local de processamento no BigQuery.
Se o projeto tiver uma reserva baseada em capacidade em uma região diferente de US
e a consulta não se referir a tabelas nem outros recursos contidos em conjuntos de dados, especifique explicitamente o local da reserva baseada em capacidade ao enviar o job. Compromissos baseados em capacidade estão vinculados a um local, como US
ou EU
. Se você executar um job fora do local da capacidade, o preço dele será alterado automaticamente para preços sob demanda.
Especifique das seguintes maneiras o local em que um job será executado:
- Ao consultar dados usando o console do Google Cloud no editor de consultas, clique em Mais > Configurações de consulta, abra Opções avançadas e selecione seu Local dos dados.
- Ao usar a ferramenta de linha de comando bq, forneça a flag global
--location
e defina o valor como seu local. - Ao usar a API, especifique sua região na propriedade
location
da seçãojobReference
do recurso do job.
O BigQuery retorna um erro quando o local especificado não corresponde àquele dos conjuntos de dados na solicitação. A localização de cada conjunto de dados envolvido na solicitação, incluindo as de leitura e gravação, precisa corresponder à localização do job conforme inferido ou especificado.
Os locais de região única não correspondem a locais multirregionais, mesmo que o local de região única esteja contido no local multirregional. Portanto, uma consulta ou um job falharão se o local incluir um local de região única e um local de várias regiões. Por exemplo, se o local
de um job estiver definido como US
, ele falhará se referenciar um conjunto de dados em
us-central1
. Da mesma forma, um job que faz referência a um conjunto de dados
em US
e outro em us-central1
falhará. Isso também é verdadeiro para instruções JOIN
com tabelas em uma região e em uma multirregião.
As consultas dinâmicas não são analisadas até serem executadas. Portanto, não podem ser usadas para determinar automaticamente a região de uma consulta.
Locais, reservas e jobs
Os compromissos de capacidade são um recurso regional. Quando você compra slots, eles são limitados a uma região ou multirregião específica. Se o único compromisso de capacidade estiver na EU
, não será possível criar uma reserva nos US
. Ao criar uma reserva, você especifica um local (região) e um número de slots.
Esses slots são extraídos do seu compromisso de capacidade nessa região.
Da mesma forma, quando você executar um job em uma região, ele só usará uma reserva se o local do job corresponder ao local de uma reserva. Por exemplo, se você atribuir uma reserva a um projeto na EU
e executar uma consulta nesse projeto em um conjunto de dados localizado nos US
, a consulta não será executada na reserva da EU
. Na ausência de qualquer reserva dos US
, o job é executado sob demanda.
Considerações sobre o local
Ao escolher um local para os dados, pense no seguinte:
Cloud Storage
É possível interagir com os dados do Cloud Storage usando o BigQuery das seguintes maneiras:
- Consultar dados do Cloud Storage usando tabelas externas do BigLake ou que não sejam do BigLake;
- Carregar dados do Cloud Storage no BigQuery;
- Exportar dados do BigQuery para o Cloud Storage.
Consultar dados do Cloud Storage
Ao consultar dados no Cloud Storage usando uma tabela do BigLake ou uma tabela externa que não é do BigLake, os dados a serem consultados precisam ser colocados juntos com seu conjunto de dados do BigQuery. Por exemplo:
Bucket de região única: se o conjunto de dados do BigQuery estiver na região de Varsóvia (
europe-central2
), o bucket do Cloud Storage correspondente também precisará estar nessa região ou em qualquer região birregional do Cloud Storage que inclua a Varsóvia. Se o conjunto de dados do BigQuery estiver na multirregiãoUS
, o bucket do Cloud Storage poderá estar na multirregiãoUS
, na região única de Iowa (us-central1
) ou em qualquer birregional que inclua Iowa. As consultas de qualquer outra região única vão apresentar falha, mesmo que o bucket esteja em um local contido na multirregião do conjunto de dados. Por exemplo, se as tabelas externas estiverem na multirregiãoUS
e o bucket do Cloud Storage estiver em Oregon (us-west1
), o job vai apresentar falha.Se o conjunto de dados do BigQuery estiver na multirregião
EU
, o bucket do Cloud Storage poderá estar na multirregiãoEU
, na única região da Bélgica (europe-west1
) ou em qualquer birregional que inclui a Bélgica. As consultas de qualquer outra região única vão apresentar falha, mesmo que o bucket esteja em um local contido na multirregião do conjunto de dados. Por exemplo, se as tabelas externas estiverem na multirregiãoEU
e o bucket do Cloud Storage estiver na Varsóvia (europe-central2
), o job vai apresentar falha.Bucket birregional: se o conjunto de dados do BigQuery estiver na região de Tóquio (
asia-northeast1
), o bucket do Cloud Storage correspondente precisará estar nessa região ou em uma região birregional que inclua Tóquio, como a região birregionalASIA1
.Se o bucket do Cloud Storage estiver na região birregional
NAM4
ou em qualquer região birregional que inclua a região de Iowa (us-central1
), o conjunto de dados do BigQuery correspondente pode estar emUS
ou na multirregião de Iowa (us-central1
).Se o bucket do Cloud Storage estiver na região birregional
EUR4
ou em qualquer região birregional que inclua a região da Bélgica (europe-west1
), o conjunto de dados do BigQuery correspondente poderá estar na multirregiãoEU
ou na Bélgica (europe-west1
).Bucket multirregional: usar locais de conjuntos de dados multirregionais com buckets multirregionais do Cloud Storage não é recomendado para tabelas externas, porque o desempenho da consulta externa depende da latência mínima e da largura de banda de rede ideal.
Se o conjunto de dados do BigQuery estiver na região multirregional
US
, o bucket do Cloud Storage correspondente precisará estar na região multirregionalUS
, em uma região birregional que inclui Iowa (us-central1
), comoNAM4
ou em uma região birregional personalizada que inclui Iowa (us-central1
).Se o conjunto de dados do BigQuery estiver no formato
EU
multirregional, o bucket do Cloud Storage correspondente precisará estar na região multirregionalEU
, em uma região birregional que inclui a Bélgica (europe-west1
), comoEUR4
ou em uma região birregional personalizada que inclui a Bélgica.
Para mais informações sobre locais compatíveis do Cloud Storage, consulte Locais de buckets na respectiva documentação.
Carregar dados do Cloud Storage
Ao carregar dados do Cloud Storage, eles precisam ser colocados no mesmo local do conjunto de dados do BigQuery.
É possível carregar dados de um bucket do Cloud Storage localizado em qualquer local se o conjunto de dados do BigQuery estiver localizado na multirregião
US
.- Bucket multirregional: se o bucket do Cloud Storage que você quer carregar estiver localizado em um bucket multirregional, o conjunto de dados do BigQuery poderá estar no mesmo bucket multirregional ou qualquer região única que esteja incluída no mesmo bucket multirregional.
Por exemplo, se o bucket do Cloud Storage estiver na região
EU
, o conjunto de dados do BigQuery poderá estar na multirregiãoEU
ou em qualquer região única emEU
. Bucket birregional: se o bucket do Cloud Storage que você quer carregar estiver localizado em um bucket birregional, o conjunto de dados do BigQuery poderá estar localizado em regiões incluídas no bucket birregional ou em uma multirregião que inclui a região birregional. Por exemplo, se o bucket do Cloud Storage estiver localizado na região
EUR4
, seu conjunto de dados do BigQuery poderá estar localizado na Finlândia (europe-north1
) em uma região única, nos Países Baixos (europe-west4
) uma região única ou na multirregiãoEU
.Bucket de região única: se o bucket do Cloud Storage que você quer carregar estiver em uma única região, o conjunto de dados do BigQuery poderá estar na mesma região única ou no multirregional que inclui a região única. Por exemplo, se o bucket do Cloud Storage estiver na região da Finlândia (
europe-north1
), o conjunto de dados do BigQuery poderá estar na Finlândia ou na multirregiãoEU
.Uma exceção é que, se o conjunto de dados do BigQuery estiver localizado na região
asia-northeast1
, o bucket do Cloud Storage poderá estar localizado na multirregiãoEU
.
Para mais informações, consulte Como carregar dados em lote.
Exportar dados para o Cloud Storage
Colocar os buckets do Cloud Storage para exportar dados:- Se o conjunto de dados do BigQuery estiver na multirregião
EU
, o bucket do Cloud Storage que contém os dados exportados precisará estar na mesma multirregião ou em um local contido na multirregião. Por exemplo, se o conjunto de dados do BigQuery estiver na multirregiãoEU
, o bucket do Cloud Storage poderá estar localizado na região Bélgicaeurope-west1
, que está na UE.Se seu conjunto de dados estiver na multirregião
US
, será possível exportar dados para um bucket do Cloud Storage em qualquer local. - Se o conjunto de dados estiver em uma região, o bucket do Cloud Storage precisará estar na mesma região. Por
exemplo, se o conjunto de dados estiver na região
asia-northeast1
de Tóquio, o bucket do Cloud Storage não poderá estar na multirregiãoASIA
.
Para mais informações, consulte Como exportar dados de tabelas.
Bigtable
É necessário considerar a localização ao consultar dados do Bigtable ou exportar dados para ele.
consulte os dados do Bigtable
Quando você consultar dados no Bigtable por meio de uma tabela externa do BigQuery, a sua instância do Bigtable precisará estar em no mesmo local que o conjunto de dados do BigQuery:
- Região única: se o conjunto de dados do BigQuery estiver na localização regional
da Bélgica (
europe-west1
), a instância correspondente do Bigtable precisará estar na região da Bélgica. - Multirregião: como o desempenho da consulta externa depende da latência mínima e da largura de banda de rede ideal, o uso de locais do conjunto de dados multirregional não é recomendado para tabelas externas no Bigtable.
Para mais informações sobre os locais compatíveis com o Bigtable, consulte Locais do Bigtable.
Exportar dados para o Bigtable
- Se o conjunto de dados do BigQuery estiver em um local multirregional, o
perfil do app Bigtable
precisará ser configurado para rotear dados a um cluster do Bigtable dentro dessa multirregião.
Por exemplo, se o conjunto de dados do BigQuery estiver na multirregião
US
, o cluster do Bigtable poderá estar localizado na regiãous-west1
(Oregon), nos Estados Unidos. - Se o conjunto de dados do BigQuery estiver em uma única região, seu perfil do aplicativo Bigtable
precisará ser configurado para rotear dados para um cluster do Bigtable na
mesma região. Por exemplo, se o conjunto de dados do BigQuery estiver na região
asia-northeast1
(Tóquio), seu cluster do Bigtable também precisará estar na regiãoasia-northeast1
(Tóquio).
Google Drive
As considerações sobre o local não se aplicam a fontes de dados externas do Google Drive.
Cloud SQL
Quando você consulta dados no Cloud SQL via uma consulta federada do BigQuery, a instância do Cloud SQL precisa estar no mesmo local que o conjunto de dados do BigQuery.
- Região única: se o conjunto de dados do BigQuery estiver na local regional da Bélgica (
europe-west1
), a instância do Cloud SQL correspondente precisará estar na região da Bélgica. - Multirregião: se o conjunto de dados do BigQuery estiver na multirregião
US
, a instância correspondente do Cloud SQL precisará estar em uma região única da área geográfica dos EUA.
Para mais informações sobre os locais do Cloud SQL compatíveis, consulte Locais do Cloud SQL.
Spanner
Quando você consulta dados no Spanner via uma consulta federada do BigQuery, a instância do Spanner precisa estar no mesmo local que o conjunto de dados do BigQuery.
- Região única: se o conjunto de dados do BigQuery estiver no local regional
da Bélgica (
europe-west1
), a instância correspondente do Spanner precisará estar na região da Bélgica. - Multirregião: se o conjunto de dados do BigQuery estiver na multirregião
US
, a instância correspondente do Spanner precisará estar em uma região única da área geográfica dos EUA.
Para mais informações sobre os locais compatíveis do Spanner, consulte Locais do Spanner.
Ferramentas de análise
Colocar o conjunto de dados do BigQuery com as ferramentas de análise:- Dataproc: ao consultar conjuntos de dados do BigQuery usando um conector do BigQuery, o conjunto de dados do BigQuery precisa ser colocado no cluster do Dataproc. O Dataproc é compatível com todos os locais do Compute Engine.
- Vertex AI Workbench: ao consultar conjuntos de dados do BigQuery usando notebooks do Jupyter no Vertex AI Workbench, o conjunto de dados do BigQuery precisa ser colocado na instância do Vertex AI Workbench. Veja os locais compatíveis do Vertex AI Workbench.
Planos de gerenciamento de dados
Desenvolver um plano de gerenciamento de dados:- Se você escolher um recurso de armazenamento regional, como um conjunto de dados do BigQuery ou um bucket do Cloud Storage, será necessário desenvolver um plano para gerenciar geograficamente seus dados.
Restringir locais
É possível restringir os locais em que os conjuntos de dados podem ser criados usando o Serviço de políticas da organização. Para mais informações, consulte Como restringir locais de recursos e Serviços com suporte com locais de recursos.
Segurança do conjunto de dados
Para controlar o acesso a conjuntos de dados no BigQuery, consulte Como controlar o acesso a conjuntos de dados. Para saber mais sobre criptografia de dados, consulte Criptografia em repouso.
A seguir
- Saiba como criar conjuntos de dados.
- Saiba mais sobre o carregamento de dados no BigQuery.
- Saiba mais sobre preços do BigQuery.
- Veja todos os serviços do Google Cloud disponíveis em locais do mundo todo.
- Conheça outros conceitos relacionados a locais, como zonas, que se aplicam a outros serviços do Google Cloud.