Locais de conjuntos de dados

Nesta página, explicamos o conceito de local de dados e os lugares diferentes em que é possível criar conjuntos de dados. Para saber como definir esse local, consulte Como criar conjuntos de dados.

Para ver mais informações sobre preços regionais do BigQuery, consulte a página Preços.

Principais conceitos

Tipos de locais ou região

Há dois tipos de locais:

  • Uma região é um lugar geográfico específico, como Londres.

  • Um local multirregional é uma área geográfica grande, como Estados Unidos, que contém dois ou mais lugares geográficos.

Local do conjunto de dados

Ao criar um conjunto de dados, você especifica um local para armazenar as informações do BigQuery. Depois da criação, não é possível alterar o local, mas tem como copiar o conjunto de dados para outro local ou mover (recriar) o conjunto para outro local manualmente.

O BigQuery processa consultas no mesmo local em que o conjunto de dados que contém as tabelas que você está consultando.

O BigQuery armazena os dados no local selecionado de acordo com os Termos de serviço específicos.

Regiões compatíveis

Locais regionais

Descrição da região Nome da região
Américas
Las Vegas us-west4
Los Angeles us-west2
Montreal northamerica-northeast1
Norte da Virgínia us-east4
Oregon us-west1
Salt Lake City us-west3
São Paulo southamerica-east1
Carolina do Sul us-east1
Europa
Bélgica europe-west1
Finlândia europe-north1
Frankfurt europe-west3
Londres europe-west2
Holanda europe-west4
Zurique europe-west6
Ásia-Pacífico
Hong Kong asia-east2
Jacarta asia-southeast2
Mumbai asia-south1
Osaka asia-northeast2
Seul asia-northeast3
Singapura asia-southeast1
Sydney australia-southeast1
Taiwan asia-east1
Tóquio asia-northeast1

Locais multirregionais

Descrição multirregional Nome multirregional
Data centers dentro de estados membro da União Europeia1 EU
Data centers nos Estados Unidos US

1 Os dados localizados na multirregião EU não são armazenados nos data centers europe-west2 (Londres) ou europe-west6 (Zurique).

Como especificar o local

Ao carregar, consultar ou exportar dados, o BigQuery determina o local onde executar o job com base nos conjuntos de dados mencionados na solicitação. Por exemplo, se uma consulta informar uma tabela em um conjunto de dados armazenado na região asia-northeast1, o job de consulta será executado nessa região. Se uma consulta não se referir a tabelas ou a outros recursos contidos em conjuntos de dados, e nenhuma tabela de destino for fornecida, o job de consulta será executado na região US. Se o projeto tiver uma reserva de taxa fixa em uma região diferente de US, e a consulta não indicar nenhuma tabelas nem outros recursos contidos em conjuntos de dados, especifique explicitamente o local da reserva de taxa fixa ao enviar o job.

Para especificar o local em que um job será executado:

  • Ao consultar dados usando o Console do Cloud, clique em Mais > Configurações de consulta. Em Local de processamento, clique em Seleção automática e escolha o local dos seus dados.
  • Ao consultar dados usando a IU clássica do BigQuery na Web, selecione Mostrar opções. Em Local de processamento, clique em Não especificado e selecione o local dos dados.
  • Ao usar a ferramenta de linha de comando bq, forneça a sinalização global --location e defina o valor como seu local.
  • Ao usar a API, especifique sua região na propriedade location da seção jobReference do recurso do job.

O BigQuery retorna um erro quando o local especificado não corresponde àquele dos conjuntos de dados na solicitação.

Considerações sobre local

Ao escolher um local para os dados, pense nas seguintes opções:

  • Colocalização da sua fonte de dados externa e do conjunto de dados do BigQuery.
    • Quando você consulta dados em uma fonte de dados externa, como o Cloud Storage, os dados que está consultando precisam estar no mesmo local que o conjunto de dados do BigQuery. Por exemplo, se o conjunto de dados do BigQuery estiver no local multirregional EU, o intervalo do Cloud Storage que contém os dados que você está consultando precisará estar em um intervalo multirregional no EU. Se o conjunto de dados estiver no local multirregional US, seu intervalo do Cloud Storage precisará estar em um intervalo multirregional no US.
    • Se o conjunto de dados estiver em um local regional, o intervalo do Cloud Storage que contém os dados que você está consultando precisará estar em um intervalo regional no mesmo local. Por exemplo, se o conjunto de dados estiver na região Tokyo, o intervalo do Cloud Storage precisará ser regional e estar em Tokyo.
    • Se o conjunto de dados externo estiver no Cloud Bigtable, seu conjunto de dados precisará estar no local multirregional US ou EU. Seus dados do Cloud Bigtable precisam estar em um dos locais compatíveis com o Cloud Bigtable.
    • As considerações de localização não se aplicam às fontes de dados externas do Google Drive.
  • Faça a colocalização dos buckets do Cloud Storage para carregar dados.
    • Se o conjunto de dados do BigQuery estiver em um local multirregional, o intervalo do Cloud Storage que contém os dados que você está carregando precisará estar em um intervalo regional ou multirregional no mesmo local. Por exemplo, se o conjunto de dados do BigQuery estiver na UE, o intervalo do Cloud Storage precisará estar em um intervalo regional ou multirregional na UE.
    • Se o conjunto de dados estiver em um local regional, seu intervalo do Cloud Storage precisará ser um intervalo regional no mesmo local. Por exemplo, se o conjunto de dados estiver na região de Tóquio, seu bucket do Cloud Storage precisará ser um bucket regional em Tóquio.
    • Exceção: se o seu conjunto de dados estiver no local multirregional dos EUA, será possível carregar dados de um intervalo do Cloud Storage em qualquer local regional ou multirregional.
  • Faça a colocalização dos buckets do Cloud Storage para exportar dados.
    • Ao exportar dados, o intervalo regional ou multirregional do Cloud Storage precisa estar no mesmo local que o conjunto de dados do BigQuery. Por exemplo, se o conjunto de dados do BigQuery estiver no local multirregional da UE, o bucket do Cloud Storage que contém os dados que você está exportando precisará estar em um local regional ou multirregional na UE.
    • Se o conjunto de dados estiver em um local regional, seu intervalo do Cloud Storage precisará ser um intervalo regional no mesmo local. Por exemplo, se o conjunto de dados estiver na região de Tóquio, seu intervalo do Cloud Storage precisará ser um intervalo regional em Tóquio.
    • Exceção: se o seu conjunto de dados estiver no local multirregional dos EUA, será possível exportar dados para um intervalo do Cloud Storage em qualquer local regional ou multirregional.
  • Desenvolver um plano de gerenciamento de dados.
    • Se você escolher um recurso de armazenamento regional, como um conjunto de dados do BigQuery ou um intervalo do Cloud Storage, será necessário desenvolver um plano para gerenciar geograficamente seus dados.

Para mais informações sobre locais do Cloud Storage, consulte Locais de intervalos na respectiva documentação.

Como mover dados do BigQuery entre locais

Não é possível alterar o local de um conjunto de dados após a criação, mas tem como fazer uma cópia dele. Não é possível mover um conjunto de dados de um local para outro, mas tem como mover (recriar) manualmente um conjunto de dados. O serviço de transferência de dados do BigQuery pode mover dados para um conjunto no BigQuery em muitas regiões.

Como copiar conjuntos de dados

Para ver as etapas para essa ação, inclusive entre regiões, consulte Como copiar conjuntos de dados.

Como mover conjuntos de dados

Para mover manualmente um conjunto de dados de um local para outro, siga estas instruções:

  1. Exporte os dados das tabelas do BigQuery para um intervalo regional ou multirregional do Cloud Storage no mesmo local do conjunto de dados. Por exemplo, se o conjunto de dados estiver no local multirregional EU, exporte os dados para um intervalo regional ou multirregional no EU.

    Não há cobrança pela exportação de dados do BigQuery, mas são cobradas taxas pelo armazenamento dos dados exportados no Cloud Storage. As exportações do BigQuery estão sujeitas aos limites de jobs de exportação.

  2. Copie ou mova os dados do intervalo do Cloud Storage para um intervalo regional ou multirregional no novo local. Por exemplo, se você estiver movendo os dados do local multirregional US para o local regional Tokyo, será necessário transferi-los para um intervalo regional em Tokyo. Para mais informações sobre como transferir objetos do Cloud Storage, consulte na documentação do Cloud Storage Como renomear, copiar e mover objetos.

    A transferência de dados entre regiões gera cobranças de saída de rede no Cloud Storage.

  3. Depois de transferir os dados para um intervalo do Cloud Storage no novo local, crie um novo conjunto de dados do BigQuery no novo local. Em seguida, carregue os dados do intervalo do Cloud Storage no BigQuery.

    Você não será cobrado pelo carregamento dos dados no BigQuery, mas haverá cobranças pelo armazenamento no Cloud Storage até que eles ou o intervalo sejam excluídos. Também haverá cobrança pelo armazenamento de dados no BigQuery depois que eles forem carregados. O carregamento de dados no BigQuery está sujeito às limitações de jobs de carregamento.

Também é possível usar o Cloud Composer para mover e copiar grandes conjuntos de dados de maneira programática.

Para mais informações sobre como usar o Cloud Storage para armazenar e mover grandes conjuntos de dados, consulte Como usar o Cloud Storage com Big Data.

Como transferir dados para conjuntos no BigQuery

O serviço de transferência de dados do BigQuery move (copia) dados de uma fonte para um conjunto de dados de destino no BigQuery. Assim como o BigQuery, esse serviço é um recurso multirregional.

Você especifica o local quando cria um conjunto de dados de destino para armazenar os dados transferidos. Ao configurar uma transferência, a própria configuração de transferência é definida para o mesmo local do conjunto de dados de destino. O serviço de transferência de dados do BigQuery processa e organiza informações no mesmo local que o conjunto de destino no BigQuery.

Os dados a serem transferidos para o BigQuery também podem ter uma região. Na maioria dos casos, a região onde eles são armazenados e o local do conjunto de dados de destino no BigQuery são irrelevantes. Em outros tipos de transferência, o conjunto de dados e as informações de origem precisam estar colocalizados na mesma região ou em uma região compatível.

Para informações detalhadas sobre transferências e compatibilidade de regiões, consulte Locais e transferências de conjuntos de dados.

Próximas etapas