Introdução aos conjuntos de dados

Nesta página, você encontra uma visão geral dos conjuntos de dados no BigQuery.

Conjuntos de dados

Um conjunto de dados fica contido em um projeto específico. Os conjuntos de dados são contêineres de nível superior usados na organização e no controle de acesso a suas tabelas e visualizações. É obrigatório que uma tabela ou visualização pertença a um conjunto de dados, então crie pelo menos um desses conjuntos antes de carregar dados no BigQuery. Use o formato projectname.datasetname para qualificar totalmente um nome do conjunto de dados ao usar o GoogleSQL, ou o formato projectname:datasetname para qualificar totalmente um nome de tabela ao usar a ferramenta de linha de comando bq.

Local

Você especifica um local para armazenar os dados do BigQuery ao criar um conjunto de dados. Para conferir uma lista de locais de conjuntos de dados do BigQuery, consulte Locais do BigQuery. Depois da criação, não é possível alterar o local, mas tem como copiar o conjunto de dados para outro local ou mover (recriar) o conjunto para outro local manualmente.

O BigQuery processa consultas no mesmo local em que o conjunto de dados que contém as tabelas que você está consultando. O BigQuery armazena os dados no local selecionado de acordo com os Termos de serviço específicos.

Retenção de dados

Uso de conjuntos de dados de tempo de deslocamento em conjunto com o período de segurança contra falhas para reter dados excluídos e modificados por um curto período caso seja necessário recuperá-los. Para mais informações, consulte Retenção de dados com tempo de deslocamento e segurança contra falhas.

Modelos de faturamento do Storage

É possível receber cobranças pelo armazenamento de dados do BigQuery em bytes lógicos ou físicos (compactados) ou uma combinação de ambos. O modelo de faturamento do armazenamento escolhido determina o preço do armazenamento. O modelo de faturamento do armazenamento escolhido não afeta o desempenho do BigQuery. Seja qual for o modelo de faturamento escolhido, seus dados serão armazenados como bytes físicos.

Você define o modelo de faturamento do armazenamento no nível do conjunto de dados. Se você não especificar um modelo de faturamento do armazenamento ao criar um conjunto de dados, o padrão será usar o faturamento do armazenamento lógico. No entanto, é possível alterar o modelo de faturamento do armazenamento de um conjunto de dados depois de criá-lo. Depois de alterar o modelo de faturamento do armazenamento de um conjunto de dados, aguarde 14 dias antes de alterar o modelo de faturamento do armazenamento novamente.

Leva 24 horas para alterar o modelo de faturamento de um conjunto de dados. As tabelas ou partições de tabela no armazenamento de longo prazo não são redefinidas para armazenamento ativo quando você altera o modelo de faturamento de um conjunto de dados. O desempenho e a latência da consulta não são afetados pela alteração do modelo de faturamento de um conjunto de dados.

Os conjuntos de dados usam o armazenamento de viagem no tempo e à prova de falhas para a retenção de dados. Os armazenamentos de viagem no tempo e à prova de falhas são cobrados separadamente de acordo com as taxas de armazenamento ativo quando você usa o faturamento do armazenamento físico, mas estão inclusos na taxa básica cobrada quando você usa o faturamento do armazenamento lógico. É possível modificar a janela de viagem no tempo usada em um conjunto de dados para equilibrar os custos do armazenamento físico com a retenção de dados. Não é possível modificar a janela à prova de falhas. Para mais informações sobre a retenção de dados do conjunto de dados, consulte Retenção de dados com viagem no tempo e à prova de falhas. Para mais informações sobre como prever os custos do armazenamento, consulte Previsão do faturamento do armazenamento.

Não será possível registrar um conjunto de dados no faturamento do armazenamento físico se sua organização tiver algum compromisso de slot de taxa fixa legado localizado na mesma região do conjunto de dados. Isso não se aplica a compromissos comprados com uma edição do BigQuery.

Conjuntos de dados externos

Além dos conjuntos de dados do BigQuery, você pode criar conjuntos de dados externos, que são links para fontes de dados externas:

Os conjuntos de dados externos também são conhecidos como conjuntos de dados federados, e os dois termos são usados de forma intercambiável.

Depois de criados, os conjuntos de dados externos contêm tabelas de uma fonte de dados externa referenciada. Os dados dessas tabelas não são copiados para o BigQuery, mas consultados sempre que usados. Para mais informações, consulte Consultas federadas do Spanner.

Limitações

Os conjuntos de dados do BigQuery estão sujeitos às seguintes limitações:

  • O local do conjunto de dados só pode ser definido no momento da criação. Depois que um conjunto de dados é criado, o local não pode ser alterado.
  • Todas as tabelas referenciadas em uma consulta precisam ser armazenadas em conjuntos de dados no mesmo local.

  • Os conjuntos de dados externos não são compatíveis com a expiração de tabelas, réplicas, viagem no tempo, ordenação padrão, modo de arredondamento padrão ou a opção de ativar ou desativar o nome de tabelas sem distinção entre maiúsculas e minúsculas.

  • Ao copiar uma tabela, os conjuntos de dados que contêm as tabelas de origem e de destino precisam estar no mesmo local.

  • Os conjuntos de dados de cada projeto precisam ter nomes exclusivos.

  • Depois de alterar o modelo de faturamento do armazenamento de um conjunto de dados, aguarde 14 dias antes de alterar o modelo de faturamento do armazenamento novamente.

  • Não será possível registrar um conjunto de dados no faturamento do armazenamento físico se você tiver algum compromisso de slot de taxa fixa legado localizado na mesma região do conjunto de dados.

Cotas

Para mais informações sobre cotas e limites de conjuntos de dados, consulte Cotas e limites.

Preços

Você não é cobrado por criar, atualizar ou excluir um conjunto de dados.

Para mais informações sobre os preços do BigQuery, consulte Preços.

Segurança

Para controlar o acesso a conjuntos de dados no BigQuery, consulte Como controlar o acesso a conjuntos de dados. Para saber mais sobre criptografia de dados, consulte Criptografia em repouso.

A seguir