Práticas recomendadas do BigQuery: como otimizar o armazenamento

Nesta página, apresentamos práticas recomendadas para otimizar o armazenamento do BigQuery.

Usar as configurações de validade para remover tabelas e partições desnecessárias

Prática recomendada: configure a validade padrão da tabela dos conjuntos de dados, o prazo de validade das tabelas e a validade da partição das tabelas particionadas.

Controle custos de armazenamento e otimize o uso dele definindo a validade padrão da tabela para tabelas recém-criadas em um conjunto de dados. Se você definir a propriedade quando o conjunto de dados for criado, qualquer tabela criada no conjunto de dados será excluída depois do período de expiração. Se você definir a propriedade depois que o conjunto de dados tiver sido criado, somente as novas tabelas serão excluídas depois do período de expiração.

Por exemplo, se você definir a expiração da tabela padrão como sete dias, os dados mais antigos serão excluídos automaticamente depois de uma semana.

Essa opção será útil se você precisar ter acesso apenas aos dados mais recentes. Isso também será útil se você estiver fazendo testes com dados e não precisar preservá-los.

Se as tabelas forem particionadas por data, a expiração da tabela padrão do conjunto de dados se aplicará às partições individuais. Também é possível controlar a expiração de partição usando a sinalização time_partitioning_expiration na CLI ou a configuração expirationMs da API. Por exemplo, o comando a seguir expirará as partições após três dias:

bq mk \
--time_partitioning_type=DAY \
--time_partitioning_expiration=259200 \
project_id:dataset.table

Aproveitar o armazenamento em longo prazo

Prática recomendada: mantenha os dados no BigQuery.

Quando dados são carregados no BigQuery a partir do Cloud Storage, não há cobrança pela operação de carregamento, apenas pelo armazenamento dos dados no Cloud Storage. Depois que os dados forem carregados no BigQuery, eles estarão sujeitos ao preço de armazenamento do BigQuery.

Em vez de exportar dados mais antigos para outra opção de armazenamento (como o Cloud Storage), aproveite os preços de armazenamento em longo prazo do BigQuery.

Se uma tabela não for editada por 90 dias consecutivos, o preço do armazenamento dela cairá automaticamente em 50% para US$ 0,01 por GB ao mês. Esse é o mesmo custo do Cloud Storage Nearline.

Cada partição de uma tabela particionada é considerada separadamente em relação ao preço de armazenamento em longo prazo. Se uma partição não tiver sido modificada nos últimos 90 dias, os dados nessa partição serão considerados armazenamento em longo prazo e cobrados pelo preço com desconto.

Usar a calculadora de preços para estimar os custos de armazenamento

Prática recomendada: estime os custos de armazenamento usando a calculadora de preços do Google Cloud Platform.

Para estimar os custos de armazenamento na Calculadora de preços do Google Cloud, insira o número de bytes armazenados como MB, GB, TB ou PB. O BigQuery fornece 10 GB de armazenamento gratuito por mês.

Calculadora de preços