Práticas recomendadas do BigQuery: como otimizar o armazenamento

Nesta página, apresentamos práticas recomendadas para otimizar o armazenamento do BigQuery.

Usar as configurações de validade para remover tabelas e partições desnecessárias

Prática recomendada: configure a validade padrão da tabela dos conjuntos de dados, o prazo de validade das tabelas e a validade da partição das tabelas particionadas.

Controle custos de armazenamento e otimize o uso dele definindo a validade padrão da tabela para tabelas recém-criadas em um conjunto de dados. Se você definir a propriedade quando o conjunto de dados for criado, qualquer tabela criada no conjunto de dados será excluída depois do período de expiração. Se você definir a propriedade depois que o conjunto de dados tiver sido criado, somente as novas tabelas serão excluídas depois do período de expiração.

Por exemplo, se você definir a expiração da tabela padrão como sete dias, os dados mais antigos serão excluídos automaticamente depois de uma semana.

Essa opção será útil se você precisar ter acesso apenas aos dados mais recentes. Isso também será útil se você estiver fazendo testes com dados e não precisar preservá-los.

Se as tabelas forem particionadas por data, a expiração da tabela padrão do conjunto de dados se aplicará às partições individuais. Você também pode controlar a expiração da partição usando a sinalização time_partitioning_expiration na CLI ou a definição de configuração expirationMs na API. Por exemplo, o seguinte comando causaria a expiração das partições depois de três dias:

bq mk --time_partitioning_type=DAY --time_partitioning_expiration=259200 [DATASET].[TABLE]

Aproveitar o armazenamento em longo prazo

Prática recomendada: mantenha os dados no BigQuery.

Carregue dados no BigQuery sem custo. Em vez de exportar dados mais antigos para outra opção de armazenamento (como o Cloud Storage), aproveite os preços de armazenamento em longo prazo do BigQuery.

Se uma tabela não for editada por 90 dias consecutivos, o preço do armazenamento dela cairá automaticamente em 50% para US$ 0,01 por GB ao mês. Esse é o mesmo custo do Cloud Storage Nearline.

Cada partição de uma tabela particionada é considerada separadamente em relação ao preço de armazenamento em longo prazo. Se uma partição não tiver sido modificada nos últimos 90 dias, os dados nessa partição serão considerados armazenamento em longo prazo e cobrados pelo preço com desconto.

Usar a calculadora de preços para estimar os custos de armazenamento

Prática recomendada: estime os custos de armazenamento usando a calculadora de preços do Google Cloud Platform.

Para estimar os custos de armazenamento na calculadora de preços do Google Cloud Platform, digite o número de bytes armazenados em MB, GB, TB ou PB. O BigQuery oferece 10 GB de armazenamento gratuito por mês.

Calculadora de preços

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Precisa de ajuda? Acesse nossa página de suporte.