Exportar dados do Cloud Billing para o BigQuery

A exportação do Cloud Billing para o BigQuery permite exportar dados detalhados de faturamento do Google Cloud (como uso, estimativas de custo e dados de preços) automaticamente ao longo do dia para um conjunto de dados do BigQuery especificado Em seguida, é possível acessar os dados do Faturamento do Cloud pelo BigQuery para análise detalhada ou usar uma ferramenta como o Google Data Studio para visualizar seus dados. Também é possível usar esse método para exportar dados para um arquivo JSON.

Se você usa a exportação regular de arquivos para seus dados do Cloud Billing e está procurando informações sobre seus dados exportados para o Cloud Storage, consulte Exportar dados do Cloud Billing para um arquivo.

A escolha do momento é importante. Para ter acesso a um conjunto mais abrangente de dados do Google Cloud Billing para suas necessidades de análise, recomendamos que você ative a exportação de dados do Cloud Billing para o BigQuery ao mesmo tempo que você cria uma conta do Cloud Billing.

Consulte as limitações que podem afetar a exportação dos seus dados de faturamento para o BigQuery.

Próximas etapas

Gerenciar e informar os custos com eficiência são partes essenciais da administração financeira, independentemente de você administrar uma empresa multimilionária ou um pequeno orçamento doméstico. Tomar decisões com base em dados sobre os custos e o uso do Google Cloud começa com a coleta dos dados necessários para informar essas decisões.

Consulte os guias desta seção para saber mais sobre as seguintes tarefas:

Configurar a exportação de dados do Cloud Billing para o BigQuery

Para começar a coletar seus dados do Cloud Billing, é necessário ativar a exportação de dados do Cloud Billing para o BigQuery.

O guia de configuração fornece recomendações de práticas recomendadas e instruções detalhadas para ativar a exportação de dados do Cloud Billing para o BigQuery. Estes são os seguintes tipos de dados do Cloud Billing que podem ser ativados para exportação:

  • Dados de custo de uso padrão: contém informações de uso de custo padrão da conta do Cloud Billing, como ID da conta, data da fatura, serviços, SKUs, projetos, rótulos, locais, custo, uso, créditos, ajustes e moeda.
  • Dados detalhados do custo de uso: contém informações de uso detalhadas do custo da conta do Cloud Billing. Inclui tudo nos dados de custo de uso padrão, além de dados de custo no nível do recurso, como uma máquina virtual ou SSD que gera o uso do serviço. Ative esta opção se quiser analisar os dados de custo no nível do recurso com os dados de custo padrão. Você não precisa ativar os modos padrão e detalhado. Analise o esquema dos dados detalhados de custo de uso para mais recomendações e limitações.
  • Dados de preços: contém informações de preços da conta do Cloud Billing, como ID da conta, serviços, SKUs, produtos, metadados geográficos, unidades de preços, moeda, agregação e níveis.

Observação: o uso do BigQuery para armazenar e consultar dados do Cloud Billing gera taxas mínimas. Para mais informações, consulte Custo de uso.

Consulte as limitações que podem afetar a exportação dos seus dados de faturamento para o BigQuery.

Noções básicas sobre as tabelas de dados Cloud Billing

Depois de ativar a exportação do Cloud Billing para o BigQuery, as tabelas de dados do Cloud Billing serão criadas automaticamente no conjunto de dados do BigQuery.

Para entender o esquema de dados do conteúdo exportado, consulte as informações de referência do conteúdo dos dados do Cloud Billing exportados para cada tabela no conjunto de dados do BigQuery.

Exemplo de consultas para exportação de dados do Cloud Billing

Para dicas e orientações sobre como usar o SQL para executar consultas nos dados do Cloud Billing, acesse as consultas de exemplo.

Na página de consultas de exemplo, você encontra vários exemplos do SQL, incluindo os exemplos a seguir:

Custo de uso

O uso do BigQuery para armazenar dados de uso gera tarifas mínimas.

  • O carregamento de dados no conjunto de dados designado é gratuito. Ele utiliza o pool de recursos compartilhados do BigQuery para carregar dados em lotes.
  • Quando você exporta e analisa dados do Cloud Billing com o BigQuery, o custo associado depende do volume de dados enviado, armazenado e consultado.

Para ter uma ideia do quanto será cobrado, consulte Como estimar custos de armazenamento e consulta.

Resumo dos preços do BigQuery

Veja a seguir um resumo dos custos do BigQuery que você provavelmente encontrará ao exportar e analisar seus dados do Cloud Billing com o BigQuery. Para mais detalhes, consulte preços do BigQuery.

SKU Preços Detalhes
Armazenamento ativo US$ 0,20 por GB Os primeiros 10 GB são gratuitos todos os meses.
Armazenamento a longo prazo US$ 0,10 por GB Os primeiros 10 GB são gratuitos todos os meses.
Análise Preços sob demanda US$ 5,00 por TB O primeiro 1 TB por mês é gratuito.
O preço de taxa fixa está disponível para clientes de alto volume.
Inserções de streaming US$ 0,0010 por 200 MB Cobrado por linha usando um tamanho mínimo de 1 KB.
*NO FREE Uso deste SKU

Muitas operações de tabelas particionadas são gratuitas, incluindo carregamento dados em partições, cópias de partições e exportação de dados de partições. Mesmo sendo gratuitas, elas estão sujeitas às cotas e limites do BigQuery. Para mais informações sobre todas as operações gratuitas, consulte Operações gratuitas na página de preços do BigQuery.

Para mais informações sobre as práticas recomendadas para controlar custos no BigQuery, consulte Como controlar custos no BigQuery.

Limitações

A exportação dos dados do Cloud Billing para o BigQuery está sujeita às seguintes limitações.

  • Os conjuntos de dados do BigQuery que contêm custo de uso padrão e dados de preço refletem apenas os dados de faturamento do Google Cloud incorridos a partir da data em que você configure a exportação do Cloud Billing e depois. Ou seja, os dados do Google Cloud Billing não foram adicionados retroativamente. Sendo assim, você não verá os dados do Cloud Billing antes de ativar a exportação. Para mais detalhes, consulte a disponibilidade de dados.
  • Os conjuntos de dados do BigQuery que contêm dados detalhados de custo de uso refletem os dados do Cloud Billing incorridos desde o início do mês anterior a partir da data em que você ativou pela primeira vez exportar, a menos que você esteja reativando. Ou seja, os dados de faturamento do Google Cloud são adicionados retroativamente somente para o mês atual e o anterior. Para mais detalhes, consulte a disponibilidade de dados.
  • Ao exportar dados detalhados de custo de uso, é necessário exportar para um conjunto de dados configurado com um local multirregional, como os Estados Unidos (EUA) ou da União Europeia (UE). Se você selecionar um conjunto de dados que não seja um local multirregional, isso impedirá que o Cloud Billing grave dados de faturamento detalhados nas tabelas apropriadas desse conjunto de dados.
  • As chaves de criptografia gerenciadas pelo cliente não são compatíveis ao exportar dados de faturamento para o BigQuery. Se você ativar a CMEK para o conjunto de dados de dados de faturamento, isso impedirá que o Cloud Billing grave dados de faturamento nas tabelas apropriadas nesse conjunto de dados. Em vez disso, você precisa configurar o conjunto de dados para usar a criptografia de chave gerenciada pelo Google.