Exportar dados do Cloud Billing para o BigQuery

A exportação do Cloud Billing para o BigQuery permite exportar dados detalhados de faturamento do Google Cloud (como uso, estimativas de custo e dados de preços) automaticamente ao longo do dia para um conjunto de dados do BigQuery especificado. Em seguida, é possível acessar os dados do Cloud Billing pelo BigQuery para análise detalhada ou usar uma ferramenta como o Looker Studio para visualizar seus dados. Também é possível usar esse método para exportar dados para um arquivo JSON.

A escolha do momento é importante. Para ter acesso a um conjunto mais abrangente de dados do Google Cloud Billing para suas necessidades de análise, recomendamos que você ative a exportação de dados do Cloud Billing para o BigQuery ao mesmo tempo que você cria uma conta do Cloud Billing.

Consulte as limitações que podem afetar a exportação dos dados de faturamento para o BigQuery.

Próximas etapas

Gerenciar e informar os custos com eficiência são partes essenciais da administração financeira, independentemente de você administrar uma empresa multimilionária ou um pequeno orçamento doméstico. Tomar decisões com base em dados sobre os custos e o uso do Google Cloud começa com a coleta dos dados necessários para informar essas decisões.

Consulte os guias desta seção para saber mais sobre as seguintes tarefas:

Configurar a exportação de dados do Cloud Billing para o BigQuery

Para começar a coletar seus dados do Cloud Billing, é necessário ativar a exportação de dados do Cloud Billing para o BigQuery.

O guia de configuração fornece recomendações de práticas recomendadas e instruções detalhadas para ativar a exportação de dados do Cloud Billing para o BigQuery. Estes são os seguintes tipos de dados do Cloud Billing que podem ser ativados para exportação:

  • Dados de custo de uso padrão: contém informações de uso de custo padrão da conta do Cloud Billing, como ID da conta, data da fatura, serviços, SKUs, projetos, rótulos, locais, custo, uso, créditos, ajustes e moeda.

    Use a exportação de uso padrão para analisar as amplas tendências nos dados de custo.

  • Dados detalhados do custo de uso: contém informações de uso detalhadas do custo da conta do Cloud Billing. Inclui tudo nos dados de custo de uso padrão, além de dados de custo no nível do recurso, como uma máquina virtual ou SSD que gera o uso do serviço.

    Use a exportação detalhada para analisar os custos no nível do recurso e identificar recursos específicos que podem estar aumentando os custos. A exportação detalhada inclui informações no nível do recurso para os seguintes produtos:

    • Compute Engine
    • Google Kubernetes Engine (GKE)
    • Funções do Cloud Run
    • Cloud Run

    Para ver informações sobre o GKE, ative a alocação de custos em exportações detalhadas.

    Analise o esquema dos dados detalhados de custo de uso para mais recomendações e limitações.

  • (Somente revendedores) Exportação de dados de refaturamento: contém informações detalhadas de uso do custo da conta do Cloud Billing em todas as suas contas de faturamento do revendedor anotadas com atributos específicos do parceiro do Google Analytics.

    Use a exportação de dados de refaturamento para gerenciar operações de faturamento dos seus clientes do Google Cloud. Saiba mais sobre as configurações de mudanças no preço que permitem gerar custos para o cliente final.

  • Dados de preços: contém informações de preços da conta do Cloud Billing, como ID da conta, serviços, SKUs, produtos, metadados geográficos, unidades de preços, moeda, agregação e níveis.

    Também é possível receber os dados de preços da sua conta do Cloud Billing destas maneiras:

Observação: o uso do BigQuery para armazenar e consultar dados do Cloud Billing gera taxas mínimas. Para mais informações, consulte Custo de uso.

Consulte as limitações que podem afetar a exportação dos dados de faturamento para o BigQuery.

Noções básicas sobre as tabelas de dados Cloud Billing

Depois de ativar a exportação do Cloud Billing para o BigQuery, as tabelas de dados do Cloud Billing serão criadas automaticamente no conjunto de dados do BigQuery.

Para entender o esquema de dados do conteúdo exportado, consulte as informações de referência do conteúdo dos dados do Cloud Billing exportados para cada tabela no conjunto de dados do BigQuery.

Exemplo de consultas para exportação de dados do Cloud Billing

Para dicas e orientações sobre como usar o SQL para executar consultas nos dados do Cloud Billing, acesse as consultas de exemplo.

Na página de consultas de exemplo, você encontra vários exemplos do SQL, incluindo os exemplos a seguir:

Custo de uso

Usar o BigQuery para armazenar e analisar dados de custo e uso de faturamento normalmente tem taxas mínimas.

  • O carregamento de dados no conjunto de dados designado é gratuito. Ele utiliza o pool de recursos compartilhados do BigQuery para carregar dados em lotes.
  • Quando você exporta e analisa dados do Cloud Billing com o BigQuery, o custo associado depende do volume de dados enviado, armazenado e consultado.
  • Muitas operações de tabelas particionadas são gratuitas, incluindo carregamento dados em partições, cópias de partições e exportação de dados de partições. Essas operações são gratuitas, mas estão sujeitas a cotas e limites do BigQuery.

Geralmente, a consulta da exportação detalhada de custos pode custar mais do que a exportação padrão. Para otimizar os custos, recomendamos usar a exportação padrão para analisar as tendências dos custos e a exportação detalhada para acompanhar os custos no nível do recurso e identificar recursos específicos que podem estar aumentando os custos.

Para ter uma ideia do quanto será cobrado, consulte Como estimar custos de armazenamento e consulta.

Para mais informações sobre práticas recomendadas de otimização de custos no BigQuery, consulte Controlar custos no BigQuery.

Para saber os preços detalhados, consulte os preços do BigQuery.

Limitações

A exportação dos dados do Cloud Billing para o BigQuery está sujeita às seguintes limitações.

  • Locais do conjunto de dados do BigQuery compatíveis para uso com dados do Cloud Billing

    Os conjuntos de dados do BigQuery são configurados para usar um local que seja multirregional (UE ou EUA) ou um local de região. O local do conjunto de dados está definido no momento da criação. Depois que um conjunto de dados é criado, o local não pode ser alterado.

    A exportação de dados do Faturamento do Cloud é compatível com todos os locais de multirregião (UE ou EUA), mas apenas um subconjunto de locais de região. Ao definir as configurações de exportação do Cloud Billing, se você criar ou selecionar um conjunto de dados configurado para usar um local sem suporte, ao tentar salvar suas configurações de exportação, você verá um erro Região do conjunto de dados inválida.

    A tabela a seguir lista os locais multirregionais e os locais regionais compatíveis com conjuntos de dados do BigQuery usados para conter dados do Cloud Billing.

    Américas Ásia-Pacífico Europa

    Multirregional: EUA

    Regiões:

    • northamerica-northeast1 (Montreal)
    • southamerica-east1 (São Paulo)
    • us-central1 (Iowa)
    • us-east1 (Carolina do Sul)
    • us-east4 (Norte da Virgínia)
    • us-west1 (Oregon)
    • us-west2 (Los Angeles)
    • us-west3 (Salt Lake City)
    • us-west4 (Las Vegas)

    Regiões:

    • asia-east1 (Taiwan)
    • asia-east2 (Hong Kong)
    • asia-northeast1 (Tóquio)
    • asia-northeast2 (Osaka)
    • asia-northeast3 (Seul)
    • asia-south1 (Mumbai)
    • asia-southeast1 (Singapura)
    • asia-southeast2 (Jacarta)
    • australia-southeast1 (Sydney)

    Multirregional: UE

    Regiões:

    • europe-central2 (Varsóvia)
    • europe-north1 (Finlândia)
    • europe-west1 (Bélgica)
    • europe-west2 (Londres)
    • europe-west3 (Frankfurt)
    • europe-west4 (Países Baixos)
    • europe-west6 (Zurique)

  • Para os conjuntos de dados do BigQuery que contêm dados de custo de uso padrão ou dados detalhados de custo de uso, o tipo de local configurado no conjunto de dados afeta a tempo em que os dados de faturamento do Google Cloud são exportados para ele:

    • Se você configurar o conjunto de dados para usar um local multirregional (UE ou EUA), o conjunto de dados refletirá os dados de faturamento do Google Cloud incorridos a partir do início do mês anterior ao que você ativou a exportação pela primeira vez, a menos que você a reative. Ou seja, os dados de faturamento do Google Cloud são adicionados retroativamente somente para o mês atual e o anterior. Para o preenchimento inicial dos dados exportados, pode levar até cinco dias para que a exportação dos dados retroativos do Cloud Billing seja concluída antes que você comece a ver os dados de uso atuais.

    • Se o conjunto de dados estiver configurado para usar um local regional compatível, os dados de custo de uso padrão e os dados detalhados os dados de custo de uso refletem apenas os dados de faturamento do Google Cloud incorridos a partir da data em que você ativou a exportação do Faturamento do Cloud. Ou seja, os dados de faturamento do Google Cloud não são adicionados de forma retroativa para locais de conjuntos de dados não multirregionais. Portanto, você não verá os dados do Cloud Billing de antes de ativar a exportação.

    • Para mais detalhes, consulte a disponibilidade de dados.

  • Os conjuntos de dados do BigQuery que contêm dados de preços coletam apenas dados de faturamento do Google Cloud incorridos a partir da data em que você configurou a exportação do Cloud Billing. Ou seja, os dados do Google Cloud Billing não foram adicionados retroativamente. Sendo assim, você não verá os dados do Cloud Billing antes de ativar a exportação. Para mais detalhes, consulte a disponibilidade de dados.

  • Ao exportar dados detalhados de custo de uso, a exportação detalhada inclui automaticamente informações sobre o recurso sobre o Compute Engine. Para ver um detalhamento dos custos do cluster do Google Kubernetes Engine (GKE) em uma exportação de dados detalhada, também é necessário ativar a alocação de custos para o GKE de dados.

  • Criptografia do conjunto de dados: as chaves de criptografia gerenciadas pelo cliente (CMEK) não são compatíveis ao exportar dados de faturamento para o BigQuery. Se você ativar a criptografia CMEK para seu conjunto de dados de faturamento, esse tipo de criptografia impedirá que o Cloud Billing grave dados de faturamento nas tabelas apropriadas nesse conjunto de dados. Em vez disso, você precisa ativar o conjunto de dados para usar uma chave do Google gerenciada pelo Google.

  • Se você quiser usar a segurança no nível da linha do BigQuery na tabela que contém os dados exportados, conceda à conta de serviço de exportação do Cloud Billing billing-export-bigquery@system.gserviceaccount.com acesso total à tabela usando o filtro TRUE do BigQuery. O comando a seguir concede acesso à conta de serviço do Cloud Billing:

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • As tags no nível do recurso podem levar até uma hora para serem propagadas para as exportações do BigQuery. Se uma tag tiver sido adicionada ou removida em uma hora, ou se um recurso existir por menos de uma hora, talvez ela não apareça na exportação.

    As tags no nível do recurso estão disponíveis para os seguintes recursos:

    • Instâncias do Compute Engine
    • Instâncias do Spanner
    • Serviços do Cloud Run
    • Repositórios do Artifact Registry

  • Se você usa o VPC Service Controls, as exportações do BigQuery podem ser bloqueadas. Para resolver isso, você precisa isentar a VPC manualmente.

Próxima
Configurar a exportação de dados de faturamento para o BigQuery