Noções básicas sobre as tabelas de dados do Cloud Billing no BigQuery

Este documento fornece informações de referência sobre o esquema dos dados do Cloud Billing exportados para cada tabela no BigQuery.

Tabelas de dados de faturamento

Logo depois de ativar a exportação do Cloud Billing para o BigQuery, as tabelas de dados de faturamento são criadas automaticamente no conjunto de dados do BigQuery.

  • Tabela de custos de uso padrão: no conjunto de dados do BigQuery, essa tabela é denominada gcp_billing_export_v1_<BILLING_ACCOUNT_ID>.
  • Tabela de custo de uso detalhada: inclui todos os campos de dados da tabela de custos de uso padrão, além de outros campos que fornecem dados de custo no nível do recurso, como um máquina virtual ou SSD que gera o uso do serviço. No conjunto de dados do BigQuery, essa tabela é denominada gcp_billing_export_resource_v1_<BILLING_ACCOUNT_ID>.
  • Tabela de dados de preços: no conjunto de dados do BigQuery, essa tabela é denominada cloud_pricing_export.

Frequência de carregamentos de dados

Exportação de custo de uso padrão e detalhado

  • Quando você ativa a exportação de custo de uso padrão ou detalhada para o BigQuery, pode levar algumas horas para começar a ver os dados de custo do Google Cloud propagados para seu conjunto de dados do BigQuery. Os dados são exportados em ordem cronológica. Se a exportação estiver configurada para incluir dados retroativamente no mês atual e no anterior, pode levar até cinco dias para que os dados exportados alcancem totalmente os dados de uso atuais.
  • Os serviços do Google Cloud informam dados de uso e custo para processos do Cloud Billing em intervalos variados.
  • O Cloud Billing exporta dados de uso e custo para seu conjunto de dados do BigQuery em intervalos regulares. Não há garantias de entrega ou latência para a exportação para o BigQuery.
  • Como a frequência de relatórios de uso varia de acordo com o serviço do Google Cloud, talvez você não veja dados de uso e custo do Cloud Billing de imediato para todos os serviços do Google Cloud usados recentemente.

Exportação de preços

  • Quando você ativa a exportação de preços para o BigQuery pela primeira vez, pode levar até 48 horas para começar a ver seus dados de preços do Google Cloud.
  • Depois de ativar a exportação de preços, os dados de preços aplicáveis à sua conta de faturamento do Cloud são exportados para o BigQuery uma vez por dia.

Disponibilidade de dados

  • Para clientes que ativam a exportação de dados de custo de uso padrão ou detalhado pela primeira vez:

    • Se você configurar o conjunto de dados do BigQuery para usar um local multirregional (UE ou EUA), os dados do Cloud Billing são exportados de forma retroativa desde o início do mês anterior. Por exemplo, se você ativar a exportação de dados de custo de uso padrão ou custo de uso detalhado em 23 de setembro, sua exportação incluirá dados a partir de 1o de agosto.

      Exportamos dados em ordem cronológica, um dia de cada vez, para que os dados do primeiro dia do último mês sejam preenchidos primeiro. Para o preenchimento inicial dos dados exportados, pode levar até cinco dias para que os dados retroativos do Cloud Billing sejam exportados antes de começar a mostrar os dados de uso mais recentes.

    • Se você configurar o conjunto de dados do BigQuery para usar um local de região compatível, seu custo de uso padrão ou custo de uso detalhado estarão disponíveis a partir da data em que você ativar a exportação do Cloud Billing. Ou seja, _os dados de faturamento do Google Cloud não são adicionados de forma retroativa_ para locais de conjuntos de dados não multirregionais. Portanto, você não vai encontrar os dados do Cloud Billing antes de ativar a exportação.

    • Para clientes que ativaram, exportaram e reativaram a exportação de dados do custo de uso padrão ou do custo de uso detalhado, os dados do Cloud Billing talvez não para o período em que a exportação foi explicitamente desativada.

  • Se você ativar a exportação de dados de preços, o conjunto de dados do BigQuery refletirá apenas os dados do Cloud Billing incorridos a partir da data em que você ativou a exportação de preços pela primeira vez. Os dados de preços do Cloud Billing não são adicionados retroativamente. Portanto, você não vai encontrar os dados de preços das datas que ocorreram antes da ativação da exportação.

  • Os dados nos conjuntos de dados do BigQuery refletem o estado dos recursos no momento em que o uso foi registrado. Se você fizer mudanças nos recursos, como adicionar novos rótulos a um projeto ou mudar a hierarquia de um projeto (o que mudaria project.ancestors), essas alterações só serão mostradas em exportações futuras de uso de dados. Os registros exportados anteriormente não são alterados.

  • Se você excluir dados exportados, como os registros de exportação do BigQuery, não será possível preencher os registros excluídos.

  • Os carregamentos do BigQuery são compatíveis com ACID. Portanto, se você consultar o conjunto de dados de exportação do Cloud Billing do BigQuery enquanto os dados estiverem sendo carregados nele, não vai encontrar dados parcialmente carregados.

  • Veja outras limitações que podem afetar a exportação dos seus dados de faturamento para o BigQuery, como conjuntos de dados com chaves de criptografia gerenciadas pelo cliente (CMEK, na sigla em inglês) ativadas.

Limitações

A exportação dos dados do Cloud Billing para o BigQuery está sujeita às seguintes limitações.

  • Locais do conjunto de dados do BigQuery compatíveis para uso com dados do Cloud Billing

    Os conjuntos de dados do BigQuery são configurados para usar um local que seja multirregional (UE ou EUA) ou um local de região. O local do conjunto de dados está definido no momento da criação. Depois que um conjunto de dados é criado, o local não pode ser alterado.

    A exportação de dados do Faturamento do Cloud é compatível com todos os locais de multirregião (UE ou EUA), mas apenas um subconjunto de locais de região. Ao definir as configurações de exportação do Cloud Billing, se você criar ou selecionar um conjunto de dados configurado para usar um local de região sem suporte, ao tentar salvar suas configurações de exportação, você vai receber um erro Região do conjunto de dados inválida.

    A tabela a seguir lista os locais multirregionais e regionais compatíveis com conjuntos de dados do BigQuery que contêm dados do Cloud Billing.

    Américas Ásia-Pacífico Europa

    Multirregional: EUA

    Regiões:

    • northamerica-northeast1 (Montreal)
    • southamerica-east1 (São Paulo)
    • us-central1 (Iowa)
    • us-east1 (Carolina do Sul)
    • us-east4 (Norte da Virgínia)
    • us-west1 (Oregon)
    • us-west2 (Los Angeles)
    • us-west3 (Salt Lake City)
    • us-west4 (Las Vegas)

    Regiões:

    • asia-east1 (Taiwan)
    • asia-east2 (Hong Kong)
    • asia-northeast1 (Tóquio)
    • asia-northeast2 (Osaka)
    • asia-northeast3 (Seul)
    • asia-south1 (Mumbai)
    • asia-southeast1 (Singapura)
    • asia-southeast2 (Jacarta)
    • australia-southeast1 (Sydney)

    Multirregional: UE

    Regiões:

    • europe-central2 (Varsóvia)
    • europe-north1 (Finlândia)
    • europe-west1 (Bélgica)
    • europe-west2 (Londres)
    • europe-west3 (Frankfurt)
    • europe-west4 (Países Baixos)
    • europe-west6 (Zurique)

  • Para os conjuntos de dados do BigQuery que contêm dados de custo de uso padrão ou dados detalhados de custo de uso, o tipo de local configurado no conjunto de dados afeta a tempo em que os dados de faturamento do Google Cloud são exportados para ele:

    • Se você configurar o conjunto de dados para usar um local multirregional (UE ou EUA), o conjunto de dados refletirá os dados de faturamento do Google Cloud incorridos a partir do início do mês anterior ao que você ativou a exportação pela primeira vez, a menos que você a reative. Ou seja, os dados de faturamento do Google Cloud são adicionados retroativamente somente para o mês atual e o anterior. Para o preenchimento inicial dos dados exportados, pode levar até cinco dias para que a exportação dos dados retroativos do Cloud Billing seja concluída antes que você comece a ver os dados de uso atuais.

    • Se o conjunto de dados estiver configurado para usar um local regional compatível, os dados de custo de uso padrão e os dados detalhados os dados de custo de uso refletem apenas os dados de faturamento do Google Cloud incorridos a partir da data em que você ativou a exportação do Faturamento do Cloud. Ou seja, os dados de faturamento do Google Cloud não são adicionados de forma retroativa para locais de conjuntos de dados não multirregionais. Portanto, você não verá os dados do Cloud Billing de antes de ativar a exportação.

    • Para mais detalhes, consulte a disponibilidade de dados.

  • Os conjuntos de dados do BigQuery que contêm dados de preços coletam apenas dados de faturamento do Google Cloud incorridos a partir da data em que você configurou a exportação do Cloud Billing. Ou seja, _os dados de preços do Google Cloud não são adicionados retroativamente. Portanto, você não vai encontrar os dados de preços do Cloud Billing antes de ativar a exportação. Para mais detalhes, consulte Disponibilidade de dados.

  • Ao exportar dados detalhados de custo de uso, a exportação detalhada inclui automaticamente informações sobre o recurso sobre o Compute Engine. Para conferir um detalhamento dos custos do cluster do Google Kubernetes Engine (GKE) em uma exportação de dados detalhada, ative a alocação de custos para o GKE.

  • Criptografia do conjunto de dados: as chaves de criptografia gerenciadas pelo cliente (CMEK) não são compatíveis ao exportar dados de faturamento para o BigQuery. Se você ativar a criptografia CMEK para o conjunto de dados de faturamento, esse tipo de criptografia impedirá que o Cloud Billing grave dados de faturamento nas tabelas apropriadas nesse conjunto de dados. Em vez disso, ative o conjunto de dados para usar uma chave de propriedade e gerenciada pelo Google.

  • Se você quiser usar a segurança no nível da linha do BigQuery na tabela que contém os dados exportados, conceda à conta de serviço de exportação do Cloud Billing billing-export-bigquery@system.gserviceaccount.com acesso total à tabela. Use o filtro TRUE do BigQuery. O comando a seguir concede acesso à conta de serviço do Cloud Billing:

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • As tags no nível do recurso podem levar até uma hora para serem propagadas para as exportações do BigQuery. Se uma tag tiver sido adicionada ou removida em uma hora ou se um recurso existir por menos de uma hora, talvez ela não apareça na exportação.

    As tags no nível do recurso estão disponíveis para os seguintes recursos:

    • Instâncias do Compute Engine
    • Instâncias do Spanner
    • Serviços do Cloud Run
    • Repositórios do Artifact Registry

  • Se você usa o VPC Service Controls, as exportações do BigQuery podem ser bloqueadas. Para resolver isso, você precisa isentar a VPC manualmente.

Relatórios de custos e preços disponíveis no Console do Google Cloud

Anterior
Configurar a exportação de dados de faturamento para o BigQuery
Próxima
Estrutura da exportação de dados padrão