Exporte dados de faturação do Google Cloud para o BigQuery

A exportação da faturação do Google Cloud para o BigQuery permite-lhe exportar automaticamente dados de faturação Google Cloud detalhados (como a utilização, as estimativas de custos e os dados de preços) ao longo do dia para um conjunto de dados do BigQuery especificado por si. Pode aceder aos dados de faturação do Google Cloud do BigQuery para ver uma análise detalhada ou usar uma ferramenta como o Looker Studio para visualizar os seus dados. Também pode usar este método de exportação para exportar dados para um ficheiro JSON.

O momento é importante. Para aceder a um conjunto mais abrangente de Google Cloud dados de faturação para as suas necessidades de análise, recomendamos que ative a exportação de dados de faturação do Google Cloud para o BigQuery ao mesmo tempo que cria uma conta de faturação do Google Cloud.

Consulte as limitações que podem afetar a exportação dos seus dados de faturação para o BigQuery.

Passos seguintes

A gestão e a comunicação de custos eficazes são uma parte fundamental da gestão financeira, quer esteja a gerir uma empresa de vários milhares de milhões de dólares ou um pequeno orçamento doméstico. Tomar decisões com base em dados sobre os seus Google Cloud custos e utilização começa com a recolha dos dados de que precisa para fundamentar essas decisões.

Consulte os guias nesta secção para saber mais sobre as seguintes tarefas:

Configure a exportação de dados da faturação do Google Cloud para o BigQuery

Para começar a recolher os seus dados de faturação do Google Cloud, tem de ativar a exportação de dados de faturação do Google Cloud para o BigQuery.

O guia de configuração fornece recomendações de práticas recomendadas e instruções detalhadas para ativar a exportação de dados de faturação do Google Cloud para o BigQuery. Seguem-se os tipos de dados da Faturação na nuvem que pode ativar para exportação:

  • Dados de custos de utilização padrão: contém informações de utilização de custos da conta do Cloud Billing padrão, como o ID da conta, a data da fatura, os serviços, os SKUs, os projetos, as etiquetas, as localizações, o custo, a utilização, os créditos, os ajustes e a moeda.

    Use a exportação de utilização padrão para analisar tendências gerais nos seus dados de custos.

  • Dados detalhados de custos de utilização: contém informações detalhadas de utilização de custos da conta do Cloud Billing. Inclui tudo o que está nos dados de custos de utilização padrão, além dos dados de custos ao nível do recurso, como uma máquina virtual ou um SSD que gera a utilização do serviço.

    Use a exportação de utilização detalhada para analisar os custos ao nível do recurso e identificar recursos específicos que possam estar a aumentar os custos. A exportação detalhada inclui informações ao nível do recurso para os seguintes produtos:

    • Compute Engine
    • Google Kubernetes Engine (GKE)
    • Funções do Cloud Run
    • Cloud Run

    Para ver informações sobre o GKE, ative a atribuição de custos nas exportações detalhadas.

    Reveja o esquema dos dados de custos de utilização detalhados para ver mais recomendações e limitações.

  • (Apenas para revendedores) Exportação de dados de refaturação: contém informações detalhadas de utilização de custos da conta do Cloud Billing em todas as suas contas de faturação de revendedor anotadas com atributos específicos do parceiro.

    Use a exportação de dados de refaturação para gerir as operações de faturação dos seus clientes.Google Cloud Saiba mais sobre as configurações de alteração de preços que lhe permitem gerar custos para o cliente final.

  • Dados de preços: contém informações de preços da conta de faturação na nuvem, como ID da conta, serviços, SKUs, produtos, metadados geográficos, unidades de preços, moeda, agregação e níveis.

    Também pode obter os dados de preços da sua conta do Cloud Billing das seguintes formas:

  • Metadados de descontos por utilização garantida (CUD) (Pré-visualização) – Para os clientes que compram CUDs, esta exportação diária fornece metadados de CUDs para uma tabela do BigQuery, que pode juntar a outras exportações de dados de faturação para uma melhor gestão e relatórios de CUDs. Os metadados de CUD incluem informações como o ID da conta de faturação, o ID do produto, o ID do modelo de consumo, as unidades e os valores do valor de compromisso, entre outros.

A utilização do BigQuery para armazenar e consultar dados de faturação na nuvem incorre em taxas mínimas. Para mais informações, consulte o artigo Custo de utilização.

Consulte as limitações que podem afetar a exportação dos seus dados de faturação para o BigQuery.

Compreenda as tabelas de dados do Cloud Billing

Depois de ativar a exportação da faturação do Google Cloud para o BigQuery, as tabelas de dados da faturação do Google Cloud são criadas automaticamente no conjunto de dados do BigQuery.

Para compreender o esquema de dados do seu conteúdo exportado, consulte as informações de referência sobre os conteúdos dos dados de faturação do Google Cloud que são exportados para cada tabela no conjunto de dados do BigQuery.

Encontre consultas de exemplo para dados do Cloud Billing

Para ver sugestões e orientações sobre a utilização do SQL para executar consultas nos seus dados de faturação do Google Cloud, consulte as consultas de exemplo.

Na página de consultas de exemplo, encontra vários exemplos de SQL, incluindo o seguinte:

Custo de utilização

A utilização do BigQuery para armazenar e analisar os dados de utilização e custos de faturação incorre normalmente em taxas mínimas.

  • O carregamento de dados no conjunto de dados designado é gratuito. Esta ação tira partido do conjunto de recursos partilhados do BigQuery para carregar dados em lotes.
  • Quando exporta e analisa dados de faturação da nuvem com o BigQuery, o custo associado depende da quantidade de dados que faz stream, armazena e consulta.
  • Muitas operações de tabelas particionadas são gratuitas, incluindo o carregamento de dados em partições, a cópia de partições e a exportação de dados de partições. Embora sejam gratuitas, estas operações estão sujeitas às quotas e aos limites do BigQuery.

Geralmente, a consulta da exportação de custos detalhada pode custar mais do que a consulta da exportação padrão. Para otimizar os seus custos, recomendamos que use a exportação padrão para analisar as tendências nos seus custos e a exportação detalhada para acompanhar os custos ao nível do recurso e identificar recursos específicos que possam estar a gerar os seus custos.

Para ter uma ideia das cobranças esperadas, consulte o artigo Estimativa dos custos de armazenamento e de consultas.

Para mais informações sobre as práticas recomendadas para otimizar os custos no BigQuery, consulte o artigo Controle os custos no BigQuery.

Para ver preços detalhados, reveja os preços do BigQuery.

Limitações

A exportação de dados de faturação do Google Cloud para o BigQuery está sujeita às seguintes limitações.

  • O esquema da tabela de qualquer uma das exportações de dados da Faturação na nuvem pode mudar

    Quando o esquema da tabela é alterado, por exemplo, quando são adicionados novos campos a um esquema de tabela do BigQuery para uma exportação de dados de faturação do Google Cloud, todas as consultas que referenciam diretamente as colunas exportadas podem falhar. Para resolver este problema, recomendamos que crie visualizações do BigQuery que consultem as tabelas exportadas e apresentem as informações na sua estrutura preferida.

    Em seguida, pode ajustar as consultas que alimentam os seus relatórios e painéis de controlo para extrair dados das vistas, em vez das tabelas exportadas. Ao usar visualizações, pode padronizar a estrutura dos dados usados nas suas consultas e painéis de controlo.

    As vistas que criar devem normalizar os dados para que todas as tabelas relevantes apresentem o mesmo esquema às suas consultas. Isto protege-o contra alterações futuras ao esquema, permitindo-lhe modificar a consulta subjacente da vista nesses casos em que o esquema de dados muda.

  • Localizações de conjuntos de dados do BigQuery suportadas para utilização com dados de faturação do Google Cloud

    Os conjuntos de dados do BigQuery estão configurados para usar uma localização, quer seja uma localização multirregião (UE ou EUA) ou uma localização de região. A localização do conjunto de dados é definida no momento da criação. Depois de criar um conjunto de dados, não é possível alterar a respetiva localização.

    A exportação de dados do Cloud Billing suporta todas as localizações multirregionais (UE ou EUA), mas apenas um subconjunto de localizações regionais. Quando configura as definições de exportação do Cloud Billing, se criar ou selecionar um conjunto de dados configurado para usar uma localização de região não suportada, quando tenta guardar as definições de exportação, é apresentado um erro de região do conjunto de dados inválida.

    A tabela seguinte apresenta as localizações multirregiões e as localizações regionais compatíveis para utilização com conjuntos de dados do BigQuery que contêm dados do Cloud Billing.

    Américas Ásia-Pacífico Europa

    Multirregional: EUA

    Regiões:

    • northamerica-northeast1 (Montreal)
    • southamerica-east1 (São Paulo)
    • us-central1 (Iowa)
    • us-east1 (Carolina do Sul)
    • us-east4 (Virgínia do Norte)
    • us-west1 (Oregon)
    • us-west2 (Los Angeles)
    • us-west3 (Salt Lake City)
    • us-west4 (Las Vegas)

    Regiões:

    • asia-east1 (Taiwan)
    • asia-east2 (Hong Kong)
    • asia-northeast1 (Tóquio)
    • asia-northeast2 (Osaca)
    • asia-northeast3 (Seul)
    • asia-south1 (Mumbai)
    • asia-southeast1 (Singapura)
    • asia-southeast2 (Jacarta)
    • australia-southeast1 (Sydney)

    Várias regiões: UE

    Regiões:

    • europe-central2 (Varsóvia)
    • europe-north1 (Finlândia)
    • europe-west1 (Bélgica)
    • europe-west2 (Londres)
    • europe-west3 (Frankfurt)
    • europe-west4 (Países Baixos)
    • europe-west6 (Zurique)

  • Se editar as definições de exportação para atualizar o projeto ou o conjunto de dados onde os dados de faturação exportados estão armazenados, os dados de faturação exportados anteriormente não são preenchidos novamente no novo conjunto de dados. Para incluir as informações de faturação que foram exportadas antes da mudança, tem de juntar manualmente o novo conjunto de dados ao conjunto de dados anterior. Para mais informações, consulte o artigo Operação de junção.

  • Para os seus conjuntos de dados do BigQuery que contêm dados de custos de utilização padrão ou dados de custos de utilização detalhados, o tipo de localização que configura no conjunto de dados afeta o tempo em que os seus Google Cloud dados de faturação são exportados para o conjunto de dados:

    • Se configurar o conjunto de dados para usar uma localização multirregional (UE ou EUA), o conjunto de dados inclui Google Cloud dados de faturação incorridos desde o início do mês anterior ao momento em que ativou pela primeira vez a exportação. Ou seja, os Google Cloud dados de faturação são adicionados retroativamente para o mês atual e o anterior. Para o preenchimento inicial dos dados exportados, a exportação dos dados de faturação do Google Cloud retroativos pode demorar até cinco dias. Só depois é que começará a ver os dados de utilização atuais. Este preenchimento retroativo de dados só ocorre na primeira vez que ativa a exportação. Se editar as definições de exportação para alterar o projeto ou o conjunto de dados onde os dados de faturação exportados são armazenados, ou reativar a exportação, os dados de faturação não são adicionados retroativamente.

    • Se o seu conjunto de dados estiver configurado para usar uma localização de região suportada, os dados de custos de utilização padrão e os dados de custos de utilização detalhados apenas refletem Google Cloud dados de faturação incorridos a partir da data em que ativou a exportação da faturação do Google Cloud e posteriormente. Ou seja, os Google Cloud dados de faturação não são adicionados retroativamente para localizações de conjuntos de dados não multirregionais, pelo que não verá dados de faturação do Google Cloud anteriores à ativação da exportação.

    • Para mais detalhes, consulte o artigo Disponibilidade dos dados.

  • Os seus conjuntos de dados do BigQuery que contêm dados de preços apenas recolhem Google Cloud dados de faturação incorridos a partir da data em que configurou a exportação da faturação na nuvem e posteriormente. Ou seja, os _Google Cloud dados de preços não são adicionados retroativamente, pelo que não vê dados de preços da Faturação na nuvem anteriores à ativação da exportação. Para mais detalhes, consulte o artigo Disponibilidade dos dados.

  • Quando exporta dados detalhados de custos de utilização, a exportação detalhada inclui automaticamente informações ao nível do recurso sobre o Compute Engine. Para ver uma discriminação dos custos do cluster do Google Kubernetes Engine (GKE) numa exportação de dados detalhada, também tem de ativar a atribuição de custos para o GKE.

  • Encriptação do conjunto de dados: As chaves de encriptação geridas pelo cliente (CMEK) não são suportadas quando exporta dados de faturação para o BigQuery. Se ativar a encriptação CMEK para o conjunto de dados de faturação, este tipo de encriptação impede que a Faturação do Google Cloud escreva dados de faturação nas tabelas adequadas nesse conjunto de dados. Em alternativa, tem de ativar o conjunto de dados para usar um Google-owned and Google-managed encryption key.

  • Se quiser usar a segurança ao nível da linha do BigQuery na tabela que contém os seus dados exportados, tem de conceder à conta de serviço de exportação da faturação da Google Cloud billing-export-bigquery@system.gserviceaccount.com acesso total à tabela através do filtro TRUE do BigQuery. O comando seguinte concede acesso à conta de serviço do Cloud Billing:

    CREATE ROW ACCESS POLICY cloud_billing_export_policy
ON `__project_id__.__dataset_id__.__table_id__`
GRANT TO ('serviceAccount:billing-export-bigquery@system.gserviceaccount.com')
FILTER USING (TRUE);

  • A propagação das etiquetas ao nível do recurso para as exportações do BigQuery pode demorar até uma hora. Se uma etiqueta foi adicionada ou removida no prazo de uma hora, ou se um recurso existir há menos de uma hora, pode não aparecer na exportação.

    As etiquetas ao nível do recurso estão disponíveis para os seguintes recursos:

    • Instâncias do Compute Engine
    • Instâncias do Spanner
    • Serviços do Cloud Run
    • Repositórios do Artifact Registry

  • Se usar os VPC Service Controls, as suas exportações do BigQuery podem ser bloqueadas. Para resolver o problema, tem de isentar manualmente a VPC.

Avançar
Configure a exportação de dados de faturação para o BigQuery