Configurar a exportação de dados do Cloud Billing para o BigQuery

Neste guia, você verá todas as etapas de configuração necessárias para ativar a exportação de dados do Cloud Billing para o BigQuery.

Visão geral

Para exportar dados do Cloud Billing para o BigQuery, siga estas etapas:

  • Crie um projeto em que os dados do Cloud Billing serão armazenados e ative o faturamento no projeto (se ainda não tiver feito isso).
  • Configure permissões no projeto e na conta de faturamento do Cloud.
  • Ative a API BigQuery Data Transfer Service, que é necessária para exportar seus dados de preços.
  • Crie um conjunto de dados do BigQuery para armazenar os dados.
  • Ativar a exportação de dados de custo do Cloud Billing e dados de preços a serem gravados no conjunto de dados.

Neste documento, explicamos os detalhes de cada uma dessas etapas.

Sobre o Console do Cloud

O Console do Google Cloud (acesse a documentação, abra o console) é uma IU da Web usada para provisionar, configurar, gerenciar e monitorar sistemas que usam os produtos do Google Cloud. Você usa o Console do Cloud para configurar e gerenciar recursos do Google Cloud e do Faturamento do Cloud.

Permissões exigidas para a tarefa

Para ativar e configurar a exportação de dados de custo pelo uso do faturamento do Google Cloud para um conjunto de dados do BigQuery, você precisa das seguintes permissões:

  • Para o Cloud Billing, é preciso ter o papel Administrador de custos da conta de faturamento ou o papel Administrador da conta de faturamento na conta do Cloud Billing de destino.
  • Para o BigQuery, você precisa do papel Usuário do BigQuery do projeto do Cloud que contém o conjunto de dados do BigQuery que será usado para armazenar dados do Cloud Billing.

Para ativar e configurar a exportação de dados de preços do Cloud Billing, são necessárias as seguintes permissões:

  • Para o Cloud Billing, é preciso ter o papel Administrador da conta de faturamento referente à conta do Cloud Billing de destino.
  • Para o BigQuery, é preciso ter o papel Administrador do BigQuery do projeto do Cloud que contém o conjunto de dados do BigQuery que será usado para armazenar os dados de preços do Cloud Billing.
  • Para o projeto do Cloud que contém o conjunto de dados de destino, você precisa da permissão resourcemanager.projects.update. Essa permissão está incluída no papel roles/editor.

Talvez você também precise de outras permissões de projeto. Se você for membro de uma organização do Google Cloud, para criar um novo projeto, precisará do papel Criador de projetos na organização ou na pasta. Especificamente, para criar um novo projeto, você precisa das seguintes permissões:

  • resourcemanager.organizations.get
  • resourcemanager.projects.create

Para mais informações sobre as permissões do Google Cloud, consulte:

Ativar a exportação de dados do Cloud Billing para o BigQuery.

Conclua as etapas detalhadas nesta seção para ativar a exportação de dados do Cloud Billing para o BigQuery.

1. Selecionar ou criar um projeto

Os dados do Cloud Billing exportados para o BigQuery estão armazenados em um conjunto de dados do BigQuery. Um conjunto de dados está armazenado em um projeto do Cloud especificado.

Recomendação sobre projetos: recomendamos criar um projeto do Cloud para conter todas as suas necessidades de administração de faturamento, incluindo os dados exportados do Cloud Billing. Também é possível usar esse projeto de administração de faturamento no Cloud para itens como acesso às APIs Cloud Billing, canais do Pub/Sub para notificações programáticas de orçamento e outras tarefas de administração do Cloud Billing.

Importante: o projeto do Cloud que você seleciona para armazenar seu conjunto de dados precisa estar vinculado à mesma conta de faturamento do Cloud que contém os dados que você planeja exportar para o conjunto de dados do BigQuery. Um projeto do Cloud é vinculado a exatamente uma única conta de faturamento do Cloud por vez. Uma conta de faturamento do Cloud é vinculada a um ou mais projetos.

No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

Acessar o seletor de projetos

Saiba mais sobre como criar e gerenciar projetos.

2. Verificar se o faturamento está ativado

Verifique se o faturamento está ativado no projeto do Cloud selecionado para armazenar o conjunto de dados e se o projeto do Cloud está vinculado à mesma conta de faturamento do Cloud que contém os dados que você planeja exportar para o conjunto de dados do BigQuery.

3. Ativar a API BigQuery Data Transfer Service.

Se você planeja exportar os dados de preços do Cloud Billing para o BigQuery, é necessário ativar a API BigQuery Data Transfer Service. Se você não planeja exportar os dados de preços do Cloud Billing, pule para a Etapa 4. Crie um conjunto de dados do BigQuery.

A API BigQuery Data Transfer Service precisa estar ativada no mesmo projeto do Cloud que você está usando para armazenar os conjuntos de dados do BigQuery. Se você seguiu a recomendação na seção do projeto, esse é seu projeto do Google Cloud de administração de faturamento.

Para ativar a API BigQuery Data Transfer Service, faça o seguinte:

  1. Faça login no Console do Google Cloud e acesse a página da API.

    Acessar a página da API BigQuery Data Transfer Service

  2. Quando solicitado, selecione um projeto. Ative a API do serviço de transferência de dados do BigQuery no mesmo projeto usado para conter o conjunto de dados do BigQuery. Se você seguiu a recomendação na seção do projeto, esse é seu projeto do Google Cloud de administração de faturamento.

  3. Na página da API BigQuery Data Transfer Service, clique em Ativar para ativar a API no projeto selecionado.

Para mais informações sobre como ativar APIs, consulte a documentação do Service Usage.

4. Crie um conjunto de dados do BigQuery

Antes de ativar a exportação dos dados do Cloud Billing para o BigQuery, é necessário criar pelo menos um conjunto de dados do BigQuery para gerenciá-los. Use o mesmo conjunto de dados para conter os dados de custo de uso padrão, custo de uso detalhado e preços.

Um conjunto de dados fica armazenado em um projeto do Cloud que você especifica. Conjuntos de dados são contêineres de nível superior usados na organização e no controle de acesso a suas tabelas e visualizações. É obrigatório que uma tabela ou visualização pertença a um conjunto de dados. Assim, você precisa criar pelo menos um desses conjuntos antes de carregar dados no BigQuery.

Se você criar um novo conjunto de dados, recomendamos que você selecione uma opção multirregional para sua localização, como Estados Unidos (US) ou União Europeia (UE). Por exemplo, os dados detalhados de custo de uso são compatíveis apenas com os conjuntos de dados multirregionais dos EUA e da UE.

Se você usa um conjunto de dados existente, analise as limitações que podem afetar a exportação dos seus dados de faturamento para o BigQuery, como a incapacidade de usar conjuntos de dados com chaves de criptografia gerenciadas pelo cliente ativadas ou que os dados detalhados de custo de uso exigem conjuntos de dados multirregionais.

Para criar um conjunto de dados do BigQuery, faça o seguinte:

  1. Faça login no Console do Google Cloud e acesse a página do BigQuery.

    Acessar a página do BigQuery

  2. Na lista suspensa do projeto ( Meu projeto ), na parte superior da página do Console do Google Cloud, selecione o projeto que você definiu para armazenar o conjunto de dados. Anote o ID do projeto, pois você o usará na próxima etapa.

  3. No painel do Explorador na seção de projetos fixados, clique em ID-do-seu-projeto para abrir o projeto. Se aparecer um menu flutuante () ao lado do ID do projeto, clique no menu e selecione Abrir.

  4. Clique em Criar conjunto de dados. O painel "Criar conjunto de dados" é aberto.

    1. Insira um código do conjunto de dados. Recomendamos um ID que abranja projetos, como all_billing_data, em vez de um ID específico do projeto.
    2. Selecione um local dos dados. O local dos dados especifica a região em que seus dados são armazenados. Todas as tabelas nesse conjunto de dados compartilham esse local.

      Ao criar um conjunto de dados, recomendamos que você selecione uma opção multirregional para o local, como Estados Unidos ou União Europeia (UE). Isso é necessário para exportar os dados detalhados de custo de uso.

      Depois que você cria o conjunto de dados, o local não pode ser alterado. Saiba mais sobre locais

    3. Defina a Validade da tabela padrão como Nunca.

      Selecionar Nunca preserva os dados. Se você inserir um número de dias, qualquer nova tabela criada nesse conjunto de dados será excluída automaticamente depois do número de dias especificado. Importante: se você excluir tabelas contendo registros de dados exportados do Cloud Billing, esses registros desaparecerão e não será possível preencher os registros excluídos.

    4. Defina a opção Criptografia como Chave gerenciada pelo Google.

      A criptografia de chave gerenciada pelo cliente não é compatível com a exportação de registros de dados do Faturamento do Cloud para o BigQuery.

    5. Para salvar, clique em Criar conjunto de dados.

Consulte as limitações que podem afetar a exportação dos seus dados de faturamento para o BigQuery.

5. Ativar exportação do Faturamento do Cloud para o conjunto de dados do BigQuery

Ative a exportação de dados do Cloud Billing na seção "Cloud Billing" do Console do Cloud. Estes são os tipos de dados que podem ser exportados:

  • Dados de custo de uso padrão: contém informações de uso de custo padrão da conta do Cloud Billing, como ID da conta, data da fatura, serviços, SKUs, projetos, rótulos, locais, custo, uso, créditos, ajustes e moeda. Ative se você não tiver interesse em analisar os dados de custo no nível do recurso.
  • Dados detalhados do custo de uso: contém informações de uso detalhadas do custo da conta do Cloud Billing. Inclui tudo nos dados de custo de uso padrão, além de dados de custo no nível do recurso, como uma máquina virtual ou SSD que gera o uso do serviço. Ative esta opção se quiser analisar os dados de custo no nível do recurso com os dados de custo padrão. Você não precisa ativar os modos padrão e detalhado.
  • Dados de preços: contém informações de preços da conta do Cloud Billing, como ID da conta, serviços, SKUs, produtos, metadados geográficos, unidades de preços, moeda, agregação e níveis.

Para permitir que os dados de custo de uso ou preços do Cloud Billing sejam exportados para o BigQuery, faça o seguinte:

  1. Faça login no Console do Google Cloud

    Fazer login no Console do Cloud

  2. Abra o Menu de navegação () do console e selecione Faturamento.

    Se você tiver mais de uma conta de faturamento do Cloud, siga um destes procedimentos:

    • Para gerenciar o Faturamento do Cloud no projeto atual, selecione Acessar a conta de faturamento vinculada.
    • Para localizar outra Conta de faturamento do Cloud, selecione Gerenciar contas de faturamento e escolha a conta da qual você quer ativar a exportação de dados do Faturamento do Cloud para o BigQuery.
  3. No menu de navegação "Faturamento", selecione Exportação de faturamento.

  4. Selecione a guia Exportação para o BigQuery (essa guia é selecionada por padrão).

  5. Clique em Editar configurações para o tipo de dado que você quer exportar. Cada tipo de dados é configurado separadamente.

  6. Na lista Projeto, selecione o projeto que você configurou para armazenar o conjunto de dados do BigQuery.

    Observação: o projeto selecionado é usado para armazenar os dados do Faturamento do Cloud exportados no conjunto de dados do BigQuery.

    Para exportações de dados de custo de uso padrão e detalhado, os dados do Cloud Billing incluem dados de uso/custo para todos os projetos do Cloud pagos pela mesma conta do Cloud Billing.

    Para a exportação de dados de preços, os dados do Cloud Billing incluem apenas os dados de preço específicos da conta do Cloud Billing vinculada ao projeto de conjunto de dados selecionado.

  7. No campo ID do conjunto de dados, selecione o conjunto de dados que você configurou para conter seus dados exportados do Cloud Billing.

    Para todos os tipos de dados do Cloud Billing exportados para o BigQuery, as seguintes condições se aplicam:

    • A API BigQuery é necessária para exportar dados ao BigQuery. Se o projeto selecionado não tiver a API BigQuery ativada, você será solicitado a habilitá-la. Clique em Ativar API do BigQuery.
    • Se o projeto selecionado não contiver conjuntos de dados do BigQuery, você será solicitado a criar um. Se necessário, siga estas etapas para criar um novo conjunto de dados.
    • Se você usa um conjunto de dados atual, revise olimitações que podem afetar a exportação dos dados de faturamento para o BigQuery, como a incapacidade de exportar dados para conjuntos de dados configurados para uso chave gerenciada pelo cliente criptografia.

    Para a exportação de dados de preços, a API BigQuery Data Transfer Service é necessária para exportar os dados para o BigQuery. Se o projeto selecionado não tiver a API BigQuery Data Transfer Service ativada, você receberá uma solicitação para ativá-la. Se necessário, siga estas etapas para ativar a API.

  8. Clique em Save.

Atualizar dados do Cloud Billing para exportar

Depois de ativar os dados do Cloud Billing para serem exportados para o BigQuery, você pode alterar quais dados são exportados desativando ou ativando os diferentes tipos.

Antes de desativar qualquer uma das suas exportações de dados, revise as limitações e as diretrizes de disponibilidade de dados para saber como isso pode afetar seus dados de faturamento exportados para o BigQuery.

Para desativar um tipo de faturamento do Cloud que está sendo exportado para o BigQuery, faça o seguinte:

  1. Selecione Desativar exportação padrão, Desativar exportação detalhada ou Desativar exportação de preços.
  2. Clique em Confirmar para salvar a seleção.

Para ativar um tipo desativado do Cloud Billing que está sendo exportado para o BigQuery, consulte Ativar os dados do Cloud Billing para serem exportados para o BigQuery.

Sobre as permissões de conjuntos de dados

A exportação do Faturamento do Cloud para o BigQuery usa uma conta de serviço para gerenciar as permissões do conjunto de dados.

Depois de ativar a exportação do Cloud Billing para o BigQuery, o Google adiciona automaticamente uma conta de serviço como proprietário ao conjunto de dados especificado. A conta de serviço tem esta aparência:

  • billing-export-bigquery@system.gserviceaccount.com

A conta de serviço é de propriedade do Google e gerenciada por ele, além de fornecer as permissões necessárias para que nosso processo off-line crie uma tabela e grave registros do Cloud Billing nela.

Consulte as limitações que podem afetar a exportação dos seus dados de faturamento para o BigQuery.

Tabelas de dados de faturamento

Logo depois de ativar a exportação do Cloud Billing para o BigQuery, as tabelas de dados de faturamento são criadas automaticamente no conjunto de dados do BigQuery. Para saber mais sobre essas tabelas do BigQuery e os esquemas de tabela, consulte Noções básicas sobre as tabelas de dados criadas automaticamente no BigQuery.

Frequência de carregamentos de dados

  • Quando você ativa a exportação padrão ou de custo de uso detalhado para o BigQueryBigQuery, pode levar algumas horas para começar a ver seus dados de custo do Google Cloud.
  • Quando você ativa a exportação de preços para o BigQuery pela primeira vez, pode levar até 48 horas para começar a ver seus dados de preços do Google Cloud.

Para saber mais sobre a frequência de carregamentos de dados nas tabelas do BigQuery, consulte Frequência dos carregamentos de dados.

Limitações

A exportação dos dados do Cloud Billing para o BigQuery está sujeita às seguintes limitações.

  • Os conjuntos de dados do BigQuery que contêm custo de uso padrão e dados de preço refletem apenas os dados de faturamento do Google Cloud incorridos a partir da data em que você configure a exportação do Cloud Billing e depois. Ou seja, os dados do Google Cloud Billing não foram adicionados retroativamente. Sendo assim, você não verá os dados do Cloud Billing antes de ativar a exportação. Para mais detalhes, consulte a disponibilidade de dados.
  • Os conjuntos de dados do BigQuery que contêm dados detalhados de custo de uso refletem os dados do Cloud Billing incorridos desde o início do mês anterior a partir da data em que você ativou pela primeira vez exportar, a menos que você esteja reativando. Ou seja, os dados de faturamento do Google Cloud são adicionados retroativamente somente para o mês atual e o anterior. Para mais detalhes, consulte a disponibilidade de dados.
  • Ao exportar dados detalhados de custo de uso, é necessário exportar para um conjunto de dados configurado com um local multirregional, como os Estados Unidos (EUA) ou da União Europeia (UE). Se você selecionar um conjunto de dados que não seja um local multirregional, isso impedirá que o Cloud Billing grave dados de faturamento detalhados nas tabelas apropriadas desse conjunto de dados.
  • As chaves de criptografia gerenciadas pelo cliente não são compatíveis ao exportar dados de faturamento para o BigQuery. Se você ativar a CMEK para o conjunto de dados de dados de faturamento, isso impedirá que o Cloud Billing grave dados de faturamento nas tabelas apropriadas nesse conjunto de dados. Em vez disso, você precisa configurar o conjunto de dados para usar a criptografia de chave gerenciada pelo Google.

Relatórios de custos e preços disponíveis no Console do Google Cloud