Exportar sua pegada de carbono

É possível exportar os dados da Pegada de carbono para o BigQuery se quiser realizar análises ou criar painéis e relatórios personalizados.

A exportação da Pegada de carbono captura as emissões estimadas de gases do efeito estufa associadas ao uso dos serviços cobertos do Google Cloud na conta de faturamento selecionada.

Depois de configurar uma exportação, você será cobrado pelos recursos do BigQuery usados para armazenar e consultar os dados exportados.

Antes de começar

Para criar uma exportação de Pegada de carbono, recomendamos ter os seguintes papéis do IAM:

Mais precisamente, você precisa ter as seguintes permissões do IAM no projeto do Google Cloud:

  • resourcemanager.projects.update
  • serviceusage.services.enable
  • bigquery.transfers.update

E a seguinte permissão do IAM na conta de faturamento:

  • billing.accounts.getCarbonInformation

Se estiver usando o VPC Service Controls

Se a organização estiver usando o VPC Service Controls, será preciso definir uma regra de entrada para a API BigQuery e a API Data Transfer Service do BigQuery.

Para a regra da política de Entrada:

  • Defina a origem na seção "De" como "Todas as fontes permitem".
  • Conceda permissão à identidade els-da-carbon@gcp-carbon-footprint-exports.iam.gserviceaccount.com.

Como configurar uma exportação de Pegada de carbono para o BigQuery

Os dados da Pegada de carbono são exportados pelo serviço de transferência de dados do BigQuery. A transferência de dados cria uma tabela particionada mensal chamada carbon_footprint no conjunto de dados do BigQuery de sua escolha.

A Pegada de carbono exporta os dados de cada mês no 15o dia do mês seguinte. Por exemplo, os dados de carbono de setembro de 2022 serão exportados em 15 de outubro de 2022.

Depois que uma configuração de transferência da Pegada de carbono é criada, ela vai exportar automaticamente os futuros relatórios de carbono no dia 15 de cada mês. Também é possível executar um preenchimento para solicitar dados históricos desde janeiro de 2021.

Console

Siga estas etapas para iniciar a exportação:

  1. Acessar a Pegada de carbono
  2. Selecione a conta do Cloud Billing que você quer exportar no menu Conta de faturamento.
  3. Clique em Exportar para ativar o serviço de transferência de dados do BigQuery e abrir a página correspondente.
  4. Na página do serviço de transferência de dados do BigQuery:
    1. Verifique se Origem está definida como "Exportações de Pegada de carbono do Google Cloud".
    2. Em Transferir nome da configuração, insira um nome de exibição.
    3. Em Configurações de destino, clique no campo ID do conjunto de dados e selecione Criar novo conjunto de dados se quiser criar um novo conjunto de dados do BigQuery para hospedar a tabela exportada ou selecione um conjunto de dados atual do BigQuery.
    4. Em Detalhes da fonte de dados, confirme o ID da conta do Cloud Billing a ser exportado. Se quiser, adicione outros IDs de contas como uma lista separada por vírgulas. Todos os IDs de contas de faturamento precisam estar no formato XXXXXX-XXXXXX-XXXXXX.
  5. Clique em Salvar.
  6. Na janela de solicitação de acesso, clique em Permitir.

bq

Use o comando bq mk --transfer_config para iniciar a exportação:

bq mk \
--transfer_config \
--target_dataset=DATASET \
--display_name=NAME \
--params='{"billing_accounts":"BILLING_ACCOUNT_IDS"}' \
--data_source='61cede5a-0000-2440-ad42-883d24f8f7b8'

Em que:

  • DATASET é o conjunto de dados de destino na configuração da transferência:
  • NAME é o nome de exibição da configuração de transferência. Por exemplo: "Relatório de carbono da empresa".
  • BILLING_ACCOUNT_IDS é o ID da conta de faturamento ou uma lista separada por vírgulas. Por exemplo: XXXXXX-XXXXXX-XXXXXX,XXXXXX-XXXXXX-XXXXXX

Terraform

Use o recurso bigquery_data_transfer_config do Terraform para criar uma exportação:

resource "google_bigquery_data_transfer_config" "RESOURCE_NAME" {
  display_name           = "NAME"
  data_source_id         = "61cede5a-0000-2440-ad42-883d24f8f7b8"
  destination_dataset_id = google_bigquery_dataset.DATASET.dataset_id
  params = {
    billing_accounts     = "BILLING_ACCOUNT_IDS"
  }
}

Em que:

  • RESOURCE_NAME é o nome do recurso do Terraform. Por exemplo, carbon_export.
  • NAME é o nome de exibição da configuração de transferência. Por exemplo: "Relatório de carbono da empresa".

  • DATASET é o nome do recurso google_bigquery_dataset do Terraform a ser usado como o conjunto de dados de destino da exportação.

  • BILLING_ACCOUNT_IDS é o ID da conta de faturamento ou uma lista separada por vírgulas. Por exemplo: XXXXXX-XXXXXX-XXXXXX,XXXXXX-XXXXXX-XXXXXX

A configuração de transferência foi criada e exportará dados no dia 15 de cada mês futuro.

A configuração de transferência não exporta dados históricos automaticamente. Para solicitar dados históricos a partir de janeiro de 2021, programe um preenchimento de dados usando as etapas a seguir.

Console

Siga estas etapas para programar o preenchimento de dados:

  1. Acesse os detalhes da transferência que você acabou de criar.
  2. Clique em Programar preenchimento.
  3. Selecione Executar por um período.
  4. Selecione 15 de fevereiro de 2021 como a data de início e a data de hoje como a data de término. Observe que a exportação de 15 de fevereiro de 2021 contém os dados de janeiro de 2021 e, portanto, é o mês mais antigo disponível para solicitação.
  5. Clique em OK para solicitar o preenchimento de dados.

Os preenchimentos de dados serão criados para o intervalo selecionado, exportando dados históricos mensais para o conjunto de dados de destino.

bq

Use o comando bq mk --transfer_run para criar um preenchimento:

bq mk \
--transfer_run \
--start_time=START_TIME \
--end_time=END_TIME \
CONFIG

Em que:

  • START_TIME é um carimbo de data/hora que especifica o horário de início do intervalo a ser preenchido. Por exemplo: 2021-02-15T00:00:00Z. 15 de fevereiro de 2021 é a data mais antiga que pode ser especificada aqui, já que contém os dados de janeiro de 2021.
  • END_TIME é um carimbo de data/hora que especifica o horário de término do intervalo a ser preenchido. Por exemplo: 2022-09-15T00:00:00Z. Você pode usar a data atual.
  • TRANSFER_CONFIG é o identificador da transferência criada na etapa anterior. Por exemplo, projects/0000000000000/locations/us/transferConfigs/00000000-0000-0000-0000-000000000000.

Depois que os dados forem exportados, você poderá usar o BigQuery para visualizar e consultar os dados. Leia mais sobre o esquema de dados.

É possível compartilhar os dados exportados com outras pessoas na organização concedendo a elas o papel do IAM de usuário do BigQuery no projeto selecionado anteriormente. Também é possível conceder acesso detalhado no nível do conjunto de dados ou da tabela usando o papel de IAM de Leitor de dados do BigQuery.

Gerenciamento das exportações da Pegada de carbono

É possível gerenciar as exportações da Pegada de carbono por meio do serviço de transferência de dados do BigQuery. Saiba mais sobre como trabalhar com transferências.

Exportando para as Planilhas Google ou CSV

Depois de configurar a exportação da pegada de carbono para o BigQuery e a exportação programada for concluída, será possível exportar esses dados do BigQuery para as Planilhas Google ou CSV.

  1. Acessar o BigQuery
  2. No painel Explorador, expanda seu projeto e conjunto de dados e selecione a tabela que contém os dados da pegada de carbono exportados.
  3. Clique em Consulta.
  4. Insira uma consulta para retornar os dados que você quer exportar. Veja um exemplo abaixo.
  5. Após executar a consulta, em Resultados da consulta, clique em Salvar resultados.
  6. Selecione o formato desejado e clique em Salvar.

A consulta a seguir permite salvar todo o conteúdo da tabela exportada:

SELECT
  usage_month,
  billing_account_id,
  project.number AS project_number,
  project.id AS project_id,
  service.id AS service_id,
  service.description AS service_description,
  location.location AS location,
  location.region AS region,
  carbon_model_version,
  carbon_footprint_kgCO2e.scope1 AS carbon_footprint_scope1,
  carbon_footprint_kgCO2e.scope2.location_based AS carbon_footprint_scope2_location_based,
  carbon_footprint_kgCO2e.scope3 AS carbon_footprint_scope3,
  carbon_footprint_total_kgCO2e.location_based AS carbon_footprint_total_location_based
FROM
  `PROJECT.DATASET.carbon_footprint`
ORDER BY
  usage_month DESC,
  carbon_footprint_total_location_based DESC

A seguir