Exportar sua pegada de carbono
É possível exportar os dados da Pegada de carbono para o BigQuery para realizar análises de dados ou criar painéis e relatórios personalizados.
A Pegada de carbono captura emissões estimadas de gases do efeito estufa associadas ao uso de serviços cobertos do Google Cloud para a conta de faturamento selecionada.
Depois de configurar uma exportação, você vai receber cobranças Recursos do BigQuery usados para armazenar e consultar a dados exportados.
Antes de começar
Para criar uma exportação da Pegada de carbono, recomendamos o seguinte: Papéis do IAM:
- Proprietário ou editor do projeto no projeto do Google Cloud para onde exportar.
- Visualizador da pegada de carbono ou Visualizador da conta de faturamento na conta de faturamento cujos dados de carbono serão exportados.
Mais precisamente, você precisa ter as seguintes permissões do IAM em projeto do Google Cloud:
resourcemanager.projects.update
serviceusage.services.enable
bigquery.transfers.update
E a seguinte permissão do IAM na conta de faturamento:
billing.accounts.getCarbonInformation
Se estiver usando o VPC Service Controls
Se a organização estiver usando o VPC Service Controls, será necessário criar uma regra de entrada ser definido para a API BigQuery e a API do serviço de transferência de dados do BigQuery.
Para a regra da política de entrada:
- Defina a origem no campo "De" para "Todas as fontes permitidas".
- Conceda permissão à identidade,
els-da-carbon@gcp-carbon-footprint-exports.iam.gserviceaccount.com
.
Como configurar uma exportação de Carbon Footprint para o BigQuery
Os dados da Pegada de carbono são exportados pela
Serviço de transferência de dados do BigQuery:
A transferência de dados cria uma
tabela particionada por mês
chamada carbon_footprint
no conjunto de dados do BigQuery de sua escolha.
A Pegada de carbono exporta os dados de cada mês no dia 15 do mês seguinte. Por exemplo, os dados de carbono de setembro de 2022 serão exportados em 15 de outubro de 2022.
Depois que uma configuração de transferência da Pegada de carbono é criada, ela exportar automaticamente futuros relatórios de carbono no dia 15 de cada mês. Você vai também poderá executar um preenchimento para solicitar dados históricos de janeiro de 2021.
Console
Siga estas etapas para iniciar a exportação:
- Acessar a pegada de carbono
- Selecione a conta do Cloud Billing que você quer exportar no menu Conta de faturamento.
- Clique em Exportar para ativar o serviço de transferência de dados do BigQuery e abrir a página do serviço.
- Na página do serviço de transferência de dados do BigQuery:
- Verifique se Origem está definida como "Pegada de carbono do Google Cloud". Exportações".
- Em Transferir nome da configuração, insira um nome de exibição.
- Em Configurações de destino, clique no campo ID do conjunto de dados e depois Selecione Criar novo conjunto de dados se quiser criar um novo conjunto. conjunto de dados do BigQuery para hospedar a tabela exportada; como alternativa, selecione um conjunto de dados do BigQuery.
- Em Detalhes da fonte de dados, confirme o ID da conta do Cloud Billing para exportar. Opcionalmente, adicione outros IDs de conta como uma lista separada por vírgulas. Todos os IDs de contas de faturamento precisam estar no formato
XXXXXX-XXXXXX-XXXXXX
:
- Clique em Salvar.
- Na janela de solicitação de acesso, clique em Permitir.
bq
Use o comando bq mk --transfer_config
para iniciar a exportação:
bq mk \ --transfer_config \ --target_dataset=DATASET \ --display_name=NAME \ --params='{"billing_accounts":"BILLING_ACCOUNT_IDS"}' \ --data_source='61cede5a-0000-2440-ad42-883d24f8f7b8'
Em que:
- DATASET é o conjunto de dados de destino na configuração da transferência:
- NAME é o nome de exibição da configuração de transferência. Por exemplo: "Company Carbon Report".
- BILLING_ACCOUNT_IDS é o ID da sua conta de faturamento ou uma
lista separada por vírgulas de IDs de contas de faturamento. Por exemplo:
XXXXXX-XXXXXX-XXXXXX,XXXXXX-XXXXXX-XXXXXX
Terraform
Use o recurso bigquery_data_transfer_config
do Terraform para criar uma exportação:
resource "google_bigquery_data_transfer_config" "RESOURCE_NAME" { display_name = "NAME" data_source_id = "61cede5a-0000-2440-ad42-883d24f8f7b8" destination_dataset_id = google_bigquery_dataset.DATASET.dataset_id params = { billing_accounts = "BILLING_ACCOUNT_IDS" } }
Em que:
- RESOURCE_NAME é o nome do recurso do Terraform.
Por exemplo,
carbon_export
. - NAME é o nome de exibição da configuração de transferência. Por exemplo: "Relatório de emissões de carbono da empresa".
DATASET é o nome do recurso
google_bigquery_dataset
do Terraform a ser usado como o conjunto de dados de destino para a exportação.BILLING_ACCOUNT_IDS é o ID da sua conta de faturamento ou um lista separada por vírgulas de IDs de contas de faturamento. Por exemplo:
XXXXXX-XXXXXX-XXXXXX,XXXXXX-XXXXXX-XXXXXX
A configuração de transferência foi criada e vai exportar dados no dia 15 de cada mês.
A configuração de transferência não exporta dados históricos automaticamente. Para solicitar dados históricos a partir de janeiro de 2021, agende uma preenchimento de dados siga estas etapas.
Console
Siga estas etapas para programar o preenchimento de dados:
- Acesse os detalhes da transferência que você acabou de criar.
- Clique em Programar preenchimento.
- Selecione Executar por um período.
- Selecione 15 de fevereiro de 2021 como a data de início e a data de hoje como a data de término. A exportação de 15 de fevereiro de 2021 contém as seguintes informações: dados de janeiro de 2021, por isso é o primeiro mês disponível para solicitação.
- Clique em OK para solicitar o preenchimento de dados.
Os preenchimentos de dados serão criados para o intervalo selecionado, exportando dados mensais históricos para o conjunto de dados de destino.
bq
Use o comando bq mk --transfer_run
para criar um preenchimento:
bq mk \ --transfer_run \ --start_time=START_TIME \ --end_time=END_TIME \ CONFIG
Em que:
- START_TIME é um carimbo de data/hora
que especifica o horário de início do intervalo a ser preenchido.
Por exemplo:
2021-02-15T00:00:00Z
. A data mais próxima que você pode especificar aqui é 15 de fevereiro de 2021. já que contém dados de janeiro de 2021. - END_TIME é um carimbo de data/hora;
que especifica o horário de término do intervalo para preenchimento.
Por exemplo:
2022-09-15T00:00:00Z
. Você pode usar a data atual. - TRANSFER_CONFIG é o identificador da transferência criada na
etapa anterior.
Por exemplo,
projects/0000000000000/locations/us/transferConfigs/00000000-0000-0000-0000-000000000000
.
Depois que os dados forem exportados, você poderá usar o BigQuery para visualizar e consultar os dados. Leia mais sobre o esquema de dados.
Você pode compartilhar os dados exportados com outras pessoas na sua organização concedendo a elas Papel do IAM de usuário do BigQuery no projeto selecionado anteriormente. Como alternativa, é possível conceder acesso detalhado no nível do conjunto de dados ou da tabela usando o papel do IAM de leitor de dados do BigQuery.
Gerenciar as exportações da Pegada de carbono
Você pode gerenciar as exportações da Pegada de carbono pelo Serviço de transferência de dados do BigQuery: Saiba mais sobre como trabalhar com transferências.
Exportando para as Planilhas Google ou CSV
Depois de configurar a exportação de pegada de carbono para o BigQuery e a exportação programada estiver concluída, é possível exportar esses dados do BigQuery para Planilhas Google ou CSV.
- Ir para o BigQuery
- No painel Explorer, expanda o projeto e o conjunto de dados e selecione a tabela que contém os dados exportados da pegada de carbono.
- Clique em Consulta.
- Insira uma consulta para retornar os dados que você quer exportar. Veja um exemplo abaixo.
- Após executar a consulta, em Resultados da consulta, clique em Salvar resultados.
- Selecione o formato desejado e clique em Salvar.
A consulta a seguir permite salvar todo o conteúdo da tabela exportada:
SELECT
usage_month,
billing_account_id,
project.number AS project_number,
project.id AS project_id,
service.id AS service_id,
service.description AS service_description,
location.location AS location,
location.region AS region,
carbon_model_version,
carbon_footprint_kgCO2e.scope1 AS carbon_footprint_scope1,
carbon_footprint_kgCO2e.scope2.location_based AS carbon_footprint_scope2_location_based,
carbon_footprint_kgCO2e.scope3 AS carbon_footprint_scope3,
carbon_footprint_total_kgCO2e.location_based AS carbon_footprint_total_location_based
FROM
`PROJECT.DATASET.carbon_footprint`
ORDER BY
usage_month DESC,
carbon_footprint_total_location_based DESC
A seguir
- Leia sobre o esquema de dados usado na exportação.
- Conheça sua pegada de carbono bruta no console do Google Cloud.
- Criar painéis personalizados com os dados exportados.
- Entender a metodologia por trás da Pegada de carbono.