Coletar métricas do AWS CloudWatch usando o exportador do Prometheus CloudWatch

Este documento descreve como usar o exportador do Prometheus CloudWatch de código aberto e o Agente de operações em execução em uma instância do Compute Engine para coletar métricas do AWS CloudWatch e armazená-las em um projeto do Google Cloud.

Este documento é destinado a desenvolvedores e administradores de sistemas que precisam coletar métricas do AWS CloudWatch. Este documento descreve como configurar o exportador do Prometheus CloudWatch para coletar métricas do AWS CloudWatch.

Com o Cloud Monitoring, você pode conferir as métricas da AWS no mesmo contexto que as métricas do Google Cloud . Por exemplo, é possível criar um painel com gráficos que mostram a utilização da CPU das instâncias do Amazon EC2 e do Compute Engine. Também é possível criar políticas de alertas para monitorar as métricas da AWS. Para saber mais, consulte as seguintes seções:

Antes de começar

Para coletar métricas do AWS CloudWatch usando o exportador do Prometheus CloudWatch, você precisa:

  • Um projeto do Google Cloud com permissões para fazer o seguinte:
    • Criar uma VM
    • Gravar registros no Cloud Logging
    • Gravar métricas no Cloud Monitoring
  • Uma conta da AWS com credenciais da AWS que podem ser usadas pelo exportador do Prometheus para buscar métricas. Para mais informações, consulte Executar o exportador do Prometheus.

Criar uma VM do Compute Engine

Recomendamos a criação de uma VM do Compute Engine Linux para usar especificamente para executar o Agente de operações e o exportador do Prometheus CloudWatch. Essa VM atua como o local de coleta de todas as métricas da AWS.

  1. Para criar uma VM do Debian Linux chamada aws-exporter-test em uma zona especificada, execute o seguinte comando:

    gcloud compute instances create \
  --image-project debian-cloud \
  --image-family debian-11 \
  --zone ZONE \
  aws-exporter-test

    Configure o comando da seguinte maneira:

    • Substitua ZONE pela zona da nova VM.
    • Opcional. Substitua aws-exporter-test por um nome diferente para a VM.

    Para mais informações sobre esse comando, consulte as referências do gcloud compute instances create.

  2. Para acessar a VM e instalar o exportador do Prometheus CloudWatch e o Agente de operações, use o seguinte comando:

    gcloud compute ssh --zone ZONE  --project PROJECT_ID  aws-exporter-test

    Configure o comando da seguinte maneira:

    • Substitua ZONE pela zona em que você criou a VM.
    • Substitua PROJECT_ID pelo ID do seu projeto do Google Cloud.
    • Substitua aws-exporter-test se você criou a VM com um nome diferente.

    Para mais informações sobre esse comando, consulte as referências do gcloud compute ssh.

Configurar o exportador do Prometheus CloudWatch

As seções a seguir descrevem o procedimento para fazer o download, instalar e configurar o exportador do Prometheus CloudWatch na sua VM do Compute Engine.

Fazer o download do exportador do Prometheus e do JRE

Para executar o exportador do Prometheus CloudWatch, faça o download do exportador e do ambiente de execução Java (JRE) versão 11 ou mais recente.

  1. Para fazer o download do arquivo JAR que contém o exportador do Prometheus CloudWatch, execute o seguinte comando na sua instância do Compute Engine:

    curl -sSO https://github.com/prometheus/cloudwatch_exporter/releases/download/v0.15.1/cloudwatch_exporter-0.15.1-jar-with-dependencies.jar

  2. Para instalar o JRE, use um comando como este:

    sudo apt install default-jre

Configurar o exportador do Prometheus

Para configurar o exportador do Prometheus CloudWatch, crie um arquivo de configuração para o serviço ou os serviços da AWS de que você quer coletar métricas. Para informações gerais, consulte a documentação de configuração do exportador do Prometheus CloudWatch.

  • Migração de usuários: se você estiver migrando suas métricas do AWS CloudWatch para o exportador do Prometheus CloudWatch, use os arquivos de configuração em Configurações do exportador do Prometheus CloudWatch para migração. Esses arquivos de configuração foram criados para replicar as métricas atuais da maneira mais precisa possível, mas não coletam todas as métricas disponíveis usando o exportador do Prometheus CloudWatch para os serviços da AWS.

  • Novos usuários: se você não estiver migrando as métricas atuais, recomendamos que não use as configurações de migração. Consulte a documentação do serviço AWS CloudWatch para saber como definir configurações de exportador para outros serviços. Também é possível encontrar outras amostras no repositório do GitHub do exportador do Prometheus CloudWatch.

É possível combinar a configuração de vários serviços da AWS em um arquivo de configuração. Os exemplos neste documento assumem que o arquivo de configuração é chamado config.yml.

Executar o exportador do Prometheus

Antes de executar o exportador do Prometheus CloudWatch, forneça credenciais e autorização ao exportador. O exportador do Prometheus CloudWatch usa o SDK Java da AWS, que oferece maneiras de fornecer credenciais usando as seguintes variáveis de ambiente:

Para mais informações sobre como fornecer credenciais ao SDK, consulte AWS SDK for Java 2.x.

Você também precisa ter permissão para usar a API CloudWatch para extrair métricas. Você precisa das seguintes permissões do CloudWatch do IAM da AWS:

  • cloudwatch:ListMetrics
  • cloudwatch:GetMetricStatistics
  • cloudwatch:GetMetricData

O uso do recurso aws_tag_select também requer a permissão tag:GetResources do IAM da AWS.

Para mais informações sobre como autorizar o acesso aos serviços da AWS, consulte Gerenciamento de identidade e acesso da AWS.

Para executar o exportador do Prometheus CloudWatch, faça o seguinte:

  1. Para fornecer credenciais ao exportador, defina as variáveis de ambiente da chave de acesso:

    export AWS_ACCESS_KEY=YOUR_ACCESS_KEY
export AWS_SECRET_ACCESS_KEY=YOUR_SECRET_ACCESS_KEY
export AWS_SESSION_TOKEN=YOUR_SESSION_TOKEN

    Substitua as variáveis YOUR_KEY pelas suas chaves de acesso. Você só precisa definir a variável de ambiente AWS_SESSION_TOKEN se estiver usando credenciais temporárias.

  2. Para testar a configuração, inicie o exportador e carregue o arquivo de configuração. Para isso, execute o seguinte comando:

    java -jar cloudwatch_exporter-0.15.1-jar-with-dependencies.jar 9106 config.yml

    Mude os valores da porta (9106) e do arquivo de configuração (config.yml) se necessário.

    Se você modificar o arquivo config.yml enquanto o exportador está em execução, recarregue-o executando o seguinte comando:

    curl -X POST localhost:9106/-/reload

    Para uso em um ambiente de produção, é possível configurar o exportador para reiniciar se a VM for reiniciada. Por exemplo, em sistemas Debian, é possível usar o gerenciador de sistema e serviços, systemd.

Configurar o agente de operações

As seções a seguir descrevem como instalar, configurar e iniciar o agente de operações. Estas seções fornecem informações mínimas de configuração do Agente de operações para uso com o exportador do Prometheus CloudWatch. Para mais informações sobre esses tópicos, consulte Informações gerais do agente de operações.

Instalar o agente de operações

Para instalar o Agente de operações, use os seguintes comandos para fazer o download e executar o script de instalação do agente:

curl -sSO https://dl.google.com/cloudagents/add-google-cloud-ops-agent-repo.sh
sudo bash add-google-cloud-ops-agent-repo.sh --also-install

Configurar o agente de operações

Para configurar o Agente de operações, adicione elementos de configuração ao arquivo de configuração do usuário do agente. No Linux, o arquivo de configuração do usuário é /etc/google-cloud-ops-agent/config.yaml.

Ao configurar o Agente de operações para coletar métricas da AWS do exportador do Prometheus CloudWatch, você usa o receptor do Prometheus do agente. Este documento descreve duas configurações básicas para o Agente de operações. Selecione uma das configurações e adicione ao arquivo de configuração do usuário:

sudo vim /etc/google-cloud-ops-agent/config.yaml

Configuração básica do agente de operações

A configuração a seguir fornece uma configuração mínima para o agente de operações. Essa configuração faz o seguinte:

  • Cria um receptor com o nome aws do tipo prometheus. O receptor é configurado para extrair métricas do job aws_exporter. A porta especificada precisa corresponder à porta em que o exportador do Prometheus CloudWatch está exportando métricas. Consulte Executar o exportador do Prometheus.

  • Cria um pipeline chamado aws_pipeline que usa o receptor de métricas aws.

metrics:
  receivers:
    aws:
      type: prometheus
      config:
        scrape_configs:
          - job_name: 'aws_exporter'
            scrape_interval: 10s
            static_configs:
              - targets: ['localhost:9106']
  service:
    pipelines:
      aws_pipeline:
        receivers:
          - aws

Configuração que descarta as métricas da JVM

A configuração a seguir faz tudo o que a configuração básica faz, mas também adiciona uma configuração de renomeação que descarta as métricas do JVM geradas pelo exportador. A exclusão dessas métricas reduz os dados de métricas transferidos, mas pode dificultar a solução de problemas com o exportador, porque você não recebe as métricas dele:

metrics:
  receivers:
    aws:
      type: prometheus
      config:
        scrape_configs:
          - job_name: 'aws_exporter'
            scrape_interval: 10s
            static_configs:
              - targets: ['localhost:9106']
            # Drop the exporter's own JVM metrics to reduce noise.
            metric_relabel_configs:
              - source_labels: [ __name__ ]
                regex: 'jvm_.*'
                action: drop
  service:
    pipelines:
      aws_pipeline:
        receivers:
          - aws

É possível criar configurações muito mais complexas para o agente de operações.

Reiniciar o agente de operações

Para aplicar as mudanças de configuração ao Agente de operações, reinicie o agente.

  1. Para reiniciar o agente, execute o seguinte comando na instância: 
    sudo service google-cloud-ops-agent restart
  2. Para confirmar se o agente foi reiniciado, execute o seguinte comando e verifique se os componentes "Agente de métricas" e "Agente do Logging" foram iniciados: 
    sudo systemctl status google-cloud-ops-agent"*"

Ver métricas no Cloud Monitoring

No Cloud Monitoring, é possível consultar as métricas do AWS CloudWatch e criar gráficos como você faz com qualquer outra métrica. Na interface do Metrics Explorer, é possível usar o PromQL, a linguagem de consulta do Monitoring (MQL) ou uma interface de criação de consultas. Para mais informações, consulte Criar gráficos com o Metrics Explorer.

Se você criou gráficos que quer manter, salve-os em painéis personalizados. Para mais informações, consulte Visão geral dos painéis.

O gráfico a seguir mostra uma consulta PromQL para a métrica aws_ec2_cpuutilization_sum das VMs da AWS:

O gráfico mostra o resultado da busca da estatística aws_ec2_cpuutilization_sum para VMs da AWS usando PromQL.

É possível consultar qualquer métrica no Cloud Monitoring usando o PromQL. Para mais informações, consulte Como mapear métricas do Cloud Monitoring para PromQL.

É possível consultar as métricas do Prometheus usando o PromQL ou ferramentas do Cloud Monitoring, como a Linguagem de consulta do Monitoring (MQL). Quando as métricas do Prometheus são ingeridas no Cloud Monitoring, cada métrica é transformada usando a transformação padrão do OpenTelemetry para o Prometheus e mapeada para o tipo de recurso monitorado prometheus_target do Cloud Monitoring. A transformação inclui as seguintes mudanças:

  • O nome da métrica é prefixado com a string prometheus.googleapis.com/.
  • Todos os caracteres não alfanuméricos, como pontos (.), no nome da métrica, são substituídos por sublinhados (_).
  • O nome da métrica é sufixado com uma string que indica o tipo de métrica, como /gauge ou /counter.

Para consultar a métrica aws_ec2_cpuutilization_sum do Prometheus usando o MQL, consulte a métrica como prometheus.googleapis.com/aws_ec2_cpuutilization_sum/gauge e especifique o tipo de recurso monitorado prometheus_target: 

fetch prometheus_target :: 'prometheus.googleapis.com/aws_ec2_cpuutilization_sum/gauge'

O gráfico a seguir mostra o resultado da consulta MQL para a métrica aws_ec2_cpuutilization_sum do Prometheus:

O gráfico mostra o resultado da busca da estatística aws_ec2_cpuutilization_sum para VMs da AWS usando MQL.

Alerta sobre o comportamento da métrica

No Cloud Monitoring, é possível criar [políticas de alertas][alert-intro] para monitorar as métricas do AWS CloudWatch e receber notificações sobre picos, quedas ou tendências nos valores das métricas.

Monitorar várias regiões

A configuração do exportador do Prometheus CloudWatch aceita o uso de apenas uma região por arquivo de configuração. Se você precisar monitorar várias regiões, recomendamos executar várias instâncias do exportador do Prometheus, uma configurada para cada região que você quer monitorar. É possível executar vários exportadores em uma única VM ou distribuí-los entre VMs. Os imagens do Docker do exportador do Prometheus podem ser úteis nessa situação.

É possível configurar o Agente de operações em execução na VM do Compute Engine para extrair vários endpoints do Prometheus. Recomendamos que, ao configurar várias instâncias do exportador Prometheus, você use um nome job diferente para a configuração de raspagem de cada uma delas. Assim, é possível distinguir as instâncias do exportador se você precisar resolver problemas nelas.

Para informações sobre como configurar o agente de operações e o receptor do Prometheus, consulte Configurar o agente de operações.

Custo

A Amazon cobra por cada solicitação da API CloudWatch ou por cada métrica do CloudWatch solicitada. Para conferir os preços atuais, consulte Preços do Amazon CloudWatch. O exportador do Prometheus CloudWatch tem as seguintes características de consulta, que podem afetar seus custos da Amazon:

  • Ao usar o método GetMetricStatistics (padrão), cada métrica requer uma solicitação de API. Cada solicitação pode incluir várias estatísticas.
  • Ao usar aws_dimensions, o exportador precisa realizar solicitações de API para determinar quais métricas solicitar. O número de solicitações de dimensões é normalmente insignificante em comparação com o número de solicitações de métricas.

O Cloud Monitoring cobra pelas métricas do AWS CloudWatch do exportador do Prometheus pelo número de amostras ingeridas. Para preços atuais, consulte o Resumo de preços do Monitoring.

Configurações do exportador do Prometheus CloudWatch para migração

Esta seção fornece configurações que replicam, o mais próximo possível, as métricas de serviço da AWS documentadas na lista Métricas da AWS. Esses arquivos de configuração são destinados ao uso por clientes que estão migrando para o exportador do Prometheus CloudWatch da solução legada. Se você estiver configurando o exportador do Prometheus CloudWatch como um novo usuário em vez de um usuário em migração e usar essas configurações, não estará coletando todas as métricas da AWS que o exportador do Prometheus CloudWatch disponibiliza.

Para conferir um arquivo de configuração de exemplo para métricas do AWS CloudWatch, abra uma das seções a seguir.