Raccogli le metriche di AWS CloudWatch utilizzando l'esportatore Prometheus CloudWatch

Questo documento descrive come utilizzare l'esportatore open source Prometheus CloudWatch e Ops Agent in esecuzione su un'istanza Compute Engine per raccogliere AWS le metriche di CloudWatch e le archivia in un progetto Google Cloud.

Questo documento è rivolto a sviluppatori e amministratori di sistema che devono per raccogliere le metriche di AWS CloudWatch. Questo documento descrive come configurare Prometheus CloudWatch Exporter per raccogliere le metriche AWS CloudWatch.

Con Cloud Monitoring, puoi visualizzare le metriche AWS nello stesso contesto delle metriche Google Cloud. Ad esempio, puoi creare una dashboard con grafici che mostrano l'utilizzo della CPU per le istanze Amazon EC2 e per le tue istanze Compute Engine. Puoi anche creare avvisi per monitorare le metriche AWS. Per ulteriori informazioni, consulta sezioni seguenti:

Prima di iniziare

Per raccogliere le metriche AWS CloudWatch utilizzando Prometheus CloudWatch Exporter, è necessario quanto segue:

  • Un progetto Google Cloud con autorizzazioni per eseguire le seguenti operazioni:
    • Crea una VM
    • Scrivi i log in Cloud Logging
    • Scrivere metriche in Cloud Monitoring
  • Un account AWS con credenziali AWS che possono essere utilizzate dall'esportatore Prometheus per recuperare le metriche. Per ulteriori informazioni, consulta Eseguire l'esportatore Prometheus.

Crea una VM di Compute Engine

Ti consigliamo di creare una VM Compute Engine Linux da utilizzare specificamente per l'esecuzione di Ops Agent e dell'esportatore Prometheus CloudWatch. Questa VM agisce nel sito di raccolta per tutte le metriche AWS.

  1. Per creare una VM Debian Linux denominata aws-exporter-test in una zona specifico, esegui questo comando:

    gcloud compute instances create \
  --image-project debian-cloud \
  --image-family debian-11 \
  --zone ZONE \
  aws-exporter-test

    Configura il comando come segue:

    • Sostituisci ZONE con la zona della nuova VM
    • Facoltativo. Sostituisci aws-exporter-test con un nome diverso per la VM.

    Per ulteriori informazioni su questo comando, consulta Riferimento gcloud compute instances create.

  2. Per accedere alla VM in modo da poter installare Prometheus CloudWatch Exporter e Ops Agent, puoi utilizzare il seguente comando:

    gcloud compute ssh --zone ZONE  --project PROJECT_ID  aws-exporter-test

    Configura il comando come segue:

    • Sostituisci ZONE con la zona in cui hai creato la VM
    • Sostituisci PROJECT_ID con l'ID del tuo progetto Google Cloud
    • Sostituisci aws-exporter-test se hai creato la VM con un nome diverso

    Per ulteriori informazioni su questo comando, consulta la documentazione di riferimento di gcloud compute ssh.

Configurare l'esportatore Prometheus CloudWatch

Le sezioni seguenti descrivono la procedura per scaricare, installare e configurare l'esportatore Prometheus CloudWatch nella VM Compute Engine.

Scarica l'utilità di esportazione Prometheus e il file JRE

Per eseguire l'esportazione Prometheus CloudWatch, devi scaricare l'utilità di esportazione Java Runtime Environment (JRE), versione 11 o successiva.

  1. Per scaricare il file JAR contenente l'esportazione di Prometheus CloudWatch, esegui il seguente comando sulla tua istanza Compute Engine:

    curl -sSO https://github.com/prometheus/cloudwatch_exporter/releases/download/v0.15.1/cloudwatch_exporter-0.15.1-jar-with-dependencies.jar

  2. Per installare il JRE, puoi utilizzare un comando come il seguente:

    sudo apt install default-jre

Configurare l'esportatore Prometheus

Per configurare l'esportatore Prometheus CloudWatch, crea un file di configurazione il servizio o i servizi AWS da cui raccogliere le metriche. Per informazioni generali, consulta la configurazione dell'esportatore Prometheus CloudWatch documentazione.

  • Migrazione degli utenti: se stai eseguendo la migrazione del tuo AWS CloudWatch esistente all'esportatore Prometheus CloudWatch, puoi usare i file di configurazione nelle configurazioni dell'esportatore di Prometheus CloudWatch per la migrazione. Questi file di configurazione sono progettati per replicare le metriche esistenti il più vicino possibile, ma non raccolgono tutte le metriche disponibili utilizzando l'esportatore Prometheus CloudWatch per i servizi AWS.

  • Nuovi utenti: se non esegui la migrazione delle metriche esistenti, ti consigliamo di se non utilizzi le configurazioni di migrazione. Consulta la documentazione del servizio AWS CloudWatch per informazioni su come definire le configurazioni degli esportatori per altri servizi. Puoi anche trovare altri esempi nel repository GitHub dell'esportatore Prometheus CloudWatch.

Puoi combinare la configurazione di più servizi AWS in un unico servizio di configurazione del deployment. Gli esempi in questo documento presuppongono che i tuoi di configurazione del file di configurazione denominato config.yml.

Esegui l'esportatore Prometheus

Prima di poter eseguire l'esportatore Prometheus CloudWatch, devi fornire all'esportatore le credenziali e l'autorizzazione. Prometheus CloudWatch Exporter utilizza l'SDK AWS Java, che offre modi per fornire le credenziali utilizzando le seguenti variabili di ambiente:

Per ulteriori informazioni su come fornire le credenziali all'SDK, consulta AWS SDK per Java 2.x.

Devi inoltre disporre dell'autorizzazione per utilizzare l'API CloudWatch per recuperare devi avere quanto segue: AWS IAM CloudWatch autorizzazioni:

  • cloudwatch:ListMetrics
  • cloudwatch:GetMetricStatistics
  • cloudwatch:GetMetricData

L'uso della funzionalità aws_tag_select richiede anche tag:GetResources Autorizzazione AWS IAM.

Per saperne di più sull'autorizzazione dell'accesso ai servizi AWS, consulta AWS Identity and Access Management.

Per eseguire l'esportazione Prometheus CloudWatch, segui questi passaggi:

  1. Per fornire le credenziali per l'esportatore, imposta le variabili di ambiente della chiave di accesso:

    export AWS_ACCESS_KEY=YOUR_ACCESS_KEY
export AWS_SECRET_ACCESS_KEY=YOUR_SECRET_ACCESS_KEY
export AWS_SESSION_TOKEN=YOUR_SESSION_TOKEN

    Sostituisci le variabili YOUR_KEY con le tue chiavi di accesso. Devi impostare la variabile di ambiente AWS_SESSION_TOKEN solo se utilizzi credenziali temporanee.

  2. Per testare la configurazione, avvia l'esportatore e carica il file di configurazione, esegui il seguente comando:

    java -jar cloudwatch_exporter-0.15.1-jar-with-dependencies.jar 9106 config.yml

    Modifica i valori della porta (9106) e del file di configurazione (config.yml), se necessario.

    Se modifichi il file config.yml mentre l'esportatore è in esecuzione, puoi ricaricarlo eseguendo il seguente comando:

    curl -X POST localhost:9106/-/reload

    Per l'utilizzo in un ambiente di produzione, puoi configurare l'esportatore in modo che si riavvii se la VM si riavvia. Ad esempio, nei sistemi Debian puoi usare il gestore di sistema e il gestore del servizio, systemd.

Configurare l'agente operativo

Le seguenti sezioni descrivono come installare, configurare e avviare Ops Agent. Queste sezioni forniscono informazioni di configurazione minime per Ops Agent da utilizzare con l'esportatore CloudWatch di Prometheus. Per ulteriori informazioni su questi argomenti, vedi Panoramica di Ops Agent.

Installazione dell'agente operativo

Per installare Ops Agent, utilizza i seguenti comandi per scaricare e eseguire lo script di installazione dell'agente:

curl -sSO https://dl.google.com/cloudagents/add-google-cloud-ops-agent-repo.sh
sudo bash add-google-cloud-ops-agent-repo.sh --also-install

Configurazione dell'agente operativo

Per configurare Ops Agent, aggiungi elementi di configurazione al file di configurazione utente dell'agente. Su Linux, il file di configurazione dell'utente è /etc/google-cloud-ops-agent/config.yaml.

Quando configuri Ops Agent per raccogliere le metriche AWS Esportatore Prometheus CloudWatch, puoi usare il ricevitore Prometheus dell'agente. Questo documento descrive due configurazioni di base per Ops Agent. Seleziona una delle configurazioni e aggiungila al file di configurazione utente:

sudo vim /etc/google-cloud-ops-agent/config.yaml

Configurazione di base per l'agente operativo

La seguente configurazione fornisce una configurazione minima per Ops Agent. Questa configurazione esegue le seguenti operazioni:

  • Crea un ricevitore denominato aws di tipo prometheus. Il ricevitore è configurato per estrarre le metriche dal job aws_exporter. La porta specificata deve corrispondere alla porta su cui Prometheus CloudWatch Exporter esporta le metriche; consulta Eseguire l'esportatore Prometheus.

  • Crea una pipeline denominata aws_pipeline che utilizza il destinatario delle metriche aws.

metrics:
  receivers:
    aws:
      type: prometheus
      config:
        scrape_configs:
          - job_name: 'aws_exporter'
            scrape_interval: 10s
            static_configs:
              - targets: ['localhost:9106']
  service:
    pipelines:
      aws_pipeline:
        receivers:
          - aws

Configurazione che elimina le metriche JVM

La configurazione seguente esegue tutte le operazioni della configurazione di base, ma aggiunge anche una configurazione di rinominazione che elimina le metriche JVM generate dall'esportatore. Se elimini queste metriche, importati dati di metriche, ma può rendere più i problemi con l'esportatore difficile eseguire il debug, perché non stai ricevendo le metriche dell'esportatore:

metrics:
  receivers:
    aws:
      type: prometheus
      config:
        scrape_configs:
          - job_name: 'aws_exporter'
            scrape_interval: 10s
            static_configs:
              - targets: ['localhost:9106']
            # Drop the exporter's own JVM metrics to reduce noise.
            metric_relabel_configs:
              - source_labels: [ __name__ ]
                regex: 'jvm_.*'
                action: drop
  service:
    pipelines:
      aws_pipeline:
        receivers:
          - aws

Puoi creare configurazioni molto più complesse per Ops Agent.

Riavvia Ops Agent

Per applicare le modifiche di configurazione all'agente operativo, devi riavviarlo.

  1. Per riavviare l'agente, esegui questo comando sull'istanza: 
    sudo service google-cloud-ops-agent restart
  2. Per verificare che l'agente sia stato riavviato, esegui il seguente comando e verifica che i componenti "Metrics Agent" e "Logging Agent" siano stati avviati: 
    sudo systemctl status google-cloud-ops-agent"*"

Visualizza le metriche in Cloud Monitoring

In Cloud Monitoring, puoi eseguire query sulle metriche AWS CloudWatch e creare grafici come faresti per qualsiasi altra metrica. Da Metrics Explorer puoi utilizzare PromQL, Monitoring Query Language (MQL) o un a riga di comando. Per ulteriori informazioni, vedi Creare grafici con Metrics Explorer.

Se hai creato grafici che vuoi conservare, puoi salvarli nelle dashboard personalizzate. Per ulteriori informazioni, consulta la Panoramica delle dashboard.

Il seguente grafico mostra una query PromQL per la metrica aws_ec2_cpuutilization_sum per le VM AWS:

Il grafico mostra il risultato del recupero della statistica aws_ec2_cpuutilization_sum per le VM AWS utilizzando PromQL.

Puoi eseguire query su qualsiasi metrica in Cloud Monitoring utilizzando PromQL. Per informazioni, consulta Mappatura delle metriche di Cloud Monitoring a PromQL.

Puoi eseguire query sulle metriche di Prometheus utilizzando PromQL o gli strumenti di Cloud Monitoring come Monitoring Query Language (MQL). Quando Le metriche di Prometheus vengono importate in Cloud Monitoring e ogni metrica viene trasformati utilizzando lo standard Trasformazione da OpenTelemetry a Prometheus e mappati al progetto Cloud Monitoring prometheus_target tipo-risorsa-monitorata. La trasformazione include le seguenti modifiche:

  • Al nome della metrica viene anteposto il prefisso prometheus.googleapis.com/.
  • Eventuali caratteri non alfanumerici, come i punti (.), nel nome della metrica vengono sostituiti da trattini bassi (_).
  • Il nome della metrica è fissato con una stringa che indica il tipo di metrica, come /gauge o /counter.

Per eseguire query sulla metrica aws_ec2_cpuutilization_sum di Prometheus utilizzando MQL, fai riferimento alla metrica prometheus.googleapis.com/aws_ec2_cpuutilization_sum/gauge e specifica il tipo di risorsa monitorata prometheus_target: 

fetch prometheus_target :: 'prometheus.googleapis.com/aws_ec2_cpuutilization_sum/gauge'

Il seguente grafico mostra il risultato della query MQL per la metrica Prometheus aws_ec2_cpuutilization_sum:

Il grafico mostra il risultato del recupero della statistica aws_ec2_cpuutilization_sum per le VM AWS utilizzando MQL.

Avviso sul comportamento delle metriche

In Cloud Monitoring, puoi creare [criteri di avviso][alert-intro] per monitorare le metriche AWS CloudWatch e ricevere notifiche di picchi, cali o tendenze nei valori delle metriche.

Monitorare più regioni

La configurazione dell'esportatore Prometheus CloudWatch supporta l'utilizzo di un solo regione per file di configurazione. Se devi monitorare più regioni, ti consigliamo di eseguire più istanze dell'esportatore Prometheus, una configurata per ogni regione da monitorare. Puoi eseguire più esportatori su una singola VM o distribuirli su più VM. In questa situazione potrebbero essere utili le immagini Docker dell'esportatore Prometheus.

Puoi configurare Ops Agent in esecuzione sulla VM Compute Engine per eseguire lo scraping di più endpoint Prometheus. Ti consigliamo di utilizzare un nome job diverso per la configurazione di scraping di ogni istanza quando configuri più istanze dell'esportatore Prometheus, in modo da poter distinguere le istanze dell'esportatore se devi risolverne i problemi.

Per informazioni sulla configurazione di Ops Agent e del ricevitore Prometheus, consulta Configurare Ops Agent.

Costo

Amazon addebita un costo per ogni richiesta API CloudWatch o per ogni CloudWatch la metrica richiesta; per i prezzi attuali, consulta Amazon CloudWatch Prezzi. Prometheus CloudWatch Exporter possiede le seguenti caratteristiche di query, che possono influire sui costi di Amazon:

  • Quando utilizzi il metodo GetMetricStatistics (predefinito), ogni metrica richiede una richiesta API. Ogni richiesta può includere più statistiche.
  • Quando utilizza aws_dimensions, l'esportatore deve eseguire richieste API per determinare quali metriche richiedere. Il numero di richieste di dimensioni è in genere trascurabile rispetto al numero di richieste di metriche.

Cloud Monitoring addebita i costi per le metriche AWS CloudWatch dal Esportatore Prometheus in base al numero di campioni importati. Per i prezzi attuali, consulta il riepilogo dei prezzi di Monitoring.

Configurazioni di Prometheus CloudWatch Exporter per la migrazione

Questa sezione fornisce configurazioni che replicano, possibili, le metriche del servizio AWS documentate Metriche AWS. Questi file di configurazione sono destinati all'utilizzo da parte dei clienti che eseguono la migrazione all'esportatore Prometheus CloudWatch dalla soluzione precedente. Se stai configurando l'esportatore Prometheus CloudWatch come nuovo utente anziché come utente in fase di migrazione e utilizzi queste configurazioni, non stai raccogliendo tutti i pod AWS messe a disposizione dall'esportatore di Prometheus CloudWatch.

Per visualizzare un file di configurazione di esempio per le metriche di AWS CloudWatch, espandi una delle seguenti sezioni.