Collecter des métriques AWS CloudWatch à l'aide de l'exportateur Prometheus CloudWatch

Ce document explique comment utiliser l'exportateur Prometheus CloudWatch Open Source et l'Agent Ops exécuté sur une instance Compute Engine pour collecter des métriques AWS CloudWatch et les stocker dans un projet Google Cloud.

Ce document est destiné aux développeurs et aux administrateurs système qui doivent collecter des métriques AWS CloudWatch. Ce document explique comment configurer l'exportateur CloudWatch pour Prometheus afin de collecter des métriques AWS CloudWatch.

Avec Cloud Monitoring, vous pouvez afficher vos métriques AWS dans le même contexte que vos métriques Google Cloud . Par exemple, vous pouvez créer un tableau de bord avec des graphiques qui affichent l'utilisation du processeur pour vos instances Amazon EC2 et vos instances Compute Engine. Vous pouvez également créer des règles d'alerte pour surveiller vos métriques AWS. Pour plus d'informations, consultez les sections suivantes :

Avant de commencer

Pour collecter des métriques AWS CloudWatch à l'aide de l'exportateur Prometheus CloudWatch, vous avez besoin des éléments suivants:

  • Un projet Google Cloud avec les autorisations suivantes :
    • Créer une VM
    • Écrire des journaux dans Cloud Logging
    • Écrire des métriques dans Cloud Monitoring
  • Un compte AWS avec des identifiants AWS pouvant être utilisés par l'exportateur Prometheus pour extraire des métriques. Pour en savoir plus, consultez la section Exécuter l'exportateur Prometheus.

Créer une VM Compute Engine

Nous vous recommandons de créer une VM Compute Engine Linux à utiliser spécifiquement pour exécuter l'Agent Ops et l'exportateur Prometheus CloudWatch. Cette VM sert de site de collecte pour toutes les métriques AWS.

  1. Pour créer une VM Linux Debian nommée aws-exporter-test dans une zone que vous spécifiez, exécutez la commande suivante:

    gcloud compute instances create \
  --image-project debian-cloud \
  --image-family debian-11 \
  --zone ZONE \
  aws-exporter-test

    Configurez la commande comme suit:

    • Remplacez ZONE par la zone de votre nouvelle VM.
    • Facultatif. Remplacez aws-exporter-test par un autre nom pour votre VM.

    Pour en savoir plus sur cette commande, consultez la documentation de référence sur gcloud compute instances create.

  2. Pour accéder à votre VM afin d'installer l'exportateur Prometheus CloudWatch et l'agent Ops, vous pouvez utiliser la commande suivante:

    gcloud compute ssh --zone ZONE  --project PROJECT_ID  aws-exporter-test

    Configurez la commande comme suit:

    • Remplacez ZONE par la zone dans laquelle vous avez créé votre VM.
    • Remplacez PROJECT_ID par l'ID de votre projet Google Cloud.
    • Remplacez aws-exporter-test si vous avez créé votre VM avec un autre nom.

    Pour en savoir plus sur cette commande, consultez la documentation de référence sur gcloud compute ssh.

Configurer l'exportateur Prometheus CloudWatch

Les sections suivantes décrivent la procédure de téléchargement, d'installation et de configuration de l'exportateur Prometheus CloudWatch sur votre VM Compute Engine.

Télécharger l'exportateur Prometheus et le JRE

Pour exécuter l'exportateur CloudWatch pour Prometheus, vous devez télécharger l'exportateur et l'environnement d'exécution Java (JRE), version 11 ou ultérieure.

  1. Pour télécharger le fichier JAR contenant l'exportateur CloudWatch pour Prometheus, exécutez la commande suivante sur votre instance Compute Engine:

    curl -sSO https://github.com/prometheus/cloudwatch_exporter/releases/download/v0.15.1/cloudwatch_exporter-0.15.1-jar-with-dependencies.jar

  2. Pour installer le JRE, vous pouvez utiliser une commande comme celle-ci:

    sudo apt install default-jre

Configurer l'exportateur Prometheus

Pour configurer l'exportateur Prometheus CloudWatch, vous devez créer un fichier de configuration pour le ou les services AWS à partir desquels vous souhaitez collecter des métriques. Pour en savoir plus, consultez la documentation de configuration de l'exportateur Prometheus CloudWatch.

  • Migrer des utilisateurs: si vous migrez vos métriques AWS CloudWatch existantes vers l'exportateur Prometheus CloudWatch, vous pouvez utiliser les fichiers de configuration dans Configurations de l'exportateur Prometheus CloudWatch pour la migration. Ces fichiers de configuration sont conçus pour reproduire les métriques existantes le plus fidèlement possible, mais ils ne collectent pas toutes les métriques disponibles à l'aide de l'exportateur Prometheus CloudWatch pour les services AWS.

  • Nouveaux utilisateurs: si vous ne migrez pas de métriques existantes, nous vous recommandons de ne pas utiliser les configurations de migration. Pour savoir comment définir des configurations d'exportateur pour d'autres services, consultez la documentation du service AWS CloudWatch. Vous trouverez également d'autres exemples dans le dépôt GitHub de l'exportateur Prometheus CloudWatch.

Vous pouvez combiner la configuration de plusieurs services AWS dans un seul fichier de configuration. Les exemples de ce document partent du principe que votre fichier de configuration est nommé config.yml.

Exécuter l'exportateur Prometheus

Avant de pouvoir exécuter l'exportateur Prometheus CloudWatch, vous devez lui fournir des identifiants et une autorisation. L'exportateur Prometheus CloudWatch utilise le SDK Java AWS, qui permet de fournir des identifiants à l'aide des variables d'environnement suivantes:

Pour en savoir plus sur la fourniture d'identifiants au SDK, consultez le SDK AWS pour Java 2.x.

Vous devez également être autorisé à utiliser l'API CloudWatch pour récupérer des métriques. Vous avez besoin des autorisations CloudWatch AWS IAM suivantes:

  • cloudwatch:ListMetrics
  • cloudwatch:GetMetricStatistics
  • cloudwatch:GetMetricData

L'utilisation de la fonctionnalité aws_tag_select nécessite également l'autorisation IAM AWS tag:GetResources.

Pour en savoir plus sur l'autorisation d'accès aux services AWS, consultez la section Gestion de l'authentification et des accès AWS.

Pour exécuter l'exportateur Prometheus CloudWatch, procédez comme suit:

  1. Pour fournir des identifiants à l'exportateur, définissez les variables d'environnement de la clé d'accès:

    export AWS_ACCESS_KEY=YOUR_ACCESS_KEY
export AWS_SECRET_ACCESS_KEY=YOUR_SECRET_ACCESS_KEY
export AWS_SESSION_TOKEN=YOUR_SESSION_TOKEN

    Remplacez les variables YOUR_KEY par vos clés d'accès. Vous ne devez définir la variable d'environnement AWS_SESSION_TOKEN que si vous utilisez des identifiants temporaires.

  2. Pour tester votre configuration, démarrez l'exportateur et chargez votre fichier de configuration. Pour ce faire, exécutez la commande suivante:

    java -jar cloudwatch_exporter-0.15.1-jar-with-dependencies.jar 9106 config.yml

    Modifiez les valeurs du port (9106) et du fichier de configuration (config.yml) si nécessaire.

    Si vous modifiez votre fichier config.yml pendant l'exécution de l'exportateur, vous pouvez le recharger en exécutant la commande suivante:

    curl -X POST localhost:9106/-/reload

    Pour une utilisation dans un environnement de production, vous pouvez configurer l'exportateur pour qu'il redémarre si la VM redémarre. Par exemple, sur les systèmes Debian, vous pouvez utiliser le gestionnaire de système et de services, systemd.

Configurer l'agent Ops

Les sections suivantes expliquent comment installer, configurer et démarrer l'agent Ops. Ces sections fournissent des informations de configuration minimales pour l'agent Ops à utiliser avec l'exportateur Prometheus CloudWatch. Pour en savoir plus sur ces sujets, consultez la présentation de l'agent Ops.

Installer l'agent Ops

Pour installer l'agent Ops, utilisez les commandes suivantes pour télécharger et exécuter le script d'installation de l'agent:

curl -sSO https://dl.google.com/cloudagents/add-google-cloud-ops-agent-repo.sh
sudo bash add-google-cloud-ops-agent-repo.sh --also-install

Configurer l'agent Ops

Pour configurer l'agent Ops, vous devez ajouter des éléments de configuration au fichier de configuration utilisateur de l'agent. Sous Linux, le fichier de configuration utilisateur est /etc/google-cloud-ops-agent/config.yaml.

Lorsque vous configurez l'agent Ops pour collecter des métriques AWS à partir de l'exportateur Prometheus CloudWatch, vous utilisez le récepteur Prometheus de l'agent. Ce document décrit deux configurations de base pour l'agent Ops. Sélectionnez l'une des configurations et ajoutez-la au fichier de configuration utilisateur:

sudo vim /etc/google-cloud-ops-agent/config.yaml

Configuration de base pour l'agent Ops

La configuration suivante fournit une configuration minimale pour l'agent Ops. Cette configuration effectue les opérations suivantes :

  • Crée un récepteur nommé aws de type prometheus. Le récepteur est configuré pour extraire les métriques de la tâche aws_exporter. Le port spécifié doit correspondre au port sur lequel l'exportateur Prometheus CloudWatch exporte les métriques. Consultez Exécuter l'exportateur Prometheus.

  • Crée un pipeline nommé aws_pipeline qui utilise le récepteur de métriques aws.

metrics:
  receivers:
    aws:
      type: prometheus
      config:
        scrape_configs:
          - job_name: 'aws_exporter'
            scrape_interval: 10s
            static_configs:
              - targets: ['localhost:9106']
  service:
    pipelines:
      aws_pipeline:
        receivers:
          - aws

Configuration qui supprime les métriques JVM

La configuration suivante effectue tout ce que fait la configuration de base, mais elle ajoute également une configuration de renumérotation qui supprime les métriques JVM générées par l'exportateur. Supprimer ces métriques réduit les données de métriques ingérées, mais cela peut rendre le débogage des problèmes liés à l'exportateur plus difficile, car vous n'obtenez pas les propres métriques de l'exportateur:

metrics:
  receivers:
    aws:
      type: prometheus
      config:
        scrape_configs:
          - job_name: 'aws_exporter'
            scrape_interval: 10s
            static_configs:
              - targets: ['localhost:9106']
            # Drop the exporter's own JVM metrics to reduce noise.
            metric_relabel_configs:
              - source_labels: [ __name__ ]
                regex: 'jvm_.*'
                action: drop
  service:
    pipelines:
      aws_pipeline:
        receivers:
          - aws

Vous pouvez créer des configurations beaucoup plus complexes pour l'agent Ops.

Redémarrer l'agent Ops

Pour appliquer les modifications de configuration à l'agent Ops, vous devez le redémarrer.

  1. Pour redémarrer l'agent, exécutez la commande suivante sur votre instance : 
    sudo service google-cloud-ops-agent restart
  2. Pour vérifier que l'agent a redémarré, exécutez la commande suivante et vérifiez que les composants "Agent de métriques" et "Agent de journalisation" ont démarré : 
    sudo systemctl status google-cloud-ops-agent"*"

Afficher les métriques dans Cloud Monitoring

Dans Cloud Monitoring, vous pouvez interroger vos métriques AWS CloudWatch et créer des graphiques comme vous le feriez pour n'importe quelle autre métrique. Dans l'interface de l'explorateur de métriques, vous pouvez utiliser PromQL, le langage MQL (Monitoring Query Language) ou une interface de générateur de requêtes. Pour en savoir plus, consultez Créer des graphiques avec l'explorateur de métriques.

Si vous avez créé des graphiques que vous souhaitez conserver, vous pouvez les enregistrer dans des tableaux de bord personnalisés. Pour en savoir plus, consultez la page Présentation des tableaux de bord.

Le graphique suivant montre une requête PromQL pour la métrique aws_ec2_cpuutilization_sum des VM AWS:

Le graphique montre le résultat de la récupération de la statistique aws_ec2_cpuutilization_sum pour les VM AWS à l'aide de PromQL.

Vous pouvez interroger n'importe quelle métrique dans Cloud Monitoring à l'aide de PromQL. Pour en savoir plus, consultez la section Mapper des métriques Cloud Monitoring à PromQL.

Vous pouvez interroger les métriques Prometheus à l'aide de PromQL ou d'outils Cloud Monitoring tels que le langage MQL (Monitoring Query Language). Lorsque les métriques Prometheus sont ingérées dans Cloud Monitoring, chaque métrique est transformée à l'aide de la transformation OpenTelemetry-to-Prometheus standard et mappée au type de ressource surveillée prometheus_target de Cloud Monitoring. La transformation inclut les modifications suivantes:

  • Le nom de la métrique est précédé de la chaîne prometheus.googleapis.com/.
  • Tous les caractères non alphanumériques, tels que les points (.), dans le nom de la métrique sont remplacés par des traits de soulignement (_).
  • Le nom de la métrique est précédé d'une chaîne indiquant le genre de métrique, tel que /gauge ou /counter.

Pour interroger la métrique aws_ec2_cpuutilization_sum Prometheus à l'aide de MQL, utilisez prometheus.googleapis.com/aws_ec2_cpuutilization_sum/gauge comme nom de la métrique et spécifiez le type de ressource surveillée prometheus_target: 

fetch prometheus_target :: 'prometheus.googleapis.com/aws_ec2_cpuutilization_sum/gauge'

Le graphique suivant montre le résultat de la requête MQL pour la métrique aws_ec2_cpuutilization_sum Prometheus:

Le graphique montre le résultat de la récupération de la statistique aws_ec2_cpuutilization_sum pour les VM AWS à l'aide de MQL.

Alerte sur le comportement des métriques

Dans Cloud Monitoring, vous pouvez créer des [règles d'alerte][alert-intro] pour surveiller vos métriques AWS CloudWatch et vous informer des pics, des baisses ou des tendances des valeurs des métriques.

  • Pour en savoir plus sur la création d'alertes basées sur MQL, consultez la section Règles d'alerte avec MQL.
  • Pour en savoir plus sur l'utilisation de l'interface de création de requêtes pour créer des règles d'alerte, consultez Créer des règles d'alerte.

Surveiller plusieurs régions

La configuration de l'exportateur Prometheus CloudWatch n'autorise qu'une seule région par fichier de configuration. Si vous devez surveiller plusieurs régions, nous vous recommandons d'exécuter plusieurs instances de l'exportateur Prometheus, une pour chaque région que vous souhaitez surveiller. Vous pouvez exécuter plusieurs exportateurs sur une seule VM ou les répartir entre plusieurs VM. L'exportateur Prometheus images Docker peut être utile dans cette situation.

Vous pouvez configurer l'agent Ops exécuté sur la VM Compute Engine pour extraire plusieurs points de terminaison Prometheus. Lorsque vous configurez plusieurs instances de l'exportateur Prometheus, nous vous recommandons d'utiliser un nom job différent pour la configuration d'extraction de chacune d'elles afin de pouvoir distinguer les instances de l'exportateur si vous devez les résoudre.

Pour en savoir plus sur la configuration de l'agent Ops et du récepteur Prometheus, consultez la section Configurer l'agent Ops.

Coût

Amazon facture chaque requête API CloudWatch ou chaque métrique CloudWatch que vous demandez. Pour connaître les tarifs actuels, consultez la page Tarifs Amazon CloudWatch. L'exportateur Prometheus CloudWatch présente les caractéristiques de requête suivantes, qui peuvent avoir un impact sur vos coûts Amazon:

  • Lorsque vous utilisez la méthode GetMetricStatistics (par défaut), chaque métrique nécessite une requête API. Chaque requête peut inclure plusieurs statistiques.
  • Lorsque vous utilisez aws_dimensions, l'exportateur doit effectuer des requêtes d'API pour déterminer les métriques à demander. Le nombre de requêtes de dimension est généralement négligeable par rapport au nombre de requêtes de métrique.

Les frais liés à Cloud Monitoring pour les métriques AWS CloudWatch de l'exportateur Prometheus sont basés sur le nombre d'échantillons ingérés. Pour connaître les tarifs actuels, consultez la page Synthèse des tarifs de Monitoring.

Configuration de l'exportateur Prometheus CloudWatch pour la migration

Cette section fournit des configurations qui reproduisent, le plus fidèlement possible, les métriques des services AWS documentées dans la liste des métriques AWS. Ces fichiers de configuration sont destinés aux clients qui migrent vers l'exportateur Prometheus CloudWatch à partir de l'ancienne solution. Si vous configurez l'exportateur Prometheus CloudWatch en tant que nouvel utilisateur plutôt qu'en tant qu'utilisateur en cours de migration et que vous utilisez ces configurations, vous ne collectez pas toutes les métriques AWS que l'exportateur Prometheus CloudWatch met à disposition.

Pour afficher un exemple de fichier de configuration pour les métriques AWS CloudWatch, développez l'une des sections suivantes.