Mengumpulkan metrik AWS CloudWatch menggunakan Prometheus CloudWatch Exporter

Dokumen ini menjelaskan cara menggunakan eksportir CloudWatch Prometheus open source dan Ops Agent yang berjalan di instance Compute Engine untuk mengumpulkan metrik AWS CloudWatch dan menyimpannya dalam project Google Cloud.

Dokumen ini ditujukan untuk developer dan administrator sistem yang perlu mengumpulkan metrik AWS CloudWatch. Dokumen ini menjelaskan cara menyiapkan eksportir CloudWatch Prometheus untuk mengumpulkan metrik AWS CloudWatch.

Dengan Cloud Monitoring, Anda dapat melihat metrik AWS dalam konteks yang sama dengan metrik Google Cloud . Misalnya, Anda dapat membuat dasbor dengan diagram yang menampilkan penggunaan CPU untuk instance Amazon EC2 dan untuk instance Compute Engine. Anda juga dapat membuat kebijakan pemberitahuan untuk memantau metrik AWS. Untuk informasi selengkapnya, lihat bagian berikut:

Sebelum memulai

Untuk mengumpulkan metrik AWS CloudWatch menggunakan Prometheus CloudWatch Exporter, Anda memerlukan hal berikut:

  • Project Google Cloud dengan izin untuk melakukan hal berikut:
    • Membuat VM
    • Menulis log ke Cloud Logging
    • Menulis metrik ke Cloud Monitoring
  • Akun AWS dengan kredensial AWS yang dapat digunakan oleh eksportir Prometheus untuk mengambil metrik. Untuk informasi selengkapnya, lihat Menjalankan Prometheus Exporter.

Membuat VM Compute Engine

Sebaiknya buat VM Compute Engine Linux untuk digunakan secara khusus untuk menjalankan Ops Agent dan Prometheus CloudWatch Exporter. VM ini berfungsi sebagai situs pengumpulan untuk semua metrik AWS.

  1. Untuk membuat VM Debian Linux bernama aws-exporter-test di zona yang Anda tentukan, jalankan perintah berikut:

    gcloud compute instances create \
  --image-project debian-cloud \
  --image-family debian-11 \
  --zone ZONE \
  aws-exporter-test

    Konfigurasikan perintah sebagai berikut:

    • Ganti ZONE dengan zona untuk VM baru Anda
    • Opsional. Ganti aws-exporter-test dengan nama yang berbeda untuk VM Anda.

    Untuk mengetahui informasi selengkapnya tentang perintah ini, lihat referensi gcloud compute instances create.

  2. Untuk mengakses VM agar dapat menginstal Prometheus CloudWatch Exporter dan Ops Agent, Anda dapat menggunakan perintah berikut:

    gcloud compute ssh --zone ZONE  --project PROJECT_ID  aws-exporter-test

    Konfigurasikan perintah sebagai berikut:

    • Ganti ZONE dengan zona tempat Anda membuat VM
    • Ganti PROJECT_ID dengan ID project Google Cloud Anda
    • Ganti aws-exporter-test jika Anda membuat VM dengan nama yang berbeda

    Untuk mengetahui informasi selengkapnya tentang perintah ini, lihat referensi gcloud compute ssh.

Menyiapkan Prometheus CloudWatch Exporter

Bagian berikut menjelaskan prosedur untuk mendownload, menginstal, dan mengonfigurasi Prometheus CloudWatch Exporter di VM Compute Engine Anda.

Mendownload Prometheus Exporter dan JRE

Untuk menjalankan Prometheus CloudWatch Exporter, Anda harus mendownload Prometheus CloudWatch Exporter dan Java Runtime Environment (JRE), versi 11 atau yang lebih baru.

  1. Untuk mendownload file JAR yang berisi Prometheus CloudWatch Exporter, jalankan perintah berikut di instance Compute Engine Anda:

    curl -sSO https://github.com/prometheus/cloudwatch_exporter/releases/download/v0.15.1/cloudwatch_exporter-0.15.1-jar-with-dependencies.jar

  2. Untuk menginstal JRE, Anda dapat menggunakan perintah seperti berikut:

    sudo apt install default-jre

Mengonfigurasi eksportir Prometheus

Untuk mengonfigurasi Prometheus CloudWatch Exporter, Anda membuat file konfigurasi untuk layanan AWS yang metriknya ingin Anda kumpulkan. Untuk informasi umum, lihat dokumentasi konfigurasi Prometheus CloudWatch Exporter.

  • Memigrasikan pengguna: Jika memigrasikan metrik AWS CloudWatch yang ada ke Prometheus CloudWatch Exporter, Anda dapat menggunakan file konfigurasi di Konfigurasi Prometheus CloudWatch Exporter untuk migrasi. File konfigurasi ini dirancang untuk mereplikasi metrik yang ada sebisa mungkin, tetapi tidak mengumpulkan semua metrik yang tersedia dengan menggunakan Prometheus CloudWatch Exporter untuk layanan AWS.

  • Pengguna baru: Jika Anda tidak memigrasikan metrik yang ada, sebaiknya jangan gunakan konfigurasi migrasi. Lihat dokumentasi layanan AWS CloudWatch untuk mengetahui informasi tentang cara menentukan konfigurasi eksportir untuk layanan lainnya. Anda juga dapat menemukan contoh tambahan di repositori GitHub eksportir Prometheus CloudWatch.

Anda dapat menggabungkan konfigurasi untuk beberapa layanan AWS menjadi satu file konfigurasi. Contoh dalam dokumen ini mengasumsikan bahwa file konfigurasi Anda bernama config.yml.

Menjalankan eksportir Prometheus

Sebelum dapat menjalankan eksportir CloudWatch Prometheus, Anda harus memberikan kredensial dan otorisasi ke eksportir. Eksporter Prometheus CloudWatch menggunakan AWS Java SDK, yang menawarkan cara untuk memberikan kredensial menggunakan variabel lingkungan berikut:

  • AWS_ACCESS_KEY
  • AWS_SECRET_ACCESS_KEY
  • AWS_SESSION_TOKEN, jika Anda menggunakan kredensial sementara

Untuk mengetahui informasi selengkapnya tentang cara memberikan kredensial ke SDK, lihat AWS SDK untuk Java 2.x.

Anda juga harus memiliki izin untuk menggunakan CloudWatch API guna mengambil metrik. Anda memerlukan izin CloudWatch AWS IAM berikut:

  • cloudwatch:ListMetrics
  • cloudwatch:GetMetricStatistics
  • cloudwatch:GetMetricData

Penggunaan fitur aws_tag_select juga memerlukan izin AWS IAM tag:GetResources.

Untuk informasi selengkapnya tentang cara memberikan otorisasi akses ke layanan AWS, lihat Identity and Access Management AWS.

Untuk menjalankan Prometheus CloudWatch Exporter, lakukan hal berikut:

  1. Untuk memberikan kredensial bagi eksportir, tetapkan variabel lingkungan kunci akses:

    export AWS_ACCESS_KEY=YOUR_ACCESS_KEY
export AWS_SECRET_ACCESS_KEY=YOUR_SECRET_ACCESS_KEY
export AWS_SESSION_TOKEN=YOUR_SESSION_TOKEN

    Ganti variabel YOUR_KEY dengan kunci akses Anda. Anda hanya perlu menetapkan variabel lingkungan AWS_SESSION_TOKEN jika menggunakan kredensial sementara.

  2. Untuk menguji konfigurasi, mulai ekspor dan muat file konfigurasi, jalankan perintah berikut:

    java -jar cloudwatch_exporter-0.15.1-jar-with-dependencies.jar 9106 config.yml

    Ubah nilai port (9106) dan file konfigurasi (config.yml) jika perlu.

    Jika Anda mengubah file config.yml saat eksportir sedang berjalan, Anda dapat memuat ulang eksportir dengan menjalankan perintah berikut:

    curl -X POST localhost:9106/-/reload

    Untuk digunakan di lingkungan produksi, Anda dapat mengonfigurasi pengekspor untuk memulai ulang jika VM dimulai ulang. Misalnya, pada sistem Debian, Anda dapat menggunakan pengelola sistem dan layanan, systemd.

Menyiapkan Agen Operasional

Bagian berikut menjelaskan cara menginstal, mengonfigurasi, dan memulai Ops Agent. Bagian ini memberikan informasi penyiapan minimal untuk Ops Agent agar dapat digunakan dengan eksportir CloudWatch Prometheus. Untuk informasi selengkapnya tentang topik ini, lihat Ringkasan Ops Agent.

Menginstal Agen Operasional

Untuk menginstal Agen Operasional, gunakan perintah berikut untuk mendownload dan menjalankan skrip penginstalan agen:

curl -sSO https://dl.google.com/cloudagents/add-google-cloud-ops-agent-repo.sh
sudo bash add-google-cloud-ops-agent-repo.sh --also-install

Mengonfigurasi Agen Operasional

Untuk mengonfigurasi Ops Agent, Anda menambahkan elemen konfigurasi ke file konfigurasi pengguna agen. Di Linux, file konfigurasi pengguna adalah /etc/google-cloud-ops-agent/config.yaml.

Saat mengonfigurasi Agen Operasional untuk mengumpulkan metrik AWS dari ekspor Prometheus CloudWatch, Anda menggunakan penerima Prometheus agen. Dokumen ini menjelaskan dua konfigurasi dasar untuk Ops Agent. Pilih salah satu konfigurasi dan tambahkan ke file konfigurasi pengguna:

sudo vim /etc/google-cloud-ops-agent/config.yaml

Konfigurasi dasar untuk Agen Operasional

Konfigurasi berikut memberikan konfigurasi minimal untuk Ops Agent. Konfigurasi ini melakukan hal berikut:

  • Membuat penerima bernama aws dari jenis prometheus. Penerima dikonfigurasi untuk mengambil metrik dari tugas aws_exporter. Port yang ditentukan harus cocok dengan port tempat Prometheus CloudWatch Exporter mengekspor metrik; lihat Menjalankan Prometheus Exporter.

  • Membuat pipeline bernama aws_pipeline yang menggunakan penerima metrik aws.

metrics:
  receivers:
    aws:
      type: prometheus
      config:
        scrape_configs:
          - job_name: 'aws_exporter'
            scrape_interval: 10s
            static_configs:
              - targets: ['localhost:9106']
  service:
    pipelines:
      aws_pipeline:
        receivers:
          - aws

Konfigurasi yang menghapus metrik JVM

Konfigurasi berikut melakukan semua hal yang dilakukan konfigurasi dasar, tetapi juga menambahkan konfigurasi pemberian label ulang yang menghapus metrik JVM yang dihasilkan oleh eksportir. Menghapus metrik ini akan mengurangi data metrik yang ditransfer, tetapi dapat mempersulit proses debug masalah pada eksportir, karena Anda tidak mendapatkan metrik eksportir itu sendiri:

metrics:
  receivers:
    aws:
      type: prometheus
      config:
        scrape_configs:
          - job_name: 'aws_exporter'
            scrape_interval: 10s
            static_configs:
              - targets: ['localhost:9106']
            # Drop the exporter's own JVM metrics to reduce noise.
            metric_relabel_configs:
              - source_labels: [ __name__ ]
                regex: 'jvm_.*'
                action: drop
  service:
    pipelines:
      aws_pipeline:
        receivers:
          - aws

Anda dapat membuat konfigurasi yang jauh lebih kompleks untuk Agen Operasional.

Memulai ulang Agen Operasional

Untuk menerapkan perubahan konfigurasi ke Ops Agent, Anda harus memulai ulang agen.

  1. Untuk memulai ulang agen, jalankan perintah berikut di instance Anda: 
    sudo service google-cloud-ops-agent restart
  2. Untuk mengonfirmasi bahwa agen dimulai ulang, jalankan perintah berikut dan pastikan komponen "Metrics Agent" dan "Logging Agent" dimulai: 
    sudo systemctl status google-cloud-ops-agent"*"

Melihat metrik di Cloud Monitoring

Di Cloud Monitoring, Anda dapat membuat kueri metrik AWS CloudWatch dan membuat diagram seperti yang Anda lakukan untuk metrik lainnya. Dari antarmuka Metrics Explorer, Anda dapat menggunakan PromQL, Monitoring Query Language (MQL), atau antarmuka pembuat kueri. Untuk informasi selengkapnya, lihat Membuat diagram dengan Metrics Explorer.

Jika telah membuat diagram yang ingin disimpan, Anda dapat menyimpannya ke dasbor kustom. Untuk informasi selengkapnya, lihat Ringkasan dasbor.

Diagram berikut menunjukkan kueri PromQL untuk metrik aws_ec2_cpuutilization_sum untuk VM AWS:

Diagram menunjukkan hasil pengambilan statistik aws_ec2_cpuutilization_sum untuk VM AWS menggunakan PromQL.

Anda dapat membuat kueri metrik apa pun di Cloud Monitoring menggunakan PromQL. Untuk mengetahui informasi selengkapnya, lihat Memetakan metrik Cloud Monitoring ke PromQL.

Anda dapat membuat kueri metrik Prometheus menggunakan PromQL atau menggunakan alat Cloud Monitoring seperti Monitoring Query Language (MQL). Saat metrik Prometheus diserap ke Cloud Monitoring, setiap metrik akan ditransformasi menggunakan transformasi OpenTelemetry-to-Prometheus standar dan dipetakan ke jenis resource yang dipantau prometheus_target Cloud Monitoring. Transformasi ini mencakup perubahan berikut:

  • Nama metrik diawali dengan string prometheus.googleapis.com/.
  • Setiap karakter non-alfanumerik, seperti titik (.), dalam nama metrik diganti dengan garis bawah (_).
  • Nama metrik diakhiri dengan string yang menunjukkan jenis metrik, seperti /gauge atau /counter.

Untuk membuat kueri metrik aws_ec2_cpuutilization_sum Prometheus menggunakan MQL, sebut metrik sebagai prometheus.googleapis.com/aws_ec2_cpuutilization_sum/gauge, dan tentukan jenis resource yang dimonitor prometheus_target: 

fetch prometheus_target :: 'prometheus.googleapis.com/aws_ec2_cpuutilization_sum/gauge'

Diagram berikut menunjukkan hasil kueri MQL untuk metrik aws_ec2_cpuutilization_sum Prometheus:

Diagram menunjukkan hasil pengambilan statistik aws_ec2_cpuutilization_sum untuk VM AWS menggunakan MQL.

Pemberitahuan tentang perilaku metrik

Di Cloud Monitoring, Anda dapat membuat [kebijakan pemberitahuan][alert-intro] untuk memantau metrik AWS CloudWatch dan memberi tahu Anda tentang lonjakan, penurunan, atau tren nilai metrik.

Memantau beberapa region

Konfigurasi pengekspor Prometheus CloudWatch hanya mendukung penggunaan satu region per file konfigurasi. Jika Anda perlu memantau beberapa region, sebaiknya jalankan beberapa instance Prometheus Exporter, satu instance dikonfigurasi untuk setiap region yang ingin Anda pantau. Anda dapat menjalankan beberapa eksportir di satu VM, atau mendistribusikannya di seluruh VM. Image Docker eksporter Prometheus mungkin berguna dalam situasi ini.

Anda dapat mengonfigurasi Agen Operasi yang berjalan di VM Compute Engine untuk meng-scrape beberapa endpoint Prometheus. Sebaiknya, saat mengonfigurasi beberapa instance Prometheus Exporter, gunakan nama job yang berbeda untuk setiap konfigurasi scrape, sehingga Anda dapat membedakan instance Prometheus Exporter jika perlu memecahkan masalahnya.

Untuk informasi tentang cara mengonfigurasi Agen Operasional dan penerima Prometheus, lihat Mengonfigurasi Agen Operasional.

Biaya

Amazon mengenakan biaya untuk setiap permintaan CloudWatch API atau untuk setiap metrik CloudWatch yang Anda minta; untuk harga saat ini, lihat Harga Amazon CloudWatch. Eksporter CloudWatch Prometheus memiliki karakteristik kueri berikut, yang dapat memengaruhi biaya Amazon Anda:

  • Saat menggunakan metode GetMetricStatistics (default), setiap metrik memerlukan satu permintaan API. Setiap permintaan dapat menyertakan beberapa statistik.
  • Saat menggunakan aws_dimensions, eksportir harus melakukan permintaan API untuk menentukan metrik yang akan diminta. Jumlah permintaan dimensi biasanya tidak signifikan dibandingkan dengan jumlah permintaan metrik.

Cloud Monitoring mengenakan biaya untuk metrik AWS CloudWatch dari eksportir Prometheus berdasarkan jumlah sampel yang diserap. Untuk mengetahui harga saat ini, lihat Ringkasan harga monitoring.

Konfigurasi pengekspor CloudWatch Prometheus untuk migrasi

Bagian ini menyediakan konfigurasi yang mereplikasi, sedekat mungkin, metrik layanan AWS yang didokumentasikan dalam daftar metrik AWS. File konfigurasi ini dimaksudkan untuk digunakan oleh pelanggan yang bermigrasi ke eksportir Prometheus CloudWatch dari solusi lama. Jika Anda menyiapkan ekspor Prometheus CloudWatch sebagai pengguna baru, bukan pengguna yang bermigrasi, dan menggunakan konfigurasi ini, berarti Anda tidak mengumpulkan semua metrik AWS yang disediakan oleh ekspor Prometheus CloudWatch.

Untuk melihat contoh file konfigurasi untuk metrik AWS CloudWatch, luaskan salah satu bagian berikut.