Pantau kondisi dan performa lingkungan dengan metrik utama

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Catatan: Halaman ini belum direvisi untuk Cloud Composer 3 dan menampilkan konten untuk Cloud Composer 2.

Halaman ini menjelaskan cara memantau keseluruhan kondisi dan performa lingkungan Cloud Composer dengan metrik utama di dasbor Monitoring.

Pengantar

Tutorial ini berfokus pada metrik pemantauan utama Cloud Composer yang dapat memberikan ringkasan bagus terkait kondisi dan performa tingkat lingkungan.

Cloud Composer menawarkan beberapa metrik yang mendeskripsikan status lingkungan secara keseluruhan. Panduan pemantauan dalam tutorial ini didasarkan pada metrik yang ditampilkan di dasbor Monitoring di lingkungan Cloud Composer Anda.

Dalam tutorial ini, Anda akan mempelajari metrik utama yang berfungsi sebagai indikator utama masalah performa dan kesehatan lingkungan, serta panduan untuk menafsirkan setiap metrik menjadi tindakan korektif untuk menjaga lingkungan tetap sehat. Anda juga akan menyiapkan aturan pemberitahuan untuk setiap metrik, menjalankan contoh DAG, serta menggunakan metrik dan pemberitahuan ini untuk mengoptimalkan performa lingkungan Anda.

Tujuan

Tujuan:

• Pelajari performa utama dan metrik kondisi yang tersedia di dasbor Monitoring.
• Pelajari tolok ukur untuk setiap metrik.
• Pelajari cara menafsirkan metrik menjadi tindakan korektif.
• Buat pemberitahuan untuk setiap metrik utama.
• Jalankan contoh DAG.
• Menafsirkan pemberitahuan dan diagram Monitoring menjadi tindakan korektif.
• Optimalkan lingkungan Anda dan evaluasi performanya.

Biaya

Tutorial ini menggunakan komponen Google Cloud yang dapat ditagih berikut:

• Cloud Composer (lihat biaya tambahan)
• Cloud Monitoring

Setelah menyelesaikan tutorial ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Untuk mengetahui detail selengkapnya, lihat Membersihkan.

Sebelum memulai

Bagian ini menjelaskan tindakan yang diperlukan sebelum Anda memulai tutorial.

Membuat dan mengonfigurasi project

Untuk tutorial ini, Anda memerlukan project Google Cloud. Konfigurasikan project dengan cara berikut:

1. Di konsol Google Cloud, pilih atau buat project:

   Buka Pemilih Project

2. Pastikan penagihan diaktifkan untuk project Anda. Pelajari cara memeriksa apakah penagihan diaktifkan pada sebuah project.

3. Pastikan pengguna project Google Cloud Anda memiliki peran berikut untuk membuat resource yang diperlukan:

   • Administrator Objek Lingkungan dan Penyimpanan (roles/composer.environmentAndStorageObjectAdmin)
   • Compute Admin (roles/compute.admin)
   • Monitoring Editor (roles/monitoring.editor)

Mengaktifkan API untuk project Anda

Enable the Cloud Composer API.

Enable the API

Membuat lingkungan Cloud Composer

Membuat lingkungan Cloud Composer 2.

Sebagai bagian dari prosedur ini, Anda memberikan peran Ekstensi Agen Layanan Cloud Composer v2 API (roles/composer.ServiceAgentV2Ext) ke akun Agen Layanan Composer. Cloud Composer menggunakan akun ini untuk menjalankan operasi di project Google Cloud Anda.

Pelajari metrik utama untuk kondisi dan performa tingkat lingkungan

Tutorial ini berfokus pada metrik utama yang dapat memberi Anda ringkasan yang baik tentang kesehatan dan performa lingkungan Anda secara keseluruhan.

Dasbor Monitoring di Konsol Google Cloud berisi berbagai metrik dan diagram yang dapat digunakan untuk memantau tren di lingkungan Anda dan mengidentifikasi masalah terkait komponen Airflow dan resource Cloud Composer.

Setiap lingkungan Cloud Composer memiliki dasbor Monitoring-nya sendiri.

Pahami metrik utama di bawah ini dan temukan setiap metrik di dasbor Monitoring:

1. Di Konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

2. Pada daftar lingkungan, klik nama lingkungan Anda. Halaman Detail lingkungan akan terbuka.

3. Buka tab Monitoring.

4. Pilih bagian Overview, cari item Environment Overview di dasbor, dan amati metrik Environment Health (Airflow monitoring DAG).

   • Linimasa ini menunjukkan kondisi lingkungan Cloud Composer. Warna hijau pada status kesehatan lingkungan menunjukkan bahwa lingkungan sehat, sedangkan status lingkungan yang tidak sehat ditunjukkan dengan warna merah.

   • Setiap beberapa menit, Cloud Composer mengeksekusi DAG keaktifan bernama airflow_monitoring. Jika DAG keaktifan berhasil diselesaikan, status kesehatannya adalah True. Jika DAG keaktifan berjalan gagal (misalnya, karena penghapusan Pod, penghentian proses eksternal, atau pemeliharaan), status responsnya adalah False.

5. Pilih bagian SQL database, cari item Database health di dasbor, lalu amati metrik Database health.

   • Linimasa ini menunjukkan status koneksi ke instance Cloud SQL lingkungan Anda. Status kesehatan Database berwarna hijau menunjukkan konektivitas, sedangkan kegagalan koneksi ditunjukkan dengan warna merah.

   • Pod pemantauan Airflow akan melakukan ping ke database secara berkala dan melaporkan status respons sebagai True jika koneksi dapat dibuat atau sebagai False jika tidak.

6. Di item Database health, amati metrik Database CPU usage dan Database memory usage.

   • Grafik penggunaan CPU Database menunjukkan penggunaan core CPU oleh instance database Cloud SQL lingkungan Anda dibandingkan dengan total batas CPU database yang tersedia.

   • Grafik penggunaan memori Database menunjukkan penggunaan memori oleh instance database Cloud SQL lingkungan Anda dibandingkan total batas memori database yang tersedia.

7. Pilih bagian Schedulers, cari item Schedulerbeat di dasbor, dan amati metrik Schedulerbeat.

   • Linimasa ini menunjukkan kondisi scheduler Airflow. Periksa area merah untuk mengidentifikasi masalah scheduler Airflow. Jika lingkungan Anda memiliki lebih dari satu penjadwal, status detak jantung dianggap sehat selama setidaknya salah satu penjadwal merespons.

   • Penjadwal dianggap tidak sehat jika detak jantung terakhir diterima lebih dari 30 detik (nilai default) sebelum waktu saat ini.

8. Pilih bagian DAG statistics, cari item Zombie tasks times di dasbor, dan amati metrik Zombie tasks shutdown.

   • Grafik ini menunjukkan jumlah tugas zombie yang dihentikan dalam jangka waktu yang singkat. Tugas Zombie sering disebabkan oleh penghentian eksternal proses Airflow (seperti saat proses tugas dihentikan).

   • Scheduler Airflow menghentikan tugas zombie secara berkala, yang tercermin dalam diagram ini.

9. Pilih bagian Workers, cari item Worker container phising di dasbor, dan amati metrik Worker container restart.

   • Grafik menunjukkan jumlah total mulai ulang untuk setiap penampung pekerja. Terlalu banyak memulai ulang container dapat memengaruhi ketersediaan layanan Anda atau layanan downstream lain yang menggunakannya sebagai dependensi.

Catatan: Anda dapat mempelajari setiap metrik lebih lanjut dengan melihatnya di Cloud Monitoring.

Pelajari tolok ukur dan kemungkinan tindakan korektif untuk metrik utama

Penting: Metrik linimasa memberikan ringkasan kesehatan setiap komponen lingkungan; namun, area merah tidak selalu menunjukkan bahwa komponen tidak sehat. Terkadang area merah kecil pada linimasa hijau secara keseluruhan dapat disebabkan oleh faktor eksternal, seperti operasi pemeliharaan di cluster lingkungan. Gunakan diagram dan log Monitoring yang sesuai untuk menyelidiki potensi alasan, menganalisis korelasi antara berbagai metrik, dan melakukan koreksi berdasarkan penyebab utama yang diidentifikasi.

Daftar berikut menjelaskan nilai benchmark yang dapat menunjukkan masalah dan memberikan tindakan korektif yang dapat Anda ambil untuk mengatasi masalah ini.

• Kesehatan lingkungan (DAG pemantauan Aliran Udara)

  • Rasio keberhasilan kurang dari 90% dalam jangka waktu 4 jam

  • Kegagalan dapat berarti penggusuran Pod atau penghentian pekerja karena lingkungan kelebihan beban atau tidak berfungsi. Area merah pada linimasa kesehatan lingkungan biasanya berkorelasi dengan area merah pada panel kesehatan lainnya pada komponen lingkungan masing-masing. Identifikasi akar masalah dengan meninjau metrik lain di dasbor Monitoring.

• Kesehatan database

  • Rasio keberhasilan kurang dari 95% selama periode 4 jam

  • Kegagalan berarti ada masalah dengan konektivitas ke database Airflow, yang dapat disebabkan oleh error atau periode nonaktif database karena database kelebihan beban (misalnya, karena penggunaan CPU atau memori yang tinggi atau latensi yang lebih tinggi saat terhubung ke database). Gejala ini paling sering disebabkan oleh DAG yang kurang optimal, seperti saat DAG menggunakan banyak variabel lingkungan atau Airflow yang ditetapkan secara global. Identifikasi akar masalah dengan meninjau metrik penggunaan resource database SQL. Anda juga dapat memeriksa log penjadwal untuk mengetahui error yang terkait dengan konektivitas database.

• Penggunaan memori dan CPU database

  • Lebih dari 80% rata-rata penggunaan CPU atau memori dalam jangka waktu 12 jam

  • Database mungkin kelebihan beban. Menganalisis korelasi antara operasi DAG dan lonjakan penggunaan memori atau CPU database.

    • Anda dapat mengurangi beban database melalui DAG yang lebih efisien dengan kueri dan koneksi yang berjalan yang dioptimalkan, atau dengan menyebarkan beban secara lebih merata dari waktu ke waktu.

    • Sebagai alternatif, Anda dapat mengalokasikan lebih banyak CPU atau memori ke database. Resource database dikontrol oleh properti ukuran lingkungan lingkungan Anda, dan lingkungan harus diskalakan ke ukuran yang lebih besar.

• Heartbeat scheduler

  • Rasio keberhasilan kurang dari 90% dalam jangka waktu 4 jam

  • Tetapkan lebih banyak resource ke penjadwal atau tingkatkan jumlah penjadwal dari 1 menjadi 2 (direkomendasikan).

• Tugas zombie dihentikan

  • Lebih dari satu tugas zombie per 24 jam

  • Alasan paling umum untuk tugas zombie adalah kekurangan resource CPU atau memori di cluster lingkungan Anda. Tinjau grafik penggunaan resource pekerja dan tetapkan lebih banyak resource untuk pekerja Anda, atau tingkatkan waktu tunggu tugas zombie sehingga penjadwal menunggu lebih lama sebelum menganggap tugas sebagai zombie.

• Container pekerja dimulai ulang

  • Lebih dari satu kali mulai ulang per 24 jam

  • Alasan paling umum adalah kurangnya memori atau penyimpanan pekerja. Perhatikan konsumsi resource pekerja dan alokasikan lebih banyak memori atau penyimpanan untuk pekerja Anda. Jika kekurangan resource bukanlah alasannya, pelajari pemecahan masalah terkait insiden mulai ulang pekerja dan gunakan Kueri logging untuk menemukan alasan memulai ulang pekerja.

Membuat saluran notifikasi

Ikuti petunjuk yang diuraikan dalam Membuat saluran notifikasi untuk membuat saluran notifikasi email.

Catatan: Untuk tujuan redundansi, sebaiknya Anda membuat beberapa jenis saluran notifikasi. Misalnya, Anda dapat menyiapkan saluran notifikasi Slack selain email.

Untuk informasi lebih lanjut tentang saluran notifikasi, lihat Mengelola saluran notifikasi.

Membuat kebijakan pemberitahuan

Buat kebijakan pemberitahuan berdasarkan tolok ukur yang disediakan di bagian sebelumnya pada tutorial ini untuk terus memantau nilai metrik dan menerima notifikasi saat metrik tersebut melanggar suatu kondisi.

Konsol

Anda dapat menyiapkan pemberitahuan untuk setiap metrik yang ditampilkan di dasbor Monitoring dengan mengklik ikon lonceng di sudut item yang sesuai:

Gambar 1. Buat pemberitahuan untuk metrik yang ditampilkan di dasbor pemantauan (klik untuk memperbesar)

1. Temukan setiap metrik yang ingin Anda pantau di dasbor Monitoring, lalu klik ikon lonceng di sudut item metrik. Halaman Buat kebijakan pemberitahuan akan terbuka.

   Penting: Filter nama metrik, nama lingkungan, dan lokasi diterapkan secara otomatis, tetapi kebijakan pemberitahuan untuk beberapa metrik memerlukan filter tambahan dan nama metrik yang berbeda. Lihat kolom "Filter" dan "Nama metrik" di konfigurasi kebijakan pemberitahuan untuk masing-masing metrik guna memverifikasi bahwa filter yang benar telah diterapkan.

2. Di bagian Transform data:

   1. Konfigurasi bagian Dalam setiap deret waktu seperti yang dijelaskan dalam konfigurasi kebijakan pemberitahuan untuk metrik tersebut.

   2. Klik Berikutnya, lalu konfigurasi bagian Konfigurasi pemicu pemberitahuan seperti yang dijelaskan dalam konfigurasi kebijakan pemberitahuan untuk metrik tersebut.

3. Klik Next.

4. Konfigurasikan notifikasi. Luaskan menu Notification channels dan pilih saluran notifikasi yang Anda buat pada langkah sebelumnya.

5. Klik OK.

6. Di bagian Name the alert policy, isi kolom Alert policy name. Gunakan nama deskriptif untuk setiap metrik. Gunakan nilai "Beri nama kebijakan pemberitahuan" seperti yang dijelaskan dalam konfigurasi kebijakan pemberitahuan untuk metrik tersebut.

7. Klik Next.

8. Tinjau kebijakan pemberitahuan, lalu klik Create policy.

Metrik kesehatan lingkungan (DAG pemantauan Airflow) - konfigurasi kebijakan pemberitahuan

• Nama metrik: Lingkungan Cloud Composer - Sehat
• API: composer.googleapis.com/environment/healthy

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• Transformasi data > Dalam setiap deret waktu:

  • Jendela bergulir: Khusus
  • Nilai kustom: 4
  • Unit kustom: jam
  • Fungsi jendela berjalan: pecahan benar

• Konfigurasi pemicu pemberitahuan:

  • Jenis kondisi: Nilai minimum
  • Pemicu pemberitahuan: Deret waktu mana saja melanggar
  • Posisi batas: Di bawah nilai minimum
  • Nilai minimum: 90
  • Nama kondisi: Kondisi kesehatan lingkungan

• Mengonfigurasi notifikasi dan menyelesaikan pemberitahuan:

  • Beri nama kebijakan pemberitahuan: Airflow Environment Health

Metrik kondisi database - konfigurasi kebijakan pemberitahuan

• Nama metrik: Lingkungan Cloud Composer - Database yang Sehat
• API: composer.googleapis.com/environment/database_health

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• Transformasi data > Dalam setiap deret waktu:

  • Jendela bergulir: Khusus
  • Nilai kustom: 4
  • Unit kustom: jam
  • Fungsi jendela berjalan: pecahan benar

• Konfigurasi pemicu pemberitahuan:

  • Jenis kondisi: Nilai minimum
  • Pemicu pemberitahuan: Deret waktu mana saja melanggar
  • Posisi batas: Di bawah nilai minimum
  • Nilai minimum: 95
  • Nama kondisi: Kondisi kondisi database

• Mengonfigurasi notifikasi dan menyelesaikan pemberitahuan:

  • Beri nama kebijakan pemberitahuan: Kondisi Database Airflow

Metrik penggunaan CPU database - konfigurasi kebijakan pemberitahuan

Catatan: Agar lebih mudah, saat menyiapkan pemberitahuan untuk penggunaan memori Database dan metrik penggunaan CPU Database, gunakan nama metrik Database memory utilization (composer.googleapis.com/environment/database/memory/utilization) dan Database CPU utilization (composer.googleapis.com/environment/database/cpu/utilization), bukan nama metrik default yang memantau byte yang digunakan (composer.googleapis.com/environment/database/memory/bytes_used) dan waktu yang digunakan (composer.googleapis.com/environment/database/cpu/usage_time). Metrik Penggunaan memori database dan CPU akan memantau persentase kondisi CPU dan memori yang digunakan dibandingkan dengan memori yang tersedia secara otomatis.

• Nama metrik: Lingkungan Cloud Composer - Pemanfaatan CPU Database
• API: composer.googleapis.com/environment/database/cpu/utilization

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• Transformasi data > Dalam setiap deret waktu:

  • Jendela bergulir: Khusus
  • Nilai kustom: 12
  • Unit kustom: jam
  • Fungsi jendela berjalan: mean

• Konfigurasi pemicu pemberitahuan:

  • Jenis kondisi: Nilai minimum
  • Pemicu pemberitahuan: Deret waktu mana saja melanggar
  • Posisi batas: Di atas nilai minimum
  • Nilai minimum: 80
  • Nama kondisi: Kondisi penggunaan CPU database

• Mengonfigurasi notifikasi dan menyelesaikan pemberitahuan:

  • Beri nama kebijakan pemberitahuan: Penggunaan CPU Airflow Database

Metrik penggunaan CPU database - konfigurasi kebijakan pemberitahuan

Catatan: Agar lebih mudah, saat menyiapkan pemberitahuan untuk penggunaan memori Database dan metrik penggunaan CPU Database, gunakan nama metrik Database memory utilization (composer.googleapis.com/environment/database/memory/utilization) dan Database CPU utilization (composer.googleapis.com/environment/database/cpu/utilization), bukan nama metrik default yang memantau byte yang digunakan (composer.googleapis.com/environment/database/memory/bytes_used) dan waktu yang digunakan (composer.googleapis.com/environment/database/cpu/usage_time). Metrik Penggunaan memori database dan CPU akan memantau persentase kondisi CPU dan memori yang digunakan dibandingkan dengan memori yang tersedia secara otomatis.

• Nama metrik: Lingkungan Cloud Composer - Pemanfaatan Memori Database
• API: composer.googleapis.com/environment/database/memory/utilization

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• Transformasi data > Dalam setiap deret waktu:

  • Jendela bergulir: Khusus
  • Nilai kustom: 12
  • Unit kustom: jam
  • Fungsi jendela berjalan: mean

• Konfigurasi pemicu pemberitahuan:

  • Jenis kondisi: Nilai minimum
  • Pemicu pemberitahuan: Deret waktu mana saja melanggar
  • Posisi batas: Di atas nilai minimum
  • Nilai minimum: 80
  • Nama kondisi: Kondisi penggunaan memori database

• Mengonfigurasi notifikasi dan menyelesaikan pemberitahuan:

  • Beri nama kebijakan pemberitahuan: Penggunaan Memori Database Airflow

Metrik detak jantung penjadwal - konfigurasi kebijakan pemberitahuan

• Nama metrik: Lingkungan Cloud Composer - Scheduler Heartbeats
• API: composer.googleapis.com/environment/scheduler_heartbeat_count

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• Transformasi data > Dalam setiap deret waktu:

  • Jendela bergulir: Khusus
  • Nilai kustom: 4
  • Unit kustom: jam
  • Fungsi jendela berjalan: menghitung

• Konfigurasi pemicu pemberitahuan:

  • Jenis kondisi: Nilai minimum
  • Pemicu pemberitahuan: Deret waktu mana saja melanggar
  • Posisi batas: Di bawah nilai minimum

  • Nilai minimum: 216

    Catatan: rata-rata jumlah detak jantung penjadwal di lingkungan tidak ada aktivitas adalah 240, sehingga rasio keberhasilan 90% selama periode 4 jam sama dengan 240 * 0,9 =
    1. Anda dapat memperoleh angka ini dengan menjalankan kueri yang menggabungkan nilai _scheduler_heartbeat_count_mean di Metrics Explorer Query Editor.

  • Nama kondisi: Kondisi detak jantung Scheduler

• Mengonfigurasi notifikasi dan menyelesaikan pemberitahuan:

  • Beri nama kebijakan pemberitahuan: Airflow Scheduler Heartbeat

Metrik tugas zombie yang dihentikan - konfigurasi kebijakan pemberitahuan

• Nama metrik: Lingkungan Cloud Composer - Zombie Tasks Dihentikan
• API: composer.googleapis.com/environment/zombie_task_killed_count

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• Transformasi data > Dalam setiap deret waktu:

  • Periode berjalan: 1 hari
  • Fungsi jendela berjalan: sum

• Konfigurasi pemicu pemberitahuan:

  • Jenis kondisi: Nilai minimum
  • Pemicu pemberitahuan: Deret waktu mana saja melanggar
  • Posisi batas: Di atas nilai minimum
  • Nilai minimum: 1
  • Nama kondisi: Kondisi tugas Zombie

• Mengonfigurasi notifikasi dan menyelesaikan pemberitahuan:

  • Beri nama kebijakan pemberitahuan: Airflow Zombie Tasks

Metrik container pekerja dimulai ulang - konfigurasi kebijakan pemberitahuan

• Nama metrik: Lingkungan Cloud Composer - Zombie Tasks Dihentikan
• API: composer.googleapis.com/environment/zombie_task_killed_count

• Filter:

  environment_name = [ENVIRONMENT_NAME]
  location = [CLUSTER_LOCATION]
  

• Transformasi data > Dalam setiap deret waktu:

  • Periode berjalan: 1 hari
  • Fungsi jendela berjalan: sum

• Konfigurasi pemicu pemberitahuan:

  • Jenis kondisi: Nilai minimum
  • Pemicu pemberitahuan: Deret waktu mana saja melanggar
  • Posisi batas: Di atas nilai minimum
  • Nilai minimum: 1
  • Nama kondisi: Kondisi tugas Zombie

• Mengonfigurasi notifikasi dan menyelesaikan pemberitahuan:

  • Beri nama kebijakan pemberitahuan: Airflow Zombie Tasks

Terraform

Jalankan skrip Terraform yang membuat saluran notifikasi email dan mengupload kebijakan pemberitahuan untuk metrik utama yang diberikan dalam tutorial ini berdasarkan benchmark masing-masing:

1. Simpan contoh file Terraform di komputer lokal Anda.

2. Ganti kode berikut:

   • PROJECT_ID: Project ID project Anda. Misalnya, example-project.
   • EMAIL_ADDRESS: alamat email yang harus diberi tahu jika pemberitahuan dipicu.
   • ENVIRONMENT_NAME: nama lingkungan Cloud Composer Anda. Contoh, example-composer-environment.
   • CLUSTER_NAME: nama cluster lingkungan Anda yang dapat ditemukan di bagian Konfigurasi Lingkungan > Resource > GKE di Konsol Google Cloud.

resource "google_monitoring_notification_channel" "basic" {
  project      = "PROJECT_ID"
  display_name = "Test Notification Channel"
  type         = "email"
  labels = {
    email_address = "EMAIL_ADDRESS"
  }
  # force_delete = false
}

resource "google_monitoring_alert_policy" "environment_health_metric" {
  project      = "PROJECT_ID"
  display_name = "Airflow Environment Health"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Environment health condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/healthy\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_LT"
      threshold_value = 0.9
      aggregations {
        alignment_period   = "14400s"
        per_series_aligner = "ALIGN_FRACTION_TRUE"
      }
    }
  }

}

resource "google_monitoring_alert_policy" "database_health_metric" {
  project      = "PROJECT_ID"
  display_name = "Airflow Database Health"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Database health condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/database_health\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_LT"
      threshold_value = 0.95
      aggregations {
        alignment_period   = "14400s"
        per_series_aligner = "ALIGN_FRACTION_TRUE"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_database_cpu_usage" {
  project      = "PROJECT_ID"
  display_name = "Airflow Database CPU Usage"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Database CPU usage condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/database/cpu/utilization\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_GT"
      threshold_value = 80
      aggregations {
        alignment_period   = "43200s"
        per_series_aligner = "ALIGN_MEAN"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_database_memory_usage" {
  project      = "PROJECT_ID"
  display_name = "Airflow Database Memory Usage"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Database memory usage condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/database/memory/utilization\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_GT"
      threshold_value = 80
      aggregations {
        alignment_period   = "43200s"
        per_series_aligner = "ALIGN_MEAN"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_scheduler_heartbeat" {
  project      = "PROJECT_ID"
  display_name = "Airflow Scheduler Heartbeat"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Scheduler heartbeat condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/scheduler_heartbeat_count\" AND resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_LT"
      threshold_value = 216 // Threshold is 90% of the average for composer.googleapis.com/environment/scheduler_heartbeat_count metric in an idle environment
      aggregations {
        alignment_period   = "14400s"
        per_series_aligner = "ALIGN_COUNT"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_zombie_task" {
  project      = "PROJECT_ID"
  display_name = "Airflow Zombie Tasks"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Zombie tasks condition"
    condition_threshold {
      filter     = "resource.type = \"cloud_composer_environment\" AND metric.type=\"composer.googleapis.com/environment/zombie_task_killed_count\" AND  resource.label.environment_name=\"ENVIRONMENT_NAME\""
      duration   = "60s"
      comparison = "COMPARISON_GT"
      threshold_value = 1
      aggregations {
        alignment_period   = "86400s"
        per_series_aligner = "ALIGN_SUM"
      }
    }
  }
}

resource "google_monitoring_alert_policy" "alert_worker_restarts" {
  project      = "PROJECT_ID"
  display_name = "Airflow Worker Restarts"
  combiner     = "OR"
  notification_channels = [google_monitoring_notification_channel.basic.name] // To manually add a notification channel add it with the syntax "projects/[PROJECT_ID]/notificationChannels/[CHANNEL_ID]"
  conditions {
    display_name = "Worker container restarts condition"
    condition_threshold {
      filter     = "resource.type = \"k8s_container\" AND (resource.labels.cluster_name = \"CLUSTER_NAME\" AND resource.labels.container_name = monitoring.regex.full_match(\"airflow-worker|base\") AND resource.labels.pod_name = monitoring.regex.full_match(\"airflow-worker-.*|airflow-k8s-worker-.*\")) AND metric.type = \"kubernetes.io/container/restart_count\""

      duration   = "60s"
      comparison = "COMPARISON_GT"
      threshold_value = 1
      aggregations {
        alignment_period   = "86400s"
        per_series_aligner = "ALIGN_RATE"
      }
    }
  }
}

Menguji kebijakan pemberitahuan

Bagian ini menjelaskan cara menguji kebijakan pemberitahuan yang dibuat dan menafsirkan hasilnya.

Mengupload sampel DAG

Contoh memory_consumption_dag.py DAG yang disediakan dalam tutorial ini meniru penggunaan memori worker secara intensif. DAG berisi 4 tugas, masing-masing tugas menulis data ke string sampel, yang menggunakan memori 380 MB. Sampel DAG dijadwalkan untuk berjalan setiap 2 menit dan akan mulai berjalan secara otomatis setelah Anda menguploadnya ke lingkungan Composer.

Peringatan: Pastikan untuk menghapus atau menjeda DAG ini setelah Anda menyelesaikan tutorial. Jika tidak, lingkungan Anda dapat menghabiskan banyak resource, yang dapat menimbulkan biaya tambahan.

Upload contoh DAG berikut ke lingkungan yang Anda buat pada langkah sebelumnya:

from datetime import datetime
import sys
import time

from airflow import DAG
from airflow.operators.python import PythonOperator


def ram_function():
    data = ""
    start = time.time()
    for i in range(38):
        data += "a" * 10 * 1000**2
        time.sleep(0.2)
        print(f"{i}, {round(time.time() - start, 4)}, {sys.getsizeof(data) / (1000 ** 3)}")
    print(f"Size={sys.getsizeof(data) / (1000 ** 3)}GB")
    time.sleep(30 - (time.time() - start))
    print(f"Complete in {round(time.time() - start, 2)} seconds!")


with DAG(
    dag_id="memory_consumption_dag",
    start_date=datetime(2023, 1, 1, 1, 1, 1),
    schedule="1/2 * * * *",
    catchup=False,
) as dag:
    for i in range(4):
        PythonOperator(
            task_id=f"task_{i+1}",
            python_callable=ram_function,
            retries=0,
            dag=dag,
        )

Menafsirkan pemberitahuan dan metrik di Monitoring

Tunggu sekitar 10 menit setelah DAG contoh mulai berjalan, lalu evaluasi hasil pengujiannya:

1. Periksa kotak surat email untuk memastikan bahwa Anda menerima notifikasi dari Google Cloud Alerting dengan baris subjek yang diawali dengan [ALERT]. Konten pesan ini berisi detail insiden kebijakan pemberitahuan.

2. Klik tombol Lihat Insiden di notifikasi email. Anda akan dialihkan ke Metrics Explorer. Tinjau detail insiden pemberitahuan:

   

   Gambar 2. Detail insiden pemberitahuan (klik untuk memperbesar)

   Grafik metrik insiden menunjukkan bahwa metrik yang Anda buat melebihi batas 1, yang berarti Airflow mendeteksi dan menghentikan lebih dari 1 tugas zombie.

3. Di lingkungan Cloud Composer, buka tab Monitoring, buka bagian DAG statistics, dan temukan grafik Zombie tasks deleted:

   

   Gambar 3. Grafik tugas Zombie (klik untuk memperbesar)

   Grafik ini menunjukkan bahwa Airflow menghentikan sekitar 20 tugas zombie hanya dalam 10 menit pertama setelah menjalankan DAG contoh.

4. Menurut benchmark dan tindakan korektif, alasan paling umum tugas zombie adalah kurangnya memori pekerja atau CPU. Identifikasi akar penyebab tugas zombie dengan menganalisis penggunaan resource pekerja Anda.

   Buka bagian Pekerja di dasbor Monitoring, lalu tinjau metrik penggunaan CPU dan memori pekerja:

   

   Gambar 4.Metrik penggunaan memori dan CPU pekerja (klik untuk memperbesar)

   Grafik penggunaan CPU Total worker menunjukkan bahwa penggunaan CPU pekerja berada di bawah 50% dari total batas yang tersedia setiap saat, sehingga CPU yang tersedia cukup. Grafik penggunaan memori Total worker menunjukkan bahwa menjalankan contoh DAG mengakibatkan batas memori yang dapat dialokasikan, yang setara dengan hampir 75% dari total batas memori yang ditampilkan pada grafik (GKE mencadangkan 25% dari 4 GiB pertama memori dan tambahan memori sebesar 100 MiB pada setiap node untuk menangani penghapusan Pod).

   Anda dapat menyimpulkan bahwa pekerja tidak memiliki resource memori untuk menjalankan contoh DAG dengan sukses.

Mengoptimalkan lingkungan dan mengevaluasi performanya

Berdasarkan analisis penggunaan resource worker, Anda perlu mengalokasikan lebih banyak memori ke worker untuk semua tugas di DAG agar berhasil.

Catatan: Mengubah CPU atau memori pekerja akan memulai ulang pekerja, yang mungkin memengaruhi tugas yang berjalan. Sebaiknya lakukan hal ini saat tidak ada DAG yang berjalan.

1. Di lingkungan Composer, buka tab DAGs, klik nama contoh DAG (memory_consumption_dag), lalu klik Pause DAG.

2. Alokasikan memori worker tambahan:

   1. Di tab Konfigurasi lingkungan, temukan konfigurasi Resource > Workloads, lalu klik Edit.

   2. Pada item Worker, tingkatkan batas Memory. Dalam tutorial ini, gunakan 3,25 GB.

   3. Simpan perubahan dan tunggu beberapa menit hingga worker dimulai ulang.

3. Buka tab DAG, klik nama contoh DAG (memory_consumption_dag), lalu klik Unpause DAG.

Buka Monitoring dan pastikan tidak ada tugas zombie baru yang muncul setelah Anda memperbarui batas resource worker:

Gambar 5. Grafik tugas Zombie setelah batas memori diubah (klik untuk memperbesar)

Catatan: Sebaiknya amati performa lingkungan selama periode yang diperpanjang. Misalnya, di lingkungan produksi tempat Anda menjalankan banyak DAG, sebaiknya periksa kembali, tidak ada pemberitahuan baru setelah 24 jam.

Ringkasan

Dalam tutorial ini, Anda telah mempelajari metrik kesehatan dan performa tingkat lingkungan utama, cara menyiapkan kebijakan pemberitahuan untuk setiap metrik, dan cara menafsirkan setiap metrik menjadi tindakan korektif. Anda kemudian menjalankan contoh DAG, mengidentifikasi akar masalah kesehatan lingkungan dengan bantuan pemberitahuan dan diagram Monitoring, serta mengoptimalkan lingkungan Anda dengan mengalokasikan lebih banyak memori untuk pekerja Anda. Namun, sebaiknya optimalkan DAG untuk mengurangi konsumsi resource pekerja, karena tidak mungkin meningkatkan resource melebihi batas tertentu.

Pembersihan

Agar tidak menimbulkan biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource atau simpan project dan hapus resource satu per satu.

Menghapus project

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari berbagai arsitektur, tutorial, atau panduan memulai, menggunakan kembali project dapat membantu agar Anda tidak melampaui batas kuota project.

1. Di konsol Google Cloud, buka halaman Manage resource.

   Buka Manage resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Menghapus resource satu per satu

Jika Anda berencana mempelajari beberapa tutorial dan panduan memulai, menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

Konsol

1. Hapus lingkungan Cloud Composer. Anda juga akan menghapus bucket lingkungan selama prosedur ini.
2. Hapus setiap kebijakan pemberitahuan yang Anda buat di Cloud Monitoring.

Terraform

1. Pastikan skrip Terraform Anda tidak berisi entri untuk resource yang masih diperlukan oleh project Anda. Misalnya, Anda mungkin ingin tetap mengaktifkan beberapa API dan izin IAM masih ditetapkan (jika Anda menambahkan definisi tersebut ke skrip Terraform).
2. Jalankan terraform destroy.
3. Menghapus bucket lingkungan secara manual. Cloud Composer tidak otomatis menghapusnya. Anda dapat melakukannya dari Konsol Google Cloud atau Google Cloud CLI.

Langkah selanjutnya

• Mengoptimalkan lingkungan
• Menskalakan lingkungan
• Mengelola label lingkungan dan memerinci biaya lingkungan