Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Anda dapat menggunakan Cloud Monitoring dan Cloud Logging dengan Cloud Composer.
Cloud Monitoring memberikan visibilitas pada performa, waktu beroperasi, dan respons keseluruhan untuk aplikasi yang didukung oleh teknologi cloud. Cloud Monitoring mengumpulkan dan menyerap metrik, peristiwa, dan metadata dari Cloud Composer untuk menghasilkan insight dalam dasbor dan diagram. Anda dapat menggunakan Cloud Monitoring untuk memahami performa dan kesehatan lingkungan Cloud Composer dan metrik Airflow.
Logging mencatat log yang dihasilkan oleh container penjadwal dan pekerja di cluster lingkungan Anda. Log ini berisi informasi tingkat sistem dan dependensi Airflow untuk membantu proses debug. Untuk mengetahui informasi tentang cara melihat log, lihat Melihat log Airflow.
Sebelum memulai
Izin berikut diperlukan untuk mengakses log dan metrik untuk lingkungan Cloud Composer Anda:
- Akses hanya baca ke log dan metrik:
logging.viewerdanmonitoring.viewer - Akses hanya baca ke log, termasuk log pribadi:
logging.privateLogViewer - Akses baca/tulis ke metrik:
monitoring.editor
Untuk mengetahui informasi selengkapnya tentang izin dan peran lain untuk Cloud Composer, lihat Kontrol akses.
- Akses hanya baca ke log dan metrik:
Untuk menghindari logging duplikat, Cloud Logging untuk Google Kubernetes Engine dinonaktifkan.
Cloud Logging menghasilkan entri untuk setiap status dan peristiwa yang terjadi di project Google Cloud Anda. Anda dapat menggunakan filter pengecualian untuk mengurangi volume log, termasuk log yang dihasilkan Cloud Logging untuk Cloud Composer.
Metrik lingkungan
Anda dapat menggunakan metrik lingkungan untuk memeriksa penggunaan resource dan kondisi lingkungan Cloud Composer Anda.
Kesehatan lingkungan
Untuk memeriksa kualitas lingkungan, Anda dapat menggunakan metrik status kualitas berikut:
| Metrik | API |
|---|---|
| Kesehatan lingkungan |
composer.googleapis.com/environment/healthy |
Cloud Composer menjalankan DAG keaktifan bernama airflow_monitoring,
yang berjalan sesuai jadwal dan melaporkan kesehatan lingkungan sebagai berikut:
- Jika operasi DAG keaktifan berhasil diselesaikan, status
kesehatan adalah
True. - Jika DAG run keaktifan gagal, status kesehatan adalah
False.
DAG liveness disimpan di folder dags/ dan dapat dilihat di
UI Airflow. Frekuensi dan konten DAG live tidak dapat diubah
dan tidak boleh dimodifikasi. Perubahan pada DAG keaktifan tidak dipertahankan.
Pemeriksaan dependensi lingkungan
Cloud Composer secara berkala memeriksa apakah lingkungan dapat menjangkau layanan yang diperlukan untuk operasinya dan apakah lingkungan memiliki izin yang cukup untuk berinteraksi dengan layanan tersebut. Contoh layanan yang diperlukan untuk pengoperasian lingkungan adalah Artifact Registry, Cloud Logging, dan Cloud Monitoring.
Metrik berikut tersedia untuk pemeriksaan dependensi lingkungan:
| Metrik | API | Deskripsi |
|---|---|---|
| Jumlah pemeriksaan dependensi |
composer.googleapis.com/environment/health/dependency_check_count
|
Metrik ini melacak jumlah pemeriksaan aksesibilitas yang dilakukan pada layanan yang diperlukan untuk pengoperasian lingkungan. |
| Jumlah pemeriksaan izin dependensi |
composer.googleapis.com/environment/health/dependency_permissions_check_count
|
Metrik ini melacak jumlah pemeriksaan izin yang dilakukan pada layanan yang diperlukan untuk operasi lingkungan. |
Kesehatan database
Untuk memeriksa kondisi database, Anda dapat menggunakan metrik status respons berikut: composer.googleapis.com/environment/database_health.
Pod pemantauan Airflow melakukan ping ke database setiap menit dan melaporkan status
kesehatan sebagai True jika koneksi SQL dapat dibuat atau False
jika tidak.
Metrik database
Metrik lingkungan berikut tersedia untuk database metadata Airflow yang digunakan oleh lingkungan Cloud Composer. Anda dapat menggunakan metrik ini untuk memantau performa dan penggunaan resource instance database lingkungan Anda.
Misalnya, Anda mungkin ingin mengupgrade jenis mesin Cloud SQL lingkungan Anda jika lingkungan Anda mendekati batas resource. Atau, Anda mungkin ingin mengoptimalkan biaya yang terkait dengan penggunaan database metadata Airflow dengan melakukan pembersihan database, untuk menjaga penyimpanan di bawah batas tertentu.
| Metrik database | API | Deskripsi |
|---|---|---|
| Penggunaan CPU database |
composer.googleapis.com/environment/database/cpu/usage_time
|
|
| Core CPU database |
composer.googleapis.com/environment/database/cpu/reserved_cores
|
|
| Penggunaan CPU database |
composer.googleapis.com/environment/database/cpu/utilization
|
|
| Penggunaan Memori Database |
composer.googleapis.com/environment/database/memory/bytes_used
|
|
| Kuota Memori Database |
composer.googleapis.com/environment/database/memory/quota
|
|
| Penggunaan Memori Database |
composer.googleapis.com/environment/database/memory/utilization
|
|
| Penggunaan Disk Database |
composer.googleapis.com/environment/database/disk/bytes_used
|
|
| Kuota Disk Database |
composer.googleapis.com/environment/database/disk/quota
|
|
| Penggunaan Disk Database |
composer.googleapis.com/environment/database/disk/utilization
|
|
| Batas Koneksi Database |
composer.googleapis.com/environment/database/network/max_connections
|
|
| Koneksi Database |
composer.googleapis.com/environment/database/network/connections
|
|
| Database tersedia untuk failover |
composer.googleapis.com/environment/database/available_for_failover
|
Adalah True jika instance Cloud SQL lingkungan berada dalam mode ketersediaan tinggi dan siap untuk failover. |
| Jumlah permintaan failover otomatis database |
composer.googleapis.com/environment/database/auto_failover_request_count
|
Jumlah total permintaan failover otomatis instance Cloud SQL lingkungan. |
Metrik pekerja
Metrik lingkungan berikut tersedia untuk worker Airflow di lingkungan Cloud Composer 3 dan Cloud Composer 2.
Metrik ini digunakan untuk menskalakan secara otomatis jumlah pekerja di lingkungan Anda. Horizontal Pod Autoscaler menetapkan metrik ini, lalu komponen lingkungan Airflow Worker Set Controller menggunakan metrik ini untuk menskalakan jumlah pekerja Airflow ke atas atau ke bawah, bergantung pada nilai metrik ini.
| Metrik pekerja | API |
|---|---|
| Target Faktor Skala |
composer.googleapis.com/environment/worker/scale_factor_target |
Metrik penjadwal
| Nama | API | Deskripsi |
|---|---|---|
| Penjadwal aktif |
composer.googleapis.com/environment/active_schedulers
|
Jumlah instance penjadwal aktif. |
Metrik pemicu
| Nama | API | Deskripsi |
|---|---|---|
| Pemicu aktif |
composer.googleapis.com/environment/active_triggerers
|
Jumlah instance pemicu yang aktif. |
Metrik server web
Metrik lingkungan berikut tersedia untuk server web Airflow yang digunakan oleh lingkungan Cloud Composer. Anda dapat menggunakan metrik ini untuk memeriksa performa dan penggunaan resource instance server web Airflow di lingkungan Anda.
Misalnya, Anda mungkin ingin mengupgrade jenis mesin server web jika terus-menerus mendekati batas resource.
| Nama | API | Deskripsi |
|---|---|---|
| Server web aktif |
composer.googleapis.com/environment/active_webservers
|
Jumlah instance server web aktif. |
| Penggunaan CPU server web |
composer.googleapis.com/environment/web_server/cpu/usage_time
|
|
| Kuota CPU server web |
composer.googleapis.com/environment/web_server/cpu/reserved_cores
|
|
| Penggunaan memori server web |
composer.googleapis.com/environment/web_server/memory/bytes_used
|
|
| Kuota memori server web |
composer.googleapis.com/environment/web_server/memory/quota
|
Kuota untuk layanan yang digunakan oleh lingkungan
Cloud Composer menggunakan layanan Google Cloud lainnya. Layanan ini memiliki kuota level project, yang berlaku saat Anda menggunakan Cloud Composer.
Di Cloud Composer 3, cluster lingkungan berada di project tenant. Cloud Composer 3 menyediakan metrik berikut yang melaporkan penggunaan kuota dan batas kuota yang sesuai untuk layanan yang digunakan oleh lingkungan Anda di project tenant.
| Metrik | API | Deskripsi |
|---|---|---|
| Batas kuota CPU untuk workload Cloud Composer |
composer.googleapis.com/environment/workloads_cpu_quota
|
(Khusus Cloud Composer 3) Kuota alokasi CPU Compute Engine untuk total jumlah CPU virtual yang digunakan oleh lingkungan. Batas berlaku per lingkungan. Jika project Anda memiliki beberapa lingkungan Cloud Composer 3, setiap lingkungan memiliki batas kuotanya sendiri. |
| Penggunaan kuota CPU untuk workload Cloud Composer |
composer.googleapis.com/environment/workloads_cpu_quota_usage
|
(Khusus Cloud Composer 3) Penggunaan kuota alokasi CPU Compute Engine oleh lingkungan. |
Metrik DAG
Untuk membantu Anda memantau efisiensi eksekusi DAG dan mengidentifikasi tugas yang menyebabkan latensi tinggi, metrik DAG berikut tersedia.
| Metrik DAG | API |
|---|---|
| Jumlah operasi DAG |
composer.googleapis.com/workflow/run_count |
| Durasi setiap operasi DAG |
composer.googleapis.com/workflow/run_duration |
| Jumlah operasi tugas |
composer.googleapis.com/workflow/task/run_count |
| Durasi setiap tugas berjalan |
composer.googleapis.com/workflow/task/run_duration |
Cloud Monitoring hanya menampilkan metrik untuk alur kerja dan tugas yang telah selesai (berhasil atau gagal). Tidak Ada Data ditampilkan jika tidak ada aktivitas alur kerja dan untuk alur kerja serta tugas yang sedang berjalan.
Metrik Celery Executor
Metrik Celery Executor berikut tersedia. Metrik ini dapat membantu Anda menentukan apakah ada resource pekerja yang memadai di lingkungan Anda.
| Metrik Celery Executor | API |
|---|---|
| Jumlah tugas dalam antrean |
composer.googleapis.com/environment/task_queue_length |
| Jumlah pekerja Celery online |
composer.googleapis.com/environment/num_celery_workers |
Metrik Airflow
Metrik Airflow berikut tersedia. Metrik ini sesuai dengan metrik yang disediakan oleh Airflow.
| Nama | API | Nama di Airflow | Deskripsi |
|---|---|---|---|
| Kode keluar bukan nol tugas Celery |
composer.googleapis.com/environment/celery/execute_command_failure_count
|
celery.execute_command.failure
|
Jumlah kode keluar non-nol dari tugas Celery. |
| Waktu tunggu publikasi tugas Celery |
composer.googleapis.com/environment/celery/task_timeout_error_count
|
celery.task_timeout_error
|
Jumlah error AirflowTaskTimeout yang muncul saat memublikasikan Tugas ke Broker Celery. |
| Durasi pengambilan DAG berseri |
composer.googleapis.com/environment/collect_db_dag_duration
|
collect_db_dags
|
Waktu yang diperlukan untuk mengambil semua DAG yang Diserialkan dari database. |
| Error pembaruan DAG |
composer.googleapis.com/environment/dag_callback/exception_count
|
dag.callback_exceptions
|
Jumlah pengecualian yang muncul dari callback DAG. Jika hal ini terjadi, artinya callback DAG tidak berfungsi. |
| Error pembaruan DAG |
composer.googleapis.com/environment/dag_file/refresh_error_count
|
dag_file_refresh_error
|
Jumlah kegagalan saat memuat file DAG. |
| Waktu pemuatan file DAG |
composer.googleapis.com/environment/dag_processing/last_duration
|
dag_processing.last_duration.<dag_file>
|
Waktu yang diperlukan untuk memuat file DAG tertentu. |
| Waktu sejak pemrosesan file DAG |
composer.googleapis.com/environment/dag_processing/last_run_elapsed_time
|
dag_processing.last_run.seconds_ago.<dag_file>
|
Detik sejak file DAG terakhir diproses. |
| Jumlah penundaan DagFileProcessorManager |
composer.googleapis.com/environment/dag_processing/manager_stall_count
|
dag_processing.manager_stalls
|
Jumlah proses DagFileProcessorManager yang terhenti. |
| Error penguraian DAG |
composer.googleapis.com/environment/dag_processing/parse_error_count
|
dag_processing.import_errors
|
Jumlah error yang dihasilkan saat mengurai file DAG. |
| Menjalankan proses penguraian DAG |
composer.googleapis.com/environment/dag_processing/processes
|
dag_processing.processes
|
Jumlah proses penguraian DAG yang sedang berjalan. |
| Waktu tunggu pemroses |
composer.googleapis.com/environment/dag_processing/processor_timeout_count
|
dag_processing.processor_timeouts
|
Jumlah pemroses file yang dihentikan karena membutuhkan waktu terlalu lama. |
| Waktu yang diperlukan untuk memindai dan mengimpor semua file DAG |
composer.googleapis.com/environment/dag_processing/total_parse_time
|
dag_processing.total_parse_time
|
Total waktu yang diperlukan untuk memindai dan mengimpor semua file DAG satu kali. |
| Ukuran bag DAG saat ini |
composer.googleapis.com/environment/dagbag_size
|
dagbag_size
|
Jumlah DAG yang ditemukan saat penjadwal menjalankan pemindaian berdasarkan konfigurasinya. |
| Notifikasi email pelanggaran SLA yang gagal |
composer.googleapis.com/environment/email/sla_notification_failure_count
|
sla_email_notification_failure
|
Jumlah upaya notifikasi email pelanggaran SLA yang gagal. |
| Membuka slot di eksekutor |
composer.googleapis.com/environment/executor/open_slots
|
executor.open_slots
|
Jumlah slot terbuka pada eksekutor. |
| Tugas dalam antrean di eksekutor |
composer.googleapis.com/environment/executor/queued_tasks
|
executor.queued_tasks
|
Jumlah tugas dalam antrean di eksekutor. |
| Menjalankan tugas di executor |
composer.googleapis.com/environment/executor/running_tasks
|
executor.running_tasks
|
Jumlah tugas yang sedang berjalan di eksekutor. |
| Keberhasilan/kegagalan instance tugas |
composer.googleapis.com/environment/finished_task_instance_count
|
ti_failures, ti_successes
|
Keberhasilan/kegagalan instance tugas secara keseluruhan. |
| Tugas yang dimulai/selesai |
composer.googleapis.com/environment/job/count
|
<job_name>_start, <job_name>_end
|
Jumlah tugas yang dimulai/selesai, seperti SchedulerJob, LocalTaskJob. |
| Kegagalan heartbeat tugas |
composer.googleapis.com/environment/job/heartbeat_failure_count
|
<job_name>_heartbeat_failure
|
Jumlah detak jantung yang gagal untuk tugas. |
| Tugas yang dibuat per operator |
composer.googleapis.com/environment/operator/created_task_instance_count
|
task_instance_created-<operator_name>
|
Jumlah instance tugas yang dibuat untuk operator tertentu. |
| Eksekusi operator |
composer.googleapis.com/environment/operator/finished_task_instance_count
|
operator_failures_<operator_name>, operator_successes_<operator_name>
|
Jumlah instance tugas yang selesai per operator |
| Membuka slot di kumpulan |
composer.googleapis.com/environment/pool/open_slots
|
pool.open_slots.<pool_name>
|
Jumlah slot terbuka di kumpulan. |
| Slot dalam antrean di kumpulan |
composer.googleapis.com/environment/pool/queued_slots
|
pool.queued_slots.<pool_name>
|
Jumlah slot dalam antrean di kumpulan. |
| Menjalankan slot di kumpulan |
composer.googleapis.com/environment/pool/running_slots
|
pool.running_slots.<pool_name>
|
Jumlah slot yang berjalan di pool. |
| Tugas yang tidak dapat dijalankan di kumpulan |
composer.googleapis.com/environment/pool/starving_tasks
|
pool.starving_tasks.<pool_name>
|
Jumlah tugas yang tidak dapat dieksekusi di kumpulan. |
| Waktu yang dihabiskan di bagian penting penjadwal |
composer.googleapis.com/environment/scheduler/critical_section_duration
|
scheduler.critical_section_duration
|
Waktu yang dihabiskan di bagian penting loop penjadwal. Hanya satu penjadwal yang dapat memasuki loop ini dalam satu waktu. |
| Kegagalan penguncian bagian penting |
composer.googleapis.com/environment/scheduler/critical_section_lock_failure_count
|
scheduler.critical_section_busy
|
Jumlah waktu proses penjadwal mencoba mendapatkan kunci di bagian penting (diperlukan untuk mengirim tugas ke executor) dan mendapati bahwa bagian tersebut dikunci oleh proses lain. |
| Tugas yang dihentikan secara eksternal |
composer.googleapis.com/environment/scheduler/task/externally_killed_count
|
scheduler.tasks.killed_externally
|
Jumlah tugas yang dihentikan secara eksternal. |
| Tugas yang tidak terkait |
composer.googleapis.com/environment/scheduler/task/orphan_count
|
scheduler.orphaned_tasks.cleared, scheduler.orphaned_tasks.adopted
|
Jumlah tugas tanpa induk yang dihapus/diadopsi oleh penjadwal. |
| Tugas yang berjalan/tidak berjalan/dapat dieksekusi |
composer.googleapis.com/environment/scheduler/tasks
|
scheduler.tasks.running, scheduler.tasks.starving, scheduler.tasks.executable
|
Jumlah tugas yang sedang berjalan/tidak berjalan/dapat dieksekusi. |
| Heartbeat penjadwal |
composer.googleapis.com/environment/scheduler_heartbeat_count
|
scheduler_heartbeat
|
Heartbeat scheduler. |
| Notifikasi panggilan balik SLA yang gagal |
composer.googleapis.com/environment/sla_callback_notification_failure_count
|
sla_callback_notification_failure
|
Jumlah upaya notifikasi panggilan balik yang gagal karena pelanggaran SLA. |
| Kegagalan pengecualian poking sensor pintar |
composer.googleapis.com/environment/smart_sensor/exception_failures
|
smart_sensor_operator.exception_failures
|
Jumlah kegagalan yang disebabkan oleh pengecualian dalam loop probing sensor pintar sebelumnya. |
| Kegagalan infrastruktur probing sensor pintar |
composer.googleapis.com/environment/smart_sensor/infra_failures
|
smart_sensor_operator.infra_failures
|
Jumlah kegagalan infrastruktur dalam loop probing sensor pintar sebelumnya. |
| Pengecualian untuk fitur sentuhan sensor pintar |
composer.googleapis.com/environment/smart_sensor/poked_exception
|
smart_sensor_operator.poked_exception
|
Jumlah pengecualian dalam loop probing sensor pintar sebelumnya. |
| Tugas berhasil dipicu oleh sensor pintar |
composer.googleapis.com/environment/smart_sensor/poked_success
|
smart_sensor_operator.poked_success
|
Jumlah tugas yang berhasil baru yang dipicu oleh sensor pintar dalam loop pemicuan sebelumnya. |
| Tugas yang dipicu sensor pintar |
composer.googleapis.com/environment/smart_sensor/poked_tasks
|
smart_sensor_operator.poked_tasks
|
Jumlah tugas yang dipicu oleh sensor pintar dalam loop pemicuan sebelumnya. |
| Instance tugas yang berhasil sebelumnya |
composer.googleapis.com/environment/task_instance/previously_succeeded_count
|
previously_succeeded
|
Jumlah instance tugas yang berhasil sebelumnya. |
| Tugas zombie yang dihentikan |
composer.googleapis.com/environment/zombie_task_killed_count
|
zombies_killed
|
Jumlah tugas zombie yang dihentikan. |
| Durasi operasi DAG |
composer.googleapis.com/workflow/dag/run_duration
|
dagrun.duration.success.<dag_id>, dagrun.duration.failed.<dag_id>
|
Waktu yang diperlukan DagRun untuk mencapai status berhasil/gagal. |
| Durasi pemeriksaan dependensi DAG |
composer.googleapis.com/workflow/dependency_check_duration
|
dagrun.dependency-check.<dag_id>
|
Waktu yang diperlukan untuk memeriksa dependensi DAG. Metrik ini berbeda dengan metrik pemeriksaan izin dan dependensi lingkungan serta berlaku untuk DAG |
| Penundaan jadwal operasi DAG |
composer.googleapis.com/workflow/schedule_delay
|
dagrun.schedule_delay.<dag_id>
|
Waktu penundaan antara tanggal mulai DagRun terjadwal dan tanggal mulai DagRun sebenarnya. |
| Tugas yang telah selesai |
composer.googleapis.com/workflow/task_instance/finished_count
|
ti.finish.<dag_id>.<task_id>.<state>
|
Jumlah tugas yang telah diselesaikan dalam DAG tertentu. |
| Durasi eksekusi instance tugas |
composer.googleapis.com/workflow/task_instance/run_duration
|
dag.<dag_id>.<task_id>.duration
|
Waktu yang diperlukan untuk menyelesaikan tugas. |
| Tugas yang dimulai |
composer.googleapis.com/workflow/task_instance/started_count
|
ti.start.<dag_id>.<task_id>
|
Jumlah tugas yang dimulai dalam DAG tertentu. |
| Durasi antrean instance tugas |
composer.googleapis.com/workflow/task_instance/queued_duration
|
dag.<dag_id>.<task_id>.queued_duration
|
Waktu yang dihabiskan tugas dalam status Dalam antrean sebelum beralih ke status Berjalan. |
| Penggunaan CPU tugas |
composer.googleapis.com/workflow/task/cpu_usage
|
task.cpu_usage.<dag_id>.<task_id>
|
Persentase CPU yang digunakan oleh tugas. |
| Penggunaan memori tugas |
composer.googleapis.com/workflow/task/mem_usage
|
task.mem_usage.<dag_id>.<task_id>
|
Persentase memori yang digunakan oleh tugas. |
| Tugas dihapus dari DAG |
composer.googleapis.com/workflow/task/removed_from_dag_count
|
task_removed_from_dag.<dag_id>
|
Jumlah tugas yang dihapus untuk DAG tertentu (yaitu, tugas tidak lagi ada di DAG). |
| Tugas dipulihkan ke DAG |
composer.googleapis.com/workflow/task/restored_to_dag_count
|
task_restored_to_dag.<dag_id>
|
Jumlah tugas yang dipulihkan untuk DAG tertentu (yaitu, instance tugas yang sebelumnya dalam status REMOVED di DB ditambahkan ke file DAG). |
| Penundaan jadwal tugas |
composer.googleapis.com/workflow/task/schedule_delay
|
dagrun.schedule_delay.<dag_id>
|
Waktu yang berlalu antara start_date tugas pertama dan perkiraan mulai dagrun. |
| Jumlah total pemicu yang berjalan |
composer.googleapis.com/workload/triggerer/num_running_triggers
|
triggers.running
|
Jumlah pemicu yang berjalan per instance pemicu. |
| Pemicu pemblokiran |
composer.googleapis.com/environment/trigger/blocking_count
|
triggers.blocked_main_thread
|
Jumlah pemicu yang memblokir thread utama (kemungkinan karena tidak sepenuhnya asinkron). |
| Pemicu yang gagal |
composer.googleapis.com/environment/trigger/failed_count
|
triggers.failed
|
Jumlah pemicu yang gagal karena error sebelum dapat memicu peristiwa. |
| Pemicu yang berhasil |
composer.googleapis.com/environment/trigger/succeeded_count
|
triggers.succeeded
|
Jumlah pemicu yang telah memicu setidaknya satu peristiwa. |
Menggunakan Monitoring untuk lingkungan Cloud Composer
Konsol
Anda dapat menggunakan Metrics Explorer untuk menampilkan metrik yang terkait dengan lingkungan dan DAG Anda:
Resource Lingkungan Cloud Composer berisi metrik untuk lingkungan.
Untuk menampilkan metrik untuk lingkungan tertentu, filter metrik menurut label
environment_name. Anda juga dapat memfilter menurut label lain, seperti lokasi lingkungan atau versi gambar.Resource Alur Kerja Cloud Composer berisi metrik untuk DAG.
Untuk menampilkan metrik untuk DAG atau tugas tertentu, filter metrik menurut label
workflow_namedantask_name. Anda juga dapat memfilter menurut label lain, seperti status tugas atau nama operator Airflow.
API dan gcloud
Anda dapat membuat dan mengelola dasbor kustom dan widget melalui
Cloud Monitoring API dan perintah gcloud monitoring dashboards. Untuk mengetahui informasi selengkapnya, lihat
Mengelola dasbor menurut API.
Untuk mengetahui informasi selengkapnya tentang resource, metrik, dan filter, lihat referensi untuk Cloud Monitoring API:
Menggunakan pemberitahuan Cloud Monitoring
Anda dapat membuat kebijakan pemberitahuan untuk memantau nilai metrik dan memberi tahu Anda saat metrik tersebut melanggar ketentuan.
-
Di konsol Google Cloud , buka halaman notifications Alerting:
Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.
- Jika Anda belum membuat saluran notifikasi dan ingin menerima notifikasi, klik Edit Notification Channels dan tambahkan saluran notifikasi Anda. Kembali ke halaman Alerting setelah menambahkan saluran.
- Dari halaman Alerting, pilih Create policy.
- Untuk memilih metrik, luaskan menu Pilih metrik, lalu lakukan tindakan berikut:
- Untuk membatasi menu pada entri yang relevan, masukkan
Cloud Composerke kolom filter. Jika tidak ada hasil setelah memfilter menu, nonaktifkan tombol Hanya tampilkan resource & metrik aktif. - Untuk Jenis resource, pilih Lingkungan Cloud Composer atau Alur Kerja Cloud Composer.
- Pilih Kategori metrik dan Metrik, lalu pilih Terapkan.
- Untuk membatasi menu pada entri yang relevan, masukkan
- Klik Berikutnya.
- Setelan di halaman Konfigurasi pemicu notifikasi menentukan kapan notifikasi dipicu. Pilih jenis kondisi dan, jika perlu, tentukan batasnya. Untuk informasi selengkapnya, lihat Membuat kebijakan pemberitahuan batas metrik.
- Klik Berikutnya.
- Opsional: Untuk menambahkan notifikasi ke kebijakan pemberitahuan, klik Notification channels. Dalam dialog ini, pilih satu atau beberapa saluran notifikasi dari menu, lalu klik OK.
- Opsional: Perbarui Incident autoclose duration. Kolom ini menentukan kapan Monitoring akan menutup insiden jika data metrik tidak ada.
- Opsional: Klik Documentation, lalu tambahkan informasi apa pun yang ingin Anda sertakan dalam pesan notifikasi.
- Klik Alert name dan masukkan nama untuk kebijakan pemberitahuan itu.
- Klik Create Policy.