Anda dapat menggunakan Cloud Monitoring untuk mengamati tren dalam log Cloud Logging untuk pemanggilan alur kerja Dataform dan untuk memberi tahu Anda saat kondisi yang Anda jelaskan terjadi.
Setiap pemanggilan alur kerja Dataform dicatat ke dalam log menggunakan Cloud Logging. Logging diaktifkan secara otomatis untuk pemanggilan alur kerja Dataform, yang dapat menimbulkan tagihan penagihan Cloud Logging. Untuk mengetahui informasi selengkapnya, lihat Harga Dataform.
Untuk menerima pemberitahuan saat pemanggilan alur kerja Dataform gagal, Anda dapat membuat pemberitahuan berbasis log.
Anda dapat membuat pemberitahuan berbasis log dari halaman Logs Explorer di konsol Google Cloud atau menggunakan Monitoring API. Panduan ini menjelaskan cara membuat pemberitahuan berbasis log untuk kegagalan pemanggilan alur kerja Dataform menggunakan Logs Explorer.
Sebelum memulai
Untuk membuat dan mengelola pemberitahuan berbasis log, pastikan peran Identity and Access Management Anda menyertakan izin yang dijelaskan dalam Izin untuk pemberitahuan berbasis log.
Mengonfigurasi pemberitahuan berbasis log untuk pemanggilan alur kerja Dataform yang gagal
Untuk mengonfigurasi pemberitahuan berbasis log untuk pemanggilan alur kerja Dataform yang gagal, ikuti langkah-langkah berikut:
Di konsol Google Cloud, pilih Logging, lalu pilih Logs Explorer:
Di panel Query, pilih Show query dan masukkan kueri berikut:
resource.type="dataform.googleapis.com/Repository" jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry" jsonPayload.terminalState="FAILED"
Kueri ini memberi tahu Anda tentang semua pemanggilan alur kerja Dataform yang gagal.
Opsional: Untuk memfilter pemanggilan alur kerja yang gagal menurut konfigurasi rilis, tambahkan hal berikut ke kueri:
jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"
Opsional: Untuk memfilter pemanggilan alur kerja yang gagal berdasarkan konfigurasi alur kerja, tambahkan hal berikut ke kueri:
jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"
Kueri berikut akan memberi tahu saat pemanggilan alur kerja Dataform yang terkait dengan konfigurasi rilis
daily
dan konfigurasi alur kerjaproduction
gagal:resource.type="dataform.googleapis.com/Repository" jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry" jsonPayload.terminalState="FAILED" jsonPayload.releaseConfigId="daily" jsonPayload.workflowConfigId="production"
Opsional: Gunakan Run query di panel Query results untuk memvalidasi kueri.
Di header panel Query results, klik Create alert. Jika jendela Anda sempit, opsi Create alert mungkin muncul di menu Actions.
Di panel Detail pemberitahuan, beri nama dan deskripsi pada pemberitahuan:
Masukkan nama untuk pemberitahuan Anda di kolom Nama Pemberitahuan. Misalnya: "Dataform: kegagalan alur kerja".
Masukkan deskripsi pemberitahuan ini. Anda juga dapat menyertakan informasi yang mungkin membantu penerima notifikasi mendiagnosis masalah. String berikut merangkum alasan pemberitahuan:
Log-based alert in project ${project} detected a failed Dataform workflow.
Untuk mengetahui informasi tentang cara memformat dan menyesuaikan konten kolom ini, lihat Menggunakan Markdown dan variabel dalam template dokumentasi.
Untuk melanjutkan ke langkah berikutnya, klik Berikutnya.
Di panel Choose logs to include in the alert, periksa kueri dan hasil dengan mengklik Preview logs.
Sebaiknya buat kueri di panel Query Logs Explorer. Kueri yang Anda buat di panel Kueri juga ditampilkan di panel ini.
Anda dapat mengedit kueri di panel ini, jika perlu. Jika Anda mengedit kueri, periksa hasilnya dengan mengklik Pratinjau log.
Klik Berikutnya.
Pilih waktu minimum antarnotifikasi. Nilai ini memungkinkan Anda mengontrol jumlah notifikasi yang Anda terima dari pemberitahuan ini jika dipicu beberapa kali. Untuk contoh ini, pilih 5 menit dari opsi.
Opsional: Pilih durasi penutupan insiden otomatis. Secara default, durasi tutup otomatis insiden ditetapkan ke 7 hari.
Klik Berikutnya.
Pilih satu atau beberapa saluran notifikasi untuk pemberitahuan Anda. Untuk contoh ini, pilih saluran notifikasi email.
Jika sudah mengonfigurasi saluran notifikasi email, Anda dapat memilih saluran tersebut dari daftar. Jika belum, klik Kelola saluran notifikasi dan tambahkan saluran email. Untuk informasi tentang cara membuat saluran notifikasi, lihat Mengelola saluran notifikasi.
Klik Simpan.
Pemberitahuan berbasis log Anda kini siap diuji. Untuk petunjuk cara menguji pemberitahuan, lihat Menguji contoh pemberitahuan berbasis log.
Langkah selanjutnya
- Pelajari lebih lanjut cara mengonfigurasi pemberitahuan berbasis log dengan Cloud Logging.
- Pelajari log Cloud Logging untuk Dataform lebih lanjut.
- Pelajari lebih lanjut metrik berbasis log dan pemberitahuan berbasis log Cloud Monitoring.
- Baca ringkasan Cloud Audit Logs dan Cloud Monitoring.