Memantau operasi

Dokumen ini menunjukkan cara melakukan hal berikut:

Sebelum memulai

Untuk memantau log eksekusi, pastikan Anda melakukan hal berikut:

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka Dataform

  2. Pilih atau buat repositori.

  3. Pilih atau buat ruang kerja pengembangan.

  4. Memicu eksekusi setidaknya satu kali.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna melihat log eksekusi, minta administrator untuk memberi Anda peran IAM Dataform Editor (roles/dataform.editor) di repositori workflowInvocations. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Peran IAM Logs Viewer (roles/logging.viewer) memberi Anda akses hanya baca ke semua fitur Cloud Logging. Untuk mengetahui informasi selengkapnya tentang peran dan izin Identity and Access Management yang berlaku untuk data Logging, lihat Kontrol akses dengan IAM.

Untuk membuat dan mengelola pemberitahuan berbasis log, pastikan peran IAM Anda mencakup izin yang dijelaskan dalam Peran yang diperlukan untuk membuat dan menggunakan kebijakan pemberitahuan berbasis log.

Memantau log eksekusi

Bagian ini menunjukkan cara melihat log eksekusi di Dataform.

Anda dapat melihat log semua eksekusi yang dipicu di repositori, dan log eksekusi yang dipicu di ruang kerja dalam 24 jam terakhir.

Memeriksa log eksekusi repositori

Untuk melihat log semua eksekusi yang dipicu di repositori, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka Dataform

  2. Buka repositori Anda.

  3. Klik Log Eksekusi Alur Kerja.

  4. Untuk melihat detail eksekusi, klik eksekusi.

  5. Untuk melihat detail tindakan dalam eksekusi, klik Lihat detail.

Memeriksa log eksekusi ruang kerja

Untuk melihat log dari 1.000 eksekusi terbaru yang dipicu di ruang kerja dalam 24 jam terakhir, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka halaman Dataform.

    Buka Dataform

  2. Buka repositori Anda, lalu pilih ruang kerja Anda.

  3. Di ruang kerja Anda, klik Executions.

  4. Untuk melihat detail eksekusi, klik eksekusi.

  5. Untuk melihat detail tindakan dalam eksekusi, klik Lihat detail.

Melihat log Logging untuk Dataform

Bagian ini menunjukkan cara melihat log Cloud Logging untuk pemanggilan alur kerja Dataform.

Setiap pemanggilan alur kerja Dataform dicatat ke dalam log menggunakan Logging. Logging diaktifkan secara otomatis untuk pemanggilan alur kerja Dataform, yang dapat menimbulkan tagihan penagihan Logging. Untuk mengetahui informasi selengkapnya, lihat Harga Dataform.

Melihat log

Untuk informasi tentang cara memfilter log Logging di Logs Explorer, lihat Melihat log menggunakan Logs Explorer.

Log Dataform diindeks oleh repositori Dataform.

Format log

Dataform mengirim pesan log pemanggilan alur kerja dalam format berikut:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

Apa itu log?

Entri log Dataform berisi informasi yang berguna untuk memantau dan men-debug pemanggilan alur kerja Anda.

Entri log berisi jenis informasi berikut:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: dapat berupa INFO, WARNING, atau ERROR
  • terminalState: dapat berupa SUCCEEDED, CANCELED, atau FAILED
  • timestamp
  • @type

Mengonfigurasi metrik dan pemberitahuan dengan Cloud Monitoring

Anda dapat menggunakan Monitoring untuk mengamati tren dalam log dan memberi tahu Anda saat kondisi yang Anda jelaskan terjadi.

Untuk menyediakan data dari log Anda ke Monitoring, logging menawarkan hal berikut:

  • Metrik berbasis log, yang dapat Anda gunakan sebagai berikut:
    • Untuk membuat kebijakan pemberitahuan yang memberi tahu Anda tentang perubahan dari waktu ke waktu.
    • Untuk membuat diagram yang menampilkan perubahan dari waktu ke waktu.
  • Notifikasi berbasis log, yang memberi tahu Anda setiap kali peristiwa tertentu muncul di log.

Untuk informasi selengkapnya tentang metrik berbasis log dan pemberitahuan berbasis log, lihat Memantau log.

Untuk mempelajari cara mengonfigurasi pemberitahuan berbasis log untuk pemanggilan alur kerja Dataform, lihat Mengonfigurasi pemberitahuan untuk pemanggilan alur kerja yang gagal.

Mengonfigurasi pemberitahuan untuk pemanggilan alur kerja yang gagal

Bagian ini menunjukkan cara mengonfigurasi pemberitahuan berbasis log untuk pemanggilan alur kerja Dataform yang gagal menggunakan Logs Explorer.

Anda dapat menggunakan Monitoring untuk mengamati tren dalam log Logging untuk pemanggilan alur kerja Dataform dan untuk memberi tahu Anda saat kondisi yang Anda jelaskan terjadi.

Setiap pemanggilan alur kerja Dataform dicatat ke dalam log menggunakan Logging. Logging diaktifkan secara otomatis untuk pemanggilan alur kerja Dataform, yang dapat menimbulkan tagihan penagihan Logging. Untuk mengetahui informasi selengkapnya, lihat Harga Dataform.

Untuk menerima pemberitahuan saat pemanggilan alur kerja Dataform gagal, Anda dapat membuat pemberitahuan berbasis log.

Anda dapat membuat pemberitahuan berbasis log dari halaman Logs Explorer di konsol Google Cloud atau menggunakan Monitoring API. Bagian ini menjelaskan cara membuat pemberitahuan berbasis log untuk kegagalan pemanggilan alur kerja Dataform menggunakan Logs Explorer.

Untuk mengonfigurasi pemberitahuan berbasis log untuk pemanggilan alur kerja Dataform yang gagal, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, pilih Logging, lalu pilih Logs Explorer.

    Buka Logs Explorer

  2. Di panel Query, pilih Show query dan masukkan kueri berikut:

        resource.type="dataform.googleapis.com/Repository"
    jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
    jsonPayload.terminalState="FAILED"

    Kueri ini memberi tahu Anda tentang semua pemanggilan alur kerja Dataform yang gagal.

    1. Opsional: Untuk memfilter pemanggilan alur kerja yang gagal menurut konfigurasi rilis, tambahkan hal berikut ke kueri:

          jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"

      Ganti RELEASE_CONFIGURATION_ID dengan ID konfigurasi rilis.

    2. Opsional: Untuk memfilter pemanggilan alur kerja yang gagal menurut konfigurasi alur kerja, tambahkan kode berikut ke kueri:

          jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"

      Ganti WORKFLOW_CONFIGURATION_ID dengan ID konfigurasi alur kerja.

    Kueri berikut akan memberi tahu Anda saat pemanggilan alur kerja Dataform yang terkait dengan konfigurasi rilis daily dan konfigurasi alur kerja production gagal:

     resource.type="dataform.googleapis.com/Repository"
 jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
 jsonPayload.terminalState="FAILED"
 jsonPayload.releaseConfigId="daily"
 jsonPayload.workflowConfigId="production"

  3. Opsional: Untuk memvalidasi kueri, gunakan Run query di panel Query results.

  4. Di header panel Query results, klik Create alert. Jika jendela Anda sempit, opsi Create alert mungkin muncul di menu Actions.

  5. Di panel Detail pemberitahuan, beri nama dan deskripsi pada pemberitahuan:

    1. Masukkan nama untuk pemberitahuan Anda di kolom Nama Pemberitahuan. Contoh: Dataform: workflow failure.

    2. Masukkan deskripsi pemberitahuan ini. Anda juga dapat menyertakan informasi yang mungkin membantu penerima notifikasi mendiagnosis masalah. String berikut merangkum alasan pemberitahuan:

      Log-based alert in project ${project} detected a failed Dataform workflow.

      Untuk informasi tentang cara memformat dan menyesuaikan konten kolom ini, lihat Memberikan anotasi pada notifikasi dengan dokumentasi yang ditentukan pengguna.

  6. Untuk melanjutkan ke langkah berikutnya, klik Berikutnya.

  7. Di panel Choose logs to include in the alert, periksa kueri dan hasil dengan mengklik Preview logs.

    Sebaiknya buat kueri di panel Query Logs Explorer. Kueri yang Anda buat di panel Kueri juga ditampilkan di panel ini.

    Anda dapat mengedit kueri di panel ini, jika perlu. Jika Anda mengedit kueri, periksa hasilnya dengan mengklik Pratinjau log.

  8. Klik Berikutnya.

  9. Pilih waktu minimum antarnotifikasi. Nilai ini memungkinkan Anda mengontrol jumlah notifikasi yang Anda terima dari pemberitahuan ini jika dipicu beberapa kali. Untuk contoh ini, pilih 5 menit dari opsi.

  10. Opsional: Pilih durasi penutupan insiden otomatis. Secara default, durasi tutup otomatis insiden ditetapkan ke 7 hari.

  11. Klik Berikutnya.

  12. Pilih satu atau beberapa saluran notifikasi untuk pemberitahuan Anda. Untuk contoh ini, pilih saluran notifikasi email.

    Jika sudah mengonfigurasi saluran notifikasi email, Anda dapat memilih saluran tersebut dari daftar. Jika belum, klik Kelola saluran notifikasi dan tambahkan saluran email. Untuk informasi tentang cara membuat saluran notifikasi, lihat Membuat dan mengelola saluran notifikasi.

  13. Klik Simpan.

Pemberitahuan berbasis log Anda kini siap diuji. Untuk petunjuk cara menguji pemberitahuan, lihat Menguji contoh kebijakan pemberitahuan berbasis log.

Langkah berikutnya