Menyiapkan pemberitahuan dan notifikasi untuk tugas Dataplex

Halaman ini menjelaskan cara menyiapkan pemberitahuan untuk eksekusi tugas yang gagal dari tugas Dataplex.

Untuk menyiapkan pemberitahuan, Anda dapat menggunakan Logs Explorer di konsol Google Cloud atau Monitoring API.

Terminologi

  • Durasi penutupan insiden otomatis: Durasi setelah insiden ditutup saat tidak ada entri log yang cocok.
  • Waktu antara notifikasi: Jumlah waktu minimum antara menerima notifikasi untuk log yang cocok dengan filter. Setiap log yang cocok dalam jangka waktu minimum akan dilewatkan. Waktu minimum yang dapat Anda tetapkan adalah 5 menit.

Menyiapkan notifikasi menggunakan Logs Explorer

  1. Di Konsol Google Cloud, buka halaman Logs Explorer.

    Buka Logs Explorer

  2. Klik tombol Show query.

    1. Untuk menyiapkan pemberitahuan terkait eksekusi tugas yang gagal dari tugas Dataplex apa pun dalam project, ketik kueri berikut:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Untuk menyiapkan pemberitahuan terkait kegagalan eksekusi tugas untuk tugas Dataplex tertentu dalam project, ketikkan kueri berikut:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  3. Klik Buat pemberitahuan.

  4. Di kolom Alert Policy Name, masukkan nama untuk pemberitahuan baru.

  5. Di kolom Dokumentasi, masukkan deskripsi yang ingin Anda sertakan dalam notifikasi. Untuk informasi selengkapnya tentang konten yang dapat Anda sertakan di kolom dokumentasi kebijakan pemberitahuan, lihat Menggunakan Markdown dan variabel dalam template dokumentasi.

  6. Klik Berikutnya.

  7. Pilih log yang ingin Anda sertakan dalam pemberitahuan, lalu klik Berikutnya.

  8. Tetapkan Waktu antarnotifikasi dan Durasi penutupan otomatis insiden, lalu klik Berikutnya.

  9. Opsional: Pilih saluran notifikasi. Untuk informasi selengkapnya tentang cara mengonfigurasi saluran notifikasi menggunakan konsol Google Cloud, lihat Mengelola saluran notifikasi.

  10. Klik Simpan.

Menyiapkan notifikasi menggunakan Monitoring API

  1. Opsional: Aktifkan Monitoring API dan izinkan pengguna untuk mengaksesnya. Untuk informasi selengkapnya, lihat Mengaktifkan Monitoring API.
  2. Opsional: Tetapkan peran atau izin yang diperlukan untuk membuat kebijakan pemberitahuan. Untuk informasi selengkapnya, lihat Otorisasi yang diperlukan untuk membuat kebijakan pemberitahuan.
  3. Buat saluran notifikasi menggunakan konsol Google Cloud atau Google Cloud CLI.

  4. Dapatkan channel_id: 

    gcloud beta monitoring channels list

  5. Buat file policy.json dengan konten berikut untuk log-based-alerting-policy:

    1. Siapkan pemberitahuan untuk eksekusi tugas yang gagal dari tugas Dataplex apa pun dalam project:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Siapkan pemberitahuan untuk eksekusi tugas yang gagal untuk tugas Dataplex tertentu dalam project:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Teruskan file policy.json ke gcloud CLI:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Jika berhasil, perintah akan menampilkan nama resource kebijakan baru. Contoh:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

Langkah selanjutnya