Memantau log Anda

Dokumen ini menjelaskan cara menggunakan Cloud Monitoring untuk mengamati tren dalam log dan memberi tahu Anda saat kondisi yang Anda jelaskan terjadi. Untuk memberi Cloud Monitoring data dari log Anda, Logging mendukung fitur berikut:

  • Anda dapat membuat metrik kustom dari entri log. Metrik ini disebut metrik berbasis log. Anda juga dapat membuat kebijakan pemberitahuan berbasis metrik untuk memberi tahu Anda saat metrik berbasis log memenuhi kondisi. Untuk informasi selengkapnya, lihat Memvisualisasikan data entri log dengan metrik berbasis log.

  • Anda dapat menggunakan kebijakan pemberitahuan untuk memantau, secara hampir real time, saat pesan muncul di entri log Anda. Kebijakan pemberitahuan ini disebut kebijakan pemberitahuan berbasis log. Untuk mengetahui informasi selengkapnya, lihat Memantau setiap entri log untuk pesan.

  • Anda dapat menulis kueri SQL di Log Analytics dan membuat kebijakan pemberitahuan yang memantau hasil kueri. Kebijakan pemberitahuan ini disebut kebijakan pemberitahuan berbasis SQL. Untuk mengetahui informasi selengkapnya, lihat Memantau hasil kueri SQL.

    Kebijakan pemberitahuan berbasis SQL ada dalam Pratinjau Publik.

Bagian lain dari dokumen ini menjelaskan perbedaan antara ketiga kebijakan pemberitahuan ini, dan memberikan informasi tentang otorisasi, biaya, dan batas.

Memvisualisasikan data entri log dengan metrik berbasis log

Jika Anda ingin memantau peristiwa berulang dalam log dari waktu ke waktu, gunakan metrik berbasis log. Metrik berbasis log menghasilkan data numerik dari log Anda. Metrik berbasis log cocok jika Anda ingin melakukan salah satu hal berikut:

  • Hitung kemunculan pesan, seperti peringatan atau error, dalam log Anda dan terima notifikasi saat jumlah kemunculan melampaui nilai minimum.
  • Amati tren dalam data Anda, seperti nilai latensi dalam log, dan terima notifikasi jika nilai berubah dengan cara yang tidak dapat diterima.
  • Buat diagram untuk menampilkan data numerik yang diekstrak dari log Anda.

Karena metrik berbasis log menghasilkan data numerik dari log, Anda dapat menggunakan metrik ini dalam kebijakan pemberitahuan dan menampilkannya dalam diagram. Untuk informasi tentang cara membuat kebijakan pemberitahuan dan diagram untuk metrik berbasis log, lihat Mengonfigurasi notifikasi untuk metrik berbasis log.

Cloud Monitoring menyediakan serangkaian metrik berbasis log yang telah ditentukan sebelumnya, dan Anda dapat menentukan metrik Anda sendiri. Untuk melihat daftar metrik berbasis log yang ditentukan sistem, klik tombol berikut:

Metrik berbasis log yang ditentukan pengguna

Anda dapat membuat metrik berbasis log untuk mengekstrak data numerik dari log. Metrik berbasis log yang ditentukan pengguna menghitung nilai dari log yang disertakan dan dikecualikan.

Secara default, metrik berbasis log yang ditentukan pengguna mengumpulkan data dari semua log yang diterima oleh Log Router di project Google Cloud Anda, tetapi Anda dapat menentukan metrik berbasis log yang mengumpulkan data dari log yang dirutekan ke bucket log tertentu.

Jika menentukan metrik berbasis log sendiri, Anda mungkin dikenai biaya. Untuk mengetahui informasi selengkapnya tentang biaya yang terkait dengan proses transfer metrik, lihat Metrik yang dapat ditagih.

Memantau setiap entri log untuk pesan

Jika Anda ingin diberi tahu setiap kali pesan tertentu muncul dalam entri log, gunakan kebijakan pemberitahuan berbasis log. Kebijakan pemberitahuan berbasis log berguna untuk mendeteksi peristiwa terkait keamanan dalam entri log, seperti berikut:

  • Anda ingin diberi tahu saat peristiwa muncul di log audit; misalnya, pengguna manusia mengakses kunci keamanan akun layanan.
  • Aplikasi Anda menulis pesan deployment ke log, dan Anda ingin diberi tahu saat perubahan deployment dicatat ke dalam log.

Kebijakan pemberitahuan berbasis log berguna untuk peristiwa yang Anda perkirakan akan jarang terjadi dan penting. Anda tidak ingin mengetahui tren atau pola; Anda ingin mengetahui bahwa sesuatu telah terjadi.

Untuk informasi tentang cara membuat kebijakan pemberitahuan berbasis log, lihat Mengonfigurasi kebijakan pemberitahuan berbasis log.

Anda dapat mengonfigurasi kebijakan pemberitahuan berbasis metrik untuk menyimulasikan kebijakan pemberitahuan berbasis log. Untuk melakukannya, tentukan metrik berbasis log dan gunakan metrik tersebut dalam kebijakan pemberitahuan berbasis metrik dengan nilai minimum satu. Kebijakan pemberitahuan berbasis log memberi Anda perilaku tersebut tanpa perlu membuat metrik berbasis log dan mengonfigurasi kebijakan pemberitahuan berbasis metrik.

Memantau hasil kueri SQL

Anda dapat mengonfigurasi kebijakan pemberitahuan yang menggunakan Log Analytics untuk menjalankan kueri SQL pada data entri log. Jenis kebijakan pemberitahuan ini efektif jika Anda ingin mendapatkan notifikasi berdasarkan pola yang tidak dapat dievaluasi oleh kebijakan pemberitahuan berbasis log, seperti pola kompleks dalam entri log atau agregasi data log. Untuk mengetahui informasi selengkapnya, lihat Memantau hasil kueri SQL dengan kebijakan pemberitahuan.

Perbandingan opsi pemberitahuan

Bagian ini membandingkan kebijakan pemberitahuan yang dibuat berdasarkan metrik berbasis log, kebijakan pemberitahuan berbasis log, dan kebijakan pemberitahuan berbasis SQL.

Tabel ringkasan

Tabel berikut merangkum teknik pemberitahuan dan memberikan link ke informasi tambahan:

Kebijakan pemberitahuan berbasis metrik Kebijakan pemberitahuan berbasis log Kebijakan pemberitahuan berbasis SQL Informasi selengkapnya
Berdasarkan metrik yang berasal dari entri log Berdasarkan string di setiap entri log Berdasarkan tabel yang ditampilkan oleh kueri SQL melalui entri log Metrik berbasis log
Pemberitahuan berbasis log
Pemberitahuan berbasis SQL
Digunakan untuk memberi tahu Anda tentang tren dari waktu ke waktu Digunakan untuk memberi tahu Anda saat pesan tertentu muncul di log Digunakan untuk memberi tahu Anda tentang pola dalam jendela entri log Metrik berbasis log
Pemberitahuan berbasis log
Pemberitahuan berbasis SQL
Dihitung dari
  • Log yang disertakan (metrik berbasis log yang ditentukan sistem)
  • Log yang disertakan dan dikecualikan (metrik berbasis log yang ditentukan pengguna)
Hanya cocokkan log yang disertakan Dihitung dari entri log dalam periode geser Log yang tersedia
Pemberitahuan berbasis SQL
Beroperasi pada metrik dari semua project dalam cakupan metrik project cakupan Hanya beroperasi pada log dalam project cakupan Beroperasi pada semua log yang dapat dibaca di project Google Cloud mana pun. Memantau metrik di beberapa project
Insiden dibuat saat nilai metrik memenuhi kondisi selama jangka waktu tertentu Insiden dibuat setiap kali entri log tertentu cocok dengan filter Insiden dibuat saat tabel hasil kueri memenuhi kondisi Insiden dan notifikasi
Dibuat dan dikelola di Pemantauan Dibuat di Logging;
dikelola di Pemantauan
Dibuat di Log Analytics; dikelola di Monitoring Membuat dan mengelola kebijakan pemberitahuan
Pemberitahuan berbasis SQL
Dilihat di Monitoring Dilihat di Monitoring Dilihat di Monitoring Melihat kebijakan pemberitahuan
Dapat menggunakan saluran notifikasi apa pun yang didukung di Pemantauan Dapat menggunakan saluran notifikasi apa pun yang didukung di Pemantauan Dapat menggunakan saluran notifikasi apa pun yang didukung di Pemantauan Saluran notifikasi

Log yang tersedia

Metrik berbasis log yang ditentukan pengguna dihitung dari semua log yang diterima oleh Logging API untuk project Google Cloud, terlepas dari filter penyertaan atau filter pengecualian yang mungkin berlaku untuk project Google Cloud. Jika Anda membuat kebijakan pemberitahuan berdasarkan metrik berbasis log yang ditentukan pengguna, kebijakan tersebut akan memantau data dari semua log.

Metrik berbasis log yang ditentukan sistem hanya dihitung dari log yang telah disimpan di bucket log dalam project Google Cloud. Jika log secara eksplisit dikecualikan, log tersebut tidak akan disertakan dalam metrik ini. Jika Anda membuat kebijakan pemberitahuan berdasarkan metrik berbasis log yang ditentukan sistem, kebijakan tersebut hanya akan memantau data dari log yang disertakan.

Kebijakan pemberitahuan berbasis log hanya beroperasi pada log yang disertakan yang berasal dari project. Anda tidak dapat menggunakan kebijakan pemberitahuan berbasis log untuk memberi tahu Anda tentang pesan dalam log yang dikecualikan, atau log dari resource lain, seperti folder atau organisasi.

Metrik berbasis log dan kebijakan pemberitahuan berbasis log beroperasi di cakupan project Google Cloud, bukan di setiap bucket.

Kebijakan pemberitahuan berbasis SQL mengkueri tampilan log di bucket log. Bucket log ini harus diupgrade untuk menggunakan Log Analytics, lalu ditautkan ke set data BigQuery. Untuk informasi selengkapnya tentang kebijakan pemberitahuan berbasis SQL, lihat Memantau hasil kueri SQL dengan kebijakan pemberitahuan.

Memantau metrik di beberapa project

Anda dapat memantau metrik dari beberapa project dengan mengonfigurasi cakupan metrik. Cakupan metrik mencantumkan semua project dan akun yang dipantaunya. Project pencakupan menghosting cakupan metrik. Project cakupan menyimpan kebijakan pemberitahuan dan konfigurasi lainnya yang Anda buat untuk cakupan metrik. Project cakupan untuk cakupan metrik adalah project yang dipilih oleh pemilih project konsol Google Cloud.

Kebijakan pemberitahuan berdasarkan metrik berbasis log, seperti kebijakan pemberitahuan berdasarkan metrik lainnya, berfungsi di semua project dalam cakupan metrik project cakupan.

Kebijakan pemberitahuan berbasis log tidak beroperasi pada cakupan metrik; log dalam project bukan bagian dari cakupan metrik. Kebijakan pemberitahuan berbasis log mengevaluasi entri log yang berasal dari project Google Cloud saat ini atau dirutekan ke project saat ini, lalu disimpan di bucket log.

Kebijakan pemberitahuan berbasis SQL tidak beroperasi pada cakupan metrik.

Untuk informasi selengkapnya tentang cakupan metrik, termasuk cakupan metrik multi-project, dan tentang cakupan project, lihat hal berikut:

Insiden dan notifikasi

Saat kondisi kebijakan pemberitahuan terpenuhi, Monitoring akan membuka insiden dan mengirim notifikasi ke saluran notifikasi kebijakan pemberitahuan. Untuk melihat detail insiden, klik Lihat insiden dalam pesan notifikasi, atau langsung buka halaman Insiden di Monitoring.

Insiden untuk kebijakan pemberitahuan berbasis metrik

Kebijakan pemberitahuan berdasarkan metrik berbasis log membuat insiden dan notifikasi seperti semua kebijakan pemberitahuan berbasis metrik lainnya di Monitoring, seperti yang dijelaskan dalam Perilaku pemberitahuan. Untuk informasi selengkapnya tentang cara mengelola insiden untuk kebijakan pemberitahuan berbasis metrik, lihat Insiden untuk kebijakan pemberitahuan berbasis metrik.

Insiden untuk kebijakan pemberitahuan berbasis log

Kebijakan pemberitahuan berbasis log bukan kebijakan pemberitahuan berbasis metrik. Jika entri log memenuhi kondisi kebijakan pemberitahuan berbasis log, pemantauan akan membuat insiden dan notifikasi sebagai berikut:

  • Saat pertama kali Cloud Logging menulis entri log yang cocok dengan kueri pemberitahuan Anda ke bucket log, insiden akan dibuat, dan notifikasi akan dikirim. Jika entri log lain yang cocok kemudian ditulis, insiden baru akan dibuat hanya jika insiden sebelumnya telah ditutup. Namun, mungkin perlu waktu hingga tiga menit agar insiden yang ditutup dihapus. Jika entri log yang cocok diterima dalam tiga menit setelah Anda menutup insiden, sistem mungkin akan membuka kembali insiden tersebut, bukan membuat insiden baru.

  • Saat membuat kebijakan pemberitahuan berbasis log, Anda dapat menentukan waktu minimum antara notifikasi. Misalnya, Anda memilih 10 menit sebagai waktu antara notifikasi. Jika kondisi kebijakan pemberitahuan berbasis log terpenuhi dua kali dalam periode tersebut, Anda hanya akan menerima satu notifikasi.

    Kecepatan maksimum notifikasi untuk kebijakan pemberitahuan berbasis log adalah 1 notifikasi setiap 5 menit untuk setiap kebijakan pemberitahuan berbasis log. Namun, jika kueri kebijakan pemberitahuan berbasis log mengekstrak nilai label, setiap kombinasi nilai yang diekstrak akan mewakili linimasa notifikasinya sendiri. Misalnya, asumsikan kebijakan pemberitahuan berbasis log mengekstrak nilai label. Asumsikan bahwa label dapat memiliki dua nilai. Dengan konfigurasi ini, Anda dapat menerima dua notifikasi, satu untuk setiap nilai label, dalam waktu 5 menit yang sama.

  • Ada batas 20 notifikasi per hari untuk setiap kebijakan pemberitahuan berbasis log. Jika Anda mencapai batas ini, notifikasi akan menyertakan pesan bahwa Anda telah mencapai batas untuk hari itu.

  • Insiden akan otomatis ditutup setelah 7 hari, kecuali jika Anda mengonfigurasi periode yang lebih singkat atau menutup insiden secara manual.

Untuk informasi selengkapnya tentang cara mengelola insiden untuk kebijakan pemberitahuan berbasis log, lihat Mengelola insiden untuk kebijakan pemberitahuan berbasis log.

Insiden untuk kebijakan pemberitahuan berbasis SQL

Untuk kebijakan pemberitahuan berbasis SQL, Cloud Monitoring akan membuat insiden saat pertama kali hasil kueri SQL memenuhi kondisi yang ditentukan dalam kebijakan. Setiap kebijakan pemberitahuan hanya memiliki satu insiden yang terbuka. Saat insiden terbuka, jika kondisi terpenuhi lagi, Monitoring tidak akan membuat insiden lebih lanjut atau mengirim notifikasi tambahan. Pemantauan menutup insiden berbasis SQL setelah tujuh hari, kecuali jika Anda mengonfigurasi periode penutupan insiden yang lebih singkat atau menutup insiden sendiri.

Untuk informasi selengkapnya tentang cara mengelola insiden untuk kebijakan pemberitahuan berbasis SQL, lihat Mengelola insiden untuk kebijakan pemberitahuan berbasis SQL.

Membuat dan mengelola kebijakan pemberitahuan

Anda membuat, mengubah, dan menghapus kebijakan pemberitahuan berdasarkan metrik berbasis log di Cloud Monitoring, seperti kebijakan pemberitahuan berbasis metrik lainnya. Untuk mengetahui informasi selengkapnya, lihat Mengelola kebijakan.

Anda dapat membuat kebijakan pemberitahuan berbasis log menggunakan Logs Explorer atau Cloud Monitoring API. Anda dapat mengubah dan menghapus kebijakan pemberitahuan berbasis log di Monitoring atau dengan Cloud Monitoring API. Untuk mengetahui informasi selengkapnya, lihat Mengelola kebijakan pemberitahuan berbasis log.

Anda dapat membuat kebijakan pemberitahuan berbasis SQL menggunakan Log Analytics atau Cloud Monitoring API. Anda dapat mengubah dan menghapus kebijakan pemberitahuan berbasis SQL di Monitoring atau menggunakan Cloud Monitoring API. Untuk mengetahui informasi selengkapnya, lihat Memantau hasil kueri SQL dengan kebijakan pemberitahuan.

Melihat kebijakan pemberitahuan

Halaman Policies di Monitoring mencantumkan semua kebijakan pemberitahuan di project Google Cloud Anda. Daftar ini mencakup kebijakan yang menggunakan metrik berbasis log dan kebijakan pemberitahuan berbasis log.

  1. Di konsol Google Cloud, buka halaman  Alerting:

    Buka Pemberitahuan

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Monitoring.

  2. Pilih Lihat semua kebijakan.

Kebijakan pemberitahuan berbasis log muncul dalam daftar dengan nilai Logs di kolom Type. Kebijakan pemberitahuan berdasarkan metrik, termasuk metrik berbasis log, akan muncul dalam daftar dengan nilai Metrics di kolom Type. Kebijakan pemberitahuan berbasis SQL muncul dalam daftar dengan nilai SQL di kolom Jenis. Screenshot berikut menampilkan kutipan daftar kebijakan:

Untuk melihat kebijakan pemberitahuan berdasarkan jenis, gunakan kolom **Jenis** dalam daftar
kebijakan pemberitahuan.

Saluran notifikasi

Anda dapat mengirim notifikasi dari jenis kebijakan pemberitahuan apa pun ke salah satu saluran notifikasi yang didukung oleh Monitoring. Anda harus mengonfigurasi saluran ini sebelum dapat menggunakannya dalam kebijakan pemberitahuan.

Untuk informasi selengkapnya, lihat Mengelola saluran notifikasi.

Persyaratan otorisasi

Penggunaan metrik berbasis log atau kebijakan pemberitahuan berbasis log memerlukan otorisasi untuk Cloud Logging dan Cloud Monitoring.

Biaya dan batas

Jika Anda menentukan metrik berbasis log sendiri, hal berikut akan berlaku:

  • Ada batasan jumlah dan struktur metrik berbasis log yang ditentukan pengguna. Untuk mengetahui informasi selengkapnya tentang batas ini, lihat batas untuk metrik berbasis log.
  • Anda mungkin dikenai biaya untuk metrik berbasis log yang ditentukan pengguna. Untuk mengetahui informasi selengkapnya tentang biaya yang terkait dengan penyerapan metrik, lihat Metrik yang dapat ditagih.
  • Kebijakan pemberitahuan berbasis SQL berjalan di reservasi BigQuery di project Google Cloud Anda. Anda mungkin dikenai biaya karena memiliki reservasi BigQuery. Untuk mengetahui informasi selengkapnya tentang biaya yang terkait dengan reservasi BigQuery, lihat Harga BigQuery.

Tidak ada biaya yang terkait dengan penggunaan kebijakan pemberitahuan berdasarkan metrik berbasis log.

Batasan Monitoring berikut yang terkait dengan kebijakan pemberitahuan berlaku:

Kategori Nilai Jenis kebijakan1
Kebijakan pemberitahuan (jumlah metrik dan log) per cakupan metrik 2 500 Metrik, Log
Kondisi per kebijakan pemberitahuan berbasis metrik 6 Metrik
Kondisi per kebijakan pemberitahuan berbasis SQL (Pratinjau Publik) 1 SQL
Periode waktu maksimum yang dievaluasi oleh kondisi ketiadaan metrik
3
1 hari Metrik
Periode waktu maksimum yang dievaluasi oleh kondisi nilai minimum metrik
3
23 jam 30 menit Metrik
Panjang maksimum filter yang digunakan
dalam kondisi nilai minimum metrik
2.048 karakter Unicode Metrik
Jumlah maksimum deret waktu
yang dipantau oleh kondisi perkiraan
64 Metrik
Periode perkiraan minimum 1 jam (3.600 detik) Metrik
Periode perkiraan maksimum 2,5 hari (216.000 detik) Metrik
Saluran notifikasi per kebijakan pemberitahuan 16 Metrik, Log
Frekuensi notifikasi maksimum4 1 notifikasi setiap 5 menit untuk setiap kebijakan pemberitahuan berbasis log Log
Jumlah maksimum notifikasi 20 notifikasi per hari untuk setiap kebijakan pemberitahuan berbasis log Log
Jumlah maksimum insiden yang terbuka secara bersamaan
per kebijakan pemberitahuan
1.000 Metrik
Periode setelah insiden tanpa data baru
otomatis ditutup
7 hari Metrik
Durasi maksimum insiden jika tidak ditutup secara manual 7 hari Log
Retensi insiden yang ditutup 13 bulan Tidak berlaku
Retensi insiden terbuka Tak terbatas Tidak berlaku
Saluran notifikasi per cakupan metrik 4.000 Tidak berlaku
Jumlah maksimum kebijakan pemberitahuan per penundaan 16 Metrik, Log
Retensi penundaan 13 bulan Tidak berlaku
1Metrik: kebijakan pemberitahuan berdasarkan data metrik; Log: kebijakan pemberitahuan berdasarkan pesan log (pemberitahuan berbasis log)
2Apigee dan Apigee hybrid terintegrasi secara mendalam dengan Cloud Monitoring. Batas pemberitahuan untuk semua tingkat langganan Apigee—Standard, Enterprise, dan Enterprise Plus—sama dengan untuk Cloud Monitoring: 500 per cakupan metrik .
3Periode waktu maksimum yang dievaluasi kondisi adalah jumlah periode perataan dan nilai periode durasi. Misalnya, jika periode perataan ditetapkan ke 15 jam, dan periode durasi ditetapkan ke 15 jam, maka diperlukan data selama 30 jam untuk mengevaluasi kondisi.
4Jika kueri kebijakan pemberitahuan berbasis log mengekstrak nilai label, setiap kombinasi nilai yang diekstrak akan mewakili linimasa notifikasinya sendiri. Misalnya, asumsikan kebijakan pemberitahuan berbasis log mengekstrak nilai label. Asumsikan bahwa label dapat memiliki dua nilai. Dengan konfigurasi ini, Anda dapat menerima dua notifikasi, satu untuk setiap nilai label, dalam waktu 5 menit yang sama.