Memantau log Anda

Dokumen ini menjelaskan cara menggunakan Cloud Monitoring untuk mengamati tren dalam log Anda dan memberi tahu Anda saat kondisi yang Anda deskripsikan terjadi. Untuk menyediakan data dari log kepada Cloud Monitoring, Logging menawarkan hal berikut:

• Metrik berbasis log, yang dapat Anda gunakan sebagai berikut:
  • Untuk membuat kebijakan pemberitahuan yang memberi tahu Anda tentang perubahan dari waktu ke waktu.
  • Untuk membuat diagram yang menampilkan perubahan dari waktu ke waktu.
• Pemberitahuan berbasis log, yang memberi tahu Anda setiap kali peristiwa tertentu muncul di log.

Jika Anda ingin memantau log dari waktu ke waktu, gunakan diagram atau kebijakan pemberitahuan berdasarkan metrik berbasis log.

Jika Anda menginginkan notifikasi, hampir secara real-time, bahwa pesan telah muncul di log Anda, gunakan pemberitahuan berbasis log.

Bagian selanjutnya dari dokumen ini menjelaskan cara memilih antara metrik berbasis log dan pemberitahuan berbasis log, membahas perbedaan di antara keduanya, dan memberikan informasi tentang otorisasi, biaya, dan batasan.

Metrik berbasis log

Jika Anda ingin memantau peristiwa berulang di log dari waktu ke waktu, gunakan metrik berbasis log. Metrik berbasis log menghasilkan data numerik dari log Anda. Metrik berbasis log cocok jika Anda ingin melakukan salah satu hal berikut:

• Hitung kemunculan pesan, seperti peringatan atau error, di log Anda dan terima notifikasi saat jumlah kemunculannya melampaui batas.
• Amati tren dalam data Anda, seperti nilai latensi di log Anda, dan terima notifikasi jika nilai tersebut berubah dengan cara yang tidak dapat diterima.
• Buat diagram untuk menampilkan data numerik yang diekstrak dari log Anda.

Karena metrik berbasis log menghasilkan data numerik dari log, Anda dapat menggunakan metrik ini dalam kebijakan pemberitahuan dan menampilkannya dalam diagram. Untuk informasi tentang cara membuat kebijakan dan diagram pemberitahuan untuk metrik berbasis log, lihat Membuat diagram dan pemberitahuan.

Cloud Monitoring menyediakan serangkaian metrik berbasis log standar, dan Anda dapat menentukan metrik Anda sendiri. Untuk melihat daftar metrik berbasis log yang ditentukan sistem, klik tombol berikut:

Metrik berbasis log buatan sistem

String "jenis metrik" dalam tabel ini harus diawali dengan logging.googleapis.com/. Awalan tersebut telah dihilangkan dari entri dalam tabel. Saat membuat kueri label, gunakan awalan metric.labels.; misalnya, metric.labels.LABEL="VALUE".

Jenis metrik ^Tahap peluncuran Nama tampilan
Jenis, Tipe, Unit Resource yang dimonitor	Deskripsi Label
billing/bytes_ingested ^GA Byte yang di-streaming ke bucket log
DELTA, INT64, By global	Jumlah byte yang di-streaming ke bucket log untuk pengindeksan, pembuatan kueri, dan analisis; mencakup penyimpanan hingga 30 hari. Dibuat sampelnya setiap 60 detik. Setelah mengambil sampel, data tidak akan terlihat selama maksimal 300 detik. resource_type: Jenis resource untuk entri log dipantau.
billing/bytes_stored ^BETA Retensi Pencatatan Log
GAUGE, INT64, By global	Volume log yang dipertahankan setelah 30 hari default. Dibuat sampelnya setiap 60 detik. Setelah mengambil sampel, data tidak akan terlihat selama maksimal 300 detik. data_type: Kolom ini menunjukkan bahwa volume log yang dilaporkan di sini dikenai biaya untuk retensi setelah 30 hari default. Data_type untuk semua retensi yang dilaporkan disetel ke `TAGD`. log_bucket_location: Lokasi tempat bucket log berada. log_bucket_id: ID bucket log.
billing/log_bucket_bytes_ingested ^BETA Byte yang di-streaming ke bucket log
DELTA, INT64, By global	Jumlah byte yang di-streaming ke bucket log untuk pengindeksan, pembuatan kueri, dan analisis; mencakup penyimpanan hingga 30 hari. Dibuat sampelnya setiap 60 detik. Setelah mengambil sampel, data tidak akan terlihat selama maksimal 300 detik. log_source: Container resource tempat log berasal. resource_type: Memantau jenis resource untuk log yang di-streaming ke bucket log. log_bucket_location: Lokasi tempat bucket log berada. log_bucket_id: ID bucket log.
billing/log_bucket_monthly_bytes_ingested ^BETA Byte yang di-streaming ke bucket log setiap bulan
GAUGE, INT64, By global	Jumlah byte yang di-streaming ke bucket log untuk pengindeksan, pembuatan kueri, dan analisis untuk bulan ini; termasuk penyimpanan hingga 30 hari. Diambil sampelnya setiap 1800 detik. Setelah mengambil sampel, data tidak akan terlihat selama maksimal 6.000 detik. log_source: Container resource tempat log berasal. resource_type: Memantau jenis resource untuk log yang di-streaming ke bucket log. log_bucket_location: Lokasi tempat bucket log berada. log_bucket_id: ID bucket log.
billing/monthly_bytes_ingested ^GA Byte bulanan yang di-streaming ke bucket log
GAUGE, INT64, By global	Jumlah byte dari bulan berjalan yang di-streaming ke bucket log untuk pengindeksan, pembuatan kueri, dan analisis; mencakup penyimpanan hingga 30 hari. Diambil sampelnya setiap 1800 detik. Setelah mengambil sampel, data tidak akan terlihat selama maksimal 6.000 detik. resource_type: Jenis resource untuk entri log dipantau.
byte_count ^GA Byte log
DELTA, INT64, By	Jumlah byte dalam entri log yang di-streaming ke bucket log. Log yang dikecualikan tidak dihitung. Diambil sampelnya setiap 60 detik. log: Nama log. severity: Tingkat keparahan entri log.
dropped_log_entry_count ^TIDAK DIGUNAKAN LAGI Error metrik berbasis log (Tidak digunakan lagi)
DELTA, INT64, 1	Gunakan "logging.googleapis.com/logs_based_metrics_error_count". Diambil sampelnya setiap 60 detik. log: Nama log.
exports/byte_count ^GA Byte log yang diekspor
DELTA, INT64, By logging_sink	Jumlah byte dalam entri log yang diekspor. Dibuat sampelnya setiap 60 detik. Setelah mengambil sampel, data tidak akan terlihat selama maksimal 420 detik.
exports/error_count ^GA Kegagalan entri log yang diekspor
DELTA, INT64, 1 logging_sink	Jumlah entri log yang gagal diekspor. Dibuat sampelnya setiap 60 detik. Setelah mengambil sampel, data tidak akan terlihat selama maksimal 420 detik.
exports/log_entry_count ^GA Entri log yang diekspor
DELTA, INT64, 1 logging_sink	Jumlah entri log yang diekspor. Dibuat sampelnya setiap 60 detik. Setelah mengambil sampel, data tidak akan terlihat selama maksimal 420 detik.
log_entry_count ^GA Entri log
DELTA, INT64, 1	Jumlah entri log yang di-streaming ke bucket log. Secara default, entri log disimpan selama 30 hari. Log yang dikecualikan tidak dihitung. Diambil sampelnya setiap 60 detik. log: Nama log. severity: Tingkat keparahan entri log.
logs_based_metrics_error_count ^GA Error metrik berbasis log
DELTA, INT64, 1	Jumlah entri log yang di-streaming ke bucket log yang tidak dihitung dalam metrik berbasis log yang ditentukan sistem atau pengguna. Kondisi ini dapat terjadi jika stempel waktu entri log lebih dari 24 jam lebih lama, atau 10 menit lebih baru, dari waktu penerimaan yang sebenarnya. Diambil sampelnya setiap 60 detik. log: Nama log.
metric_label_cardinality ^BETA Jumlah kardinalitas aktif metrik berbasis log menurut label
GAUGE, INT64, 1 metrik	Estimasi kardinalitas untuk setiap label metrik dari metrik berbasis log. Estimasi ini dihitung selama sekitar 25 jam. Dibuat sampelnya setiap 60 detik. Setelah pengambilan sampel, data tidak akan terlihat selama maksimal 270 detik. label: Nama label metrik.
metric_label_throttled ^BETA Status throttle label metrik berbasis log
GAUGE, BOOL,  metrik	Menunjukkan apakah label metrik dihapus untuk metrik berbasis log karena melebihi batas kardinalitas. Dibuat sampelnya setiap 60 detik. Setelah pengambilan sampel, data tidak akan terlihat selama maksimal 270 detik. label: Nama label metrik.
metric_throttled ^GA Status dibatasi metrik berbasis log
GAUGE, BOOL,  metrik	Menunjukkan apakah label atau poin dihapus untuk metrik berbasis log karena melampaui batas deret waktu aktif (kardinalitas). Dibuat sampelnya setiap 60 detik. Setelah pengambilan sampel, data tidak akan terlihat selama maksimal 270 detik.
time_series_count ^BETA Jumlah deret waktu aktif (kardinalitas) metrik berbasis log
GAUGE, INT64, 1 metrik	Estimasi deret waktu aktif (kardinalitas) untuk metrik berbasis log. Hanya label metrik yang dihitung dan estimasinya dihitung selama sekitar 25 jam. Dibuat sampelnya setiap 60 detik. Setelah pengambilan sampel, data tidak akan terlihat selama maksimal 270 detik.

Tabel dihasilkan pada 17-04-2024 21.38.09 UTC.

Metrik berbasis log yang ditentukan pengguna

Anda dapat membuat metrik berbasis log untuk mengekstrak data numerik dari log. Metrik berbasis log yang ditentukan pengguna menghitung nilai dari log yang disertakan dan dikecualikan.

Secara default, metrik berbasis log yang ditentukan pengguna mengumpulkan data dari semua log yang diterima oleh Router Log di project Google Cloud. Namun, Anda dapat menentukan metrik berbasis log yang mengumpulkan data dari log yang dirutekan ke bucket log tertentu.

• Untuk informasi tentang cara menentukan dan menggunakan metrik berbasis log level project, lihat Menggunakan metrik berbasis log.
• Untuk informasi tentang cara menentukan dan menggunakan metrik berbasis log level bucket, lihat Metrik berbasis log di bucket log.

Jika menentukan metrik berbasis log sendiri, Anda mungkin dikenai biaya. Untuk mengetahui informasi selengkapnya tentang biaya yang terkait dengan penyerapan metrik, lihat Metrik yang dapat ditagih.

Pemberitahuan berbasis log

Jika Anda ingin diberi tahu setiap kali pesan tertentu muncul di log, gunakan pemberitahuan berbasis log. Pemberitahuan berbasis log sangat cocok untuk menangkap peristiwa terkait keamanan dalam log, seperti berikut:

• Anda ingin diberi tahu saat peristiwa muncul di log audit; misalnya, pengguna manusia mengakses kunci keamanan akun layanan.
• Aplikasi Anda menulis pesan deployment ke log, dan Anda ingin diberi tahu saat terjadi perubahan deployment dalam log.

Notifikasi berbasis log sangat cocok untuk peristiwa yang Anda harapkan akan jarang terjadi dan juga penting. Anda tidak ingin tahu tentang tren atau pola; Anda ingin tahu bahwa sesuatu telah terjadi.

Untuk informasi tentang cara membuat pemberitahuan berbasis log, lihat Menggunakan pemberitahuan berbasis log.

Anda dapat menyimulasikan pemberitahuan berbasis log dengan menentukan metrik berbasis log dan menggunakan metrik tersebut dalam kebijakan pemberitahuan dengan nilai minimum 1. Pemberitahuan berbasis log memberi Anda perilaku tersebut tanpa perlu membuat metrik berbasis log dan mengonfigurasi kebijakan pemberitahuan berbasis metrik.

Perbandingan opsi pemberitahuan

Bagian ini membandingkan kebijakan pemberitahuan yang dibuat berdasarkan metrik berbasis log dengan pemberitahuan berbasis log.

Tabel ringkasan

Tabel berikut merangkum teknik pemberitahuan dan menyediakan link ke informasi tambahan dalam dokumen ini:

Pemberitahuan tentang metrik berbasis log	Pemberitahuan berbasis log	Informasi selengkapnya
Berdasarkan metrik yang berasal dari entri log	Berdasarkan string dalam entri log individual	Metrik berbasis log dan Pemberitahuan berbasis log
Digunakan untuk memberi tahu Anda tentang tren dari waktu ke waktu	Digunakan untuk memberi tahu Anda ketika pesan tertentu muncul dalam log	Metrik berbasis log dan Pemberitahuan berbasis log
Dihitung dari Log yang disertakan (metrik berbasis log yang ditentukan sistem) Log yang disertakan dan dikecualikan (metrik berbasis log yang ditentukan pengguna)	Hanya cocok dengan log yang disertakan	Log yang tersedia
Beroperasi berdasarkan metrik dari semua project dalam cakupan metrik project pencakupan	Beroperasi hanya pada log dalam project pencakupan	Memberikan pemberitahuan di beberapa project
Dipicu saat nilai metrik memenuhi kondisi untuk periode tertentu	Dipicu setiap kali entri log tertentu cocok dengan filter	Insiden dan notifikasi
Dibuat dan dikelola di Monitoring	Dibuat di Logging; dikelola di Monitoring	Membuat dan mengelola kebijakan pemberitahuan
Dilihat di Monitoring	Dilihat di Monitoring	Melihat kebijakan pemberitahuan
Dapat menggunakan saluran notifikasi apa pun yang didukung di Monitoring	Dapat menggunakan saluran notifikasi apa pun yang didukung di Monitoring	Saluran notifikasi

Log yang tersedia

Metrik berbasis log yang ditentukan pengguna dihitung dari semua log yang diterima oleh Logging API untuk project Google Cloud, terlepas dari filter penyertaan atau filter pengecualian yang mungkin berlaku untuk project Google Cloud. Jika Anda membuat kebijakan pemberitahuan berdasarkan metrik berbasis log yang ditentukan pengguna, kebijakan tersebut akan memantau data dari semua log.

Metrik berbasis log yang ditentukan sistem hanya dihitung dari log yang telah disimpan dalam bucket log di project Google Cloud. Jika telah dikecualikan secara eksplisit, log tidak disertakan dalam metrik ini. Jika Anda membuat kebijakan pemberitahuan berdasarkan metrik berbasis log yang ditentukan sistem, kebijakan hanya akan memantau data dari log yang disertakan.

Pemberitahuan berbasis log hanya beroperasi pada log yang disertakan; Anda tidak dapat menggunakan pemberitahuan berbasis log untuk memberi tahu tentang pesan di log yang dikecualikan.

Metrik berbasis log dan pemberitahuan berbasis log beroperasi pada cakupan project Google Cloud, bukan pada bucket individual.

Pemberitahuan di beberapa project

Anda dapat memantau metrik dari beberapa project dengan mengonfigurasi cakupan metrik. Cakupan metrik berisi daftar semua project dan akun yang dipantau. Project pencakupan menghosting cakupan metrik. Project pencakupan menyimpan kebijakan pemberitahuan dan konfigurasi lain yang Anda buat untuk cakupan metrik. Project pencakupan untuk cakupan metrik adalah project yang dipilih oleh pemilih project konsol Google Cloud.

Kebijakan pemberitahuan berdasarkan metrik berbasis log, seperti kebijakan pemberitahuan berdasarkan metrik lain, berlaku di semua project dalam cakupan metrik project pencakupan.

Pemberitahuan berbasis log tidak beroperasi pada cakupan metrik; log dalam project bukan bagian dari cakupan metrik. Pemberitahuan berbasis log hanya mengevaluasi log yang berasal dari project saat ini atau yang dirutekan ke project saat ini.

Untuk informasi selengkapnya tentang cakupan metrik, termasuk cakupan metrik multi-project, dan tentang pencakupan project, lihat artikel berikut:

• Cakupan metrik
• Melihat metrik untuk beberapa project

Insiden dan notifikasi

Saat dipicu, kebijakan pemberitahuan akan membuka insiden di Monitoring dan mengirimkan notifikasi ke saluran yang Anda pilih. Untuk melihat detail insiden, klik Lihat insiden pada pesan notifikasi, atau buka langsung halaman Insiden di Monitoring.

Kebijakan pemberitahuan berdasarkan metrik berbasis log akan membuat insiden dan notifikasi seperti semua kebijakan pemberitahuan berbasis metrik lainnya di Monitoring, seperti yang dijelaskan di Perilaku pemberitahuan. Untuk mengetahui informasi selengkapnya tentang cara mengelola insiden untuk kebijakan pemberitahuan berbasis metrik, lihat Insiden untuk pemberitahuan berbasis metrik.

Pemberitahuan berbasis log bukan pemberitahuan berbasis metrik. Pemberitahuan berbasis log membuat insiden dan notifikasi sebagai berikut:

• Saat Cloud Logging pertama kali menulis entri log yang cocok dengan kueri pemberitahuan Anda ke bucket log, insiden akan dibuat, lalu notifikasi akan dikirimkan. Jika entri log lain yang cocok kemudian ditulis, insiden baru akan dibuat hanya jika insiden sebelumnya telah ditutup. Namun, mungkin perlu waktu hingga tiga menit untuk menghapus permanen insiden tertutup. Saat entri log yang cocok diterima dalam tiga menit setelah Anda menutup insiden, sistem mungkin akan membuka kembali insiden tersebut, bukan membuat insiden baru.

• Ada batas 20 notifikasi sehari untuk setiap pemberitahuan berbasis log. Jika mencapai batas ini, notifikasi Anda akan menyertakan pesan bahwa Anda telah mencapai batas untuk hari tersebut.

• Saat membuat pemberitahuan berbasis log, Anda dapat menentukan waktu minimum antar-notifikasi untuk mengurangi notifikasi berulang. Misalnya, jika Anda memilih 10 menit sebagai waktu antara notifikasi, dan pemberitahuan berbasis log dipicu dua kali dalam periode tersebut, Anda hanya akan menerima satu notifikasi.

  Tingkat maksimum notifikasi adalah 1 notifikasi setiap 5 menit untuk setiap pemberitahuan berbasis log.

• Insiden akan otomatis ditutup setelah 7 hari, kecuali jika Anda mengonfigurasi periode yang lebih singkat atau menutup insiden secara manual.

Untuk informasi selengkapnya tentang cara mengelola insiden ini, lihat Mengelola insiden untuk pemberitahuan berbasis log.

Membuat dan mengelola kebijakan pemberitahuan

Anda dapat membuat, mengubah, dan menghapus kebijakan pemberitahuan berdasarkan metrik berbasis log di Cloud Monitoring, seperti kebijakan pemberitahuan berbasis metrik lainnya. Untuk informasi selengkapnya, lihat Mengelola kebijakan.

Anda dapat membuat pemberitahuan berbasis log dengan menggunakan Logs Explorer atau Cloud Monitoring API. Anda dapat mengubah dan menghapus pemberitahuan berbasis log di Monitoring. Untuk informasi selengkapnya, lihat Mengelola notifikasi berbasis log.

Melihat kebijakan pemberitahuan

Halaman Kebijakan di Monitoring mencantumkan semua kebijakan pemberitahuan di project Google Cloud Anda. Daftar ini mencakup kebijakan yang menggunakan metrik berbasis log dan pemberitahuan berbasis log.

1. Di panel navigasi konsol Google Cloud, pilih Monitoring, lalu pilih  Alerting:

   Buka Alerting

2. Pilih Lihat semua kebijakan.

Pemberitahuan berbasis log muncul dalam daftar dengan nilai Logs di kolom Jenis. Pemberitahuan berdasarkan metrik, termasuk metrik berbasis log, akan muncul dalam daftar dengan nilai Metrics di kolom Jenis. Screenshot berikut menampilkan kutipan daftar kebijakan:

Saluran notifikasi

Anda dapat mengirim notifikasi dari pemberitahuan berbasis metrik dan log ke salah satu saluran notifikasi yang didukung oleh Monitoring. Anda harus mengonfigurasi saluran ini sebelum dapat menggunakannya dalam kebijakan pemberitahuan.

Untuk informasi selengkapnya, lihat Mengelola saluran notifikasi.

Persyaratan otorisasi

Penggunaan metrik berbasis log atau pemberitahuan berbasis log memerlukan otorisasi untuk Cloud Logging dan Cloud Monitoring.

• Untuk metrik berbasis log yang ditentukan pengguna, lihat Izin untuk metrik berbasis log.

• Untuk notifikasi berbasis log, lihat Izin untuk notifikasi berbasis log.

Biaya dan batas

Jika Anda menentukan metrik berbasis log sendiri, hal berikut akan berlaku:

• Ada batasan jumlah dan struktur metrik berbasis log yang ditentukan pengguna. Untuk informasi selengkapnya tentang batas ini, lihat batas untuk metrik berbasis log.
• Anda mungkin dikenai biaya untuk metrik berbasis log yang ditentukan pengguna. Untuk mengetahui informasi selengkapnya tentang biaya yang terkait dengan penyerapan metrik, lihat Metrik yang dapat ditagih.

Penggunaan kebijakan pemberitahuan berdasarkan metrik berbasis log tidak dikenai biaya.

Batasan Monitoring berikut terkait kebijakan pemberitahuan berlaku:

Kategori	Nilai	Jenis kebijakan^1
Kebijakan pemberitahuan (jumlah metrik dan log) per cakupan metrik ^2	500	Metrik, Log
Kondisi per kebijakan pemberitahuan	6	Metrik
Jangka waktu maksimum yang dievaluasi oleh kondisi ketiadaan metrik^3	1 hari	Metrik
Jangka waktu maksimum yang dievaluasi kondisi batas metrik^3	23 jam 30 menit	Metrik
Panjang maksimum filter yang digunakan dalam kondisi batas metrik	2.048 karakter Unicode	Metrik
Jumlah maksimum deret waktu yang dipantau oleh kondisi perkiraan	64	Metrik
Periode perkiraan minimum	1 jam (3.600 detik)	Metrik
Periode perkiraan maksimum	2,5 hari (216.000 detik)	Metrik
Saluran notifikasi per kebijakan pemberitahuan	16	Metrik, Log
Laju notifikasi maksimum	1 notifikasi setiap 5 menit untuk setiap pemberitahuan berbasis log	Log
Jumlah maksimum notifikasi	20 notifikasi sehari untuk setiap peringatan berbasis log	Log
Jumlah maksimum insiden yang terbuka secara bersamaan per kebijakan pemberitahuan	1.000	Metrik
Periode saat insiden tanpa data baru otomatis ditutup	7 hari	Metrik
Durasi maksimum insiden jika tidak ditutup secara manual	7 hari	Log
Retensi insiden tertutup	13 bulan	Tidak berlaku
Retensi insiden terbuka	Tak terbatas	Tidak berlaku
Saluran notifikasi per cakupan metrik	4.000	Tidak berlaku
Jumlah maksimum kebijakan pemberitahuan per penundaan	16	Metrik, Log
Retensi penundaan	13 bulan	Tidak berlaku

¹Metrik: kebijakan pemberitahuan berdasarkan data metrik; Log: kebijakan pemberitahuan berdasarkan pesan log (pemberitahuan berbasis log)
²Apigee dan Apigee Hybrid sangat terintegrasi dengan Cloud Monitoring. Batas pemberitahuan untuk semua level langganan Apigee—Standard, Enterprise, dan Enterprise Plus—sama dengan Cloud Monitoring: 500 per cakupan metrik .
³Jangka waktu maksimum yang dievaluasi kondisi adalah jumlah periode penyelarasan dan nilai periode durasi. Misalnya, jika periode penyelarasan ditetapkan ke 15 jam, dan periode durasi ditetapkan 15 jam, maka diperlukan data 30 jam untuk mengevaluasi kondisinya.