Melihat log yang dirutekan ke Cloud Storage

Dokumen ini menjelaskan cara menemukan entri log yang Anda arahkan dari Cloud Logging ke bucket Cloud Storage.

Entri log disimpan ke bucket Cloud Storage dalam batch per jam. Mungkin perlu waktu 2 hingga 3 jam sebelum entri pertama mulai muncul.

Sebelum memulai

Untuk diskusi konseptual tentang sink, lihat Ringkasan model perutean dan penyimpanan: Sink.

Untuk mengetahui petunjuk tentang cara merutekan log, lihat Merutekan log ke tujuan yang didukung.

Lihat log

Untuk melihat log yang dirutekan ke Cloud Storage, lakukan hal berikut:

  1. Di konsol Google Cloud, buka halaman Buckets:

    Buka Buckets

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Cloud Storage.

  2. Pilih bucket Cloud Storage yang Anda gunakan sebagai tujuan rute.

Pengaturan log

Saat Anda merutekan log ke bucket Cloud Storage, Logging akan menulis kumpulan file ke bucket.

File diatur dalam hierarki direktori berdasarkan jenis dan tanggal log. Jenis log, yang disebut sebagai [LOG_ID] dalam referensi LogEntry, dapat berupa nama sederhana seperti syslog atau nama gabungan seperti appengine.googleapis.com/request_log. Jika log ini disimpan dalam bucket bernama my-gcs-bucket, direktori akan diberi nama seperti dalam contoh berikut:

my-gcs-bucket/syslog/YYYY/MM/DD/
my-gcs-bucket/appengine.googleapis.com/request_log/YYYY/MM/DD/

Satu bucket Cloud Storage dapat berisi log dari beberapa jenis resource. Ukuran file maksimum adalah 3,5 GiB.

Logging tidak menjamin penghapusan duplikat entri log dari sink yang berisi kueri yang identik atau tumpang-tindih; entri log dari sink tersebut mungkin ditulis beberapa kali ke bucket Cloud Storage.

Direktori akhir (DD/) berisi beberapa file, yang masing-masing menyimpan entri log yang dirutekan selama jangka waktu yang ditentukan dalam nama file. File tersebut di-shard dan namanya diakhiri dengan nomor shard, Sn, atau An (n=0, 1, 2, ...). Misalnya, berikut adalah dua file yang mungkin disimpan dalam direktori my-gcs-bucket/syslog/2015/01/13/:

08:00:00_08:59:59_S0.json
08:00:00_08:59:59_S1.json

Kedua file ini bersama-sama berisi entri log syslog untuk semua instance selama satu jam mulai pukul 08.00.00 UTC dan berakhir pukul 08.59.59 UTC. Stempel waktu entri log dinyatakan dalam UTC (Coordinated Universal Time).

Entri log yang tiba dengan receiveTimestamp dalam periode 60 menit yang selaras dengan timestamp-nya ditulis ke file shard utama. Misalnya, entri log dengan timestamp 08:00:00 dan receiveTimestamp 08:10:00 disimpan dalam file shard utama.

File ini menyertakan shard utama bernomor di akhiran: _Sn.json.

Entri log yang tiba dengan timestamp dalam periode 60 menit yang berbeda dari receiveTimestamp-nya ditulis ke file shard adendum. Misalnya, entri log dengan timestamp 08.00.00 dan receiveTimestamp 09.10.00 disimpan dalam file shard adendum.

File ini menyertakan shard adendum bernomor dengan akhiran: _An:Unix_timestamp.json.

Misalnya, entri log yang memiliki timestamp antara 08.00.00 dan 08.59.59, tetapi receiveTimestamp dalam periode 60 menit yang berbeda ditulis ke file dengan akhiran _An:Unix_timestamp.json, dengan stempel waktu Unix yang mengidentifikasi waktu file dirutekan ke Cloud Storage. Jika entri log memiliki timestamp 08.50.00 dan receiveTimestamp 09.10.00, dan dirutekan pada 09.15.00 pada 25 Maret 2021, file adendum akan ditulis sebagai berikut:

08:00:00_08:59:59_A0:1616681700.json

Untuk mendapatkan semua entri log, Anda harus membaca semua shard untuk setiap periode waktu—dalam hal ini, shard file 0 dan 1. Jumlah shard file yang ditulis dapat berubah untuk setiap jangka waktu.

Dalam setiap file yang di-shard, entri log disimpan sebagai daftar objek LogEntry. Untuk contoh entri syslog, lihat Organisasi entri log.

Perhatikan bahwa urutan pengurutan entri log dalam file tidak seragam atau tidak dijamin.

Entri log yang terlambat

Entri log yang dirutekan disimpan ke bucket Cloud Storage dalam batch per jam. Mungkin perlu waktu 2 hingga 3 jam sebelum entri pertama mulai muncul. Shard file log yang dirutekan dengan akhiran An ("Tambahkan") menyimpan entri log yang terlambat.

Jika tujuan mengalami pemadaman layanan, Cloud Logging akan buffering data hingga pemadaman layanan berakhir.

Jika tidak ada log di tujuan sink, periksa metrik sistem ekspor. Metrik sistem ekspor menunjukkan jumlah entri log yang dirutekan dan jumlah entri log yang dihapus karena error. Jika metrik sistem ekspor menunjukkan bahwa tidak ada entri log yang dirutekan ke tujuan, periksa [filter][export-query] untuk memverifikasi bahwa entri log yang cocok dengan filter Anda baru-baru ini tiba di Logging.

Di konsol Google Cloud, buka halaman Log Router:

Buka Router Log

Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

Entri log App Engine

App Engine menggabungkan beberapa sub-entri jenis google.appengine.logging.v1.LogLine (juga disebut AppLog atau AppLogLine) dalam entri log utama jenis google.appengine.logging.v1.RequestLog untuk permintaan yang menyebabkan aktivitas log. Setiap baris log memiliki "ID permintaan" yang mengidentifikasi entri utama. Logs Explorer menampilkan baris log dengan entri log permintaan. Logging mencoba memasukkan semua baris log ke dalam batch dengan permintaan asli, meskipun stempel waktunya akan menempatkannya dalam batch berikutnya. Jika tidak memungkinkan, entri log permintaan mungkin tidak memiliki beberapa baris log, dan mungkin ada baris log "anak yatim" tanpa permintaan dalam batch berikutnya. Jika kemungkinan ini penting bagi Anda, bersiaplah untuk menghubungkan kembali bagian-bagian permintaan saat memproses log.

Pemecahan masalah

Jika log tampaknya tidak ada di tujuan sink atau Anda mencurigai bahwa sink tidak merutekan log dengan benar, lihat Memecahkan masalah log perutean.

Harga

Cloud Logging tidak mengenakan biaya untuk merutekan log ke tujuan yang didukung; tetapi, tujuan tersebut mungkin mengenakan biaya. Dengan pengecualian bucket log _Required, Cloud Logging mengenakan biaya untuk melakukan streaming log ke bucket log dan untuk penyimpanan yang lebih lama dari periode retensi data default bucket log.

Cloud Logging tidak mengenakan biaya untuk menyalin log, menentukan cakupan log, atau untuk kueri yang dikeluarkan melalui halaman Logs Explorer atau Log Analytics.

Untuk informasi selengkapnya, baca dokumen berikut: