Melihat log yang dirutekan ke Cloud Storage

Dokumen ini menjelaskan cara menemukan entri log yang dirutekan dari Cloud Logging ke bucket Cloud Storage.

Entri log disimpan ke bucket Cloud Storage dalam batch per jam. Mungkin diperlukan waktu 2 hingga 3 jam sebelum entri pertama mulai muncul.

Sebelum memulai

Untuk diskusi konseptual tentang sink, lihat Ringkasan model pemilihan rute dan penyimpanan: Sink.

Untuk mendapatkan petunjuk tentang cara merutekan log Anda, lihat Merutekan log ke tujuan yang didukung.

Lihat log

Untuk melihat log Anda yang dirutekan ke Cloud Storage, lakukan hal berikut:

  1. Di panel navigasi Konsol Google Cloud, pilih Cloud Storage, lalu klik Buckets:

    Buka Buckets

  2. Pilih bucket Cloud Storage yang Anda gunakan sebagai tujuan perutean.

Organisasi log

Saat Anda merutekan log ke bucket Cloud Storage, Logging akan menulis kumpulan file ke bucket.

File diatur dalam hierarki direktori berdasarkan jenis dan tanggal log. Jenis log, yang disebut sebagai [LOG_ID] dalam referensi LogEntry, dapat berupa nama sederhana seperti syslog atau nama gabungan seperti appengine.googleapis.com/request_log. Jika log ini disimpan dalam bucket bernama my-gcs-bucket, direktori akan diberi nama seperti dalam contoh berikut:

my-gcs-bucket/syslog/YYYY/MM/DD/
my-gcs-bucket/appengine.googleapis.com/request_log/YYYY/MM/DD/

Satu bucket Cloud Storage dapat berisi log dari beberapa jenis resource. Ukuran file maksimum adalah 3,5 GiB.

Logging tidak menjamin penghapusan duplikat entri log dari sink yang berisi kueri yang identik atau tumpang-tindih; entri log dari sink tersebut mungkin akan ditulis beberapa kali ke bucket Cloud Storage.

Direktori leaf (DD/) berisi beberapa file, yang masing-masing menyimpan entri log yang dirutekan selama jangka waktu yang ditentukan dalam nama file. File-file tersebut di-shard dan namanya diakhiri dengan nomor shard, Sn atau An (n=0, 1, 2, ...). Misalnya, berikut adalah dua file yang mungkin disimpan dalam direktori my-gcs-bucket/syslog/2015/01/13/:

08:00:00_08:59:59_S0.json
08:00:00_08:59:59_S1.json

Kedua file ini bersama-sama berisi entri log syslog untuk semua instance selama jam yang dimulai pada 08:00:00 UTC dan berakhir 08:59:59 UTC. Stempel waktu entri log dinyatakan dalam UTC (Waktu Universal Terkoordinasi).

Entri log yang diterima dengan receiveTimestamp dalam periode yang selaras selama 60 menit dari timestamp-nya akan ditulis ke file sharding utama. Misalnya, entri log dengan timestamp 08:00:00 dan receiveTimestamp 08:10:00 disimpan dalam file shard utama.

File ini menyertakan shard utama bernomor di akhiran: _Sn.json.

Entri log yang diterima dengan timestamp dalam rentang waktu 60 menit yang diselaraskan dengan receiveTimestamp-nya akan ditulis ke file shard adendum. Misalnya, Entri log dengan timestamp pukul 08:00:00 dan receiveTimestamp pukul 09:10:00 akan disimpan dalam file shard adendum.

File ini menyertakan shard adendum bernomor dengan akhiran: _An:Unix_timestamp.json.

Misalnya, entri log yang memiliki timestamp antara 08:00:00 dan 08:59:59, tetapi receiveTimestamp dalam jendela yang selaras dengan durasi 60 menit yang berbeda akan ditulis ke file dengan akhiran _An:Unix_timestamp.json, sehingga stempel waktu Unix mengidentifikasi waktu file dirutekan ke Cloud Storage. Jika entri log memiliki timestamp 08:50:00 dan receiveTimestamp pukul 09:10:00, serta dirutekan pada 25 Maret 2021 pukul 09:15:00, file adendum akan ditulis sebagai berikut:

08:00:00_08:59:59_A0:1616681700.json

Untuk mendapatkan semua entri log, Anda harus membaca semua shard untuk setiap jangka waktu—dalam hal ini, shard file 0 dan 1. Jumlah shard file yang ditulis dapat berubah untuk setiap jangka waktu.

Dalam setiap file yang di-sharding, entri log disimpan sebagai daftar objek LogEntry. Untuk contoh entri syslog, lihat Organisasi entri log.

Perhatikan bahwa tata urutan entri log dalam file tidak seragam atau dijamin.

Entri log yang terlambat tiba

Entri log yang dirutekan disimpan ke bucket Cloud Storage dalam batch per jam. Mungkin diperlukan waktu 2 hingga 3 jam sebelum entri pertama mulai muncul. Shard file log yang dirutekan dengan akhiran An ("Tambahkan") menyimpan entri log yang terlambat dikirim.

Jika tujuan mengalami gangguan, Cloud Logging akan melakukan buffering data hingga penonaktifan selesai.

Jika tidak ada log di tujuan sink Anda, periksa metrik sistem ekspor. Metrik sistem ekspor menunjukkan jumlah entri log yang dirutekan dan berapa banyak yang dihapus karena error. Jika metrik sistem ekspor menunjukkan bahwa tidak ada entri log yang diarahkan ke tujuan, periksa filter untuk memastikan bahwa entri log yang cocok dengan filter Anda baru saja masuk di Logging.

Di panel navigasi konsol Google Cloud, pilih Logging, lalu pilih Log Router:

Buka Router Log

Entri log App Engine

App Engine menggabungkan beberapa sub-entri dari jenis google.appengine.logging.v1.LogLine (juga disebut AppLog atau AppLogLine) di bagian entri log utama dari jenis google.appengine.logging.v1.RequestLog untuk permintaan yang menyebabkan aktivitas log. Masing-masing baris log memiliki "ID permintaan" yang mengidentifikasi entri utama. Logs Explorer menampilkan baris log dengan entri log permintaan. Logging berupaya memasukkan semua baris log ke dalam batch dengan permintaan asli, meskipun stempel waktu mereka akan menempatkannya di batch berikutnya. Jika tidak memungkinkan, entri log permintaan mungkin tidak memiliki beberapa baris log, dan mungkin ada baris log "usang" tanpa permintaan dalam batch berikutnya. Jika kemungkinan ini penting bagi Anda, bersiaplah untuk menghubungkan kembali bagian-bagian permintaan saat memproses log.

Pemecahan masalah

Jika log tampaknya tidak ada di tujuan sink atau Anda mencurigai bahwa sink Anda tidak merutekan log dengan benar, lihat Memecahkan masalah log perutean.

Harga

Cloud Logging tidak mengenakan biaya untuk merutekan log ke tujuan yang didukung; tetapi tujuan tersebut mungkin dikenai biaya. Dengan pengecualian bucket log _Required, Cloud Logging mengenakan biaya untuk mengalirkan log ke dalam bucket log dan untuk penyimpanan yang lebih lama dari periode retensi default bucket log.

Cloud Logging tidak mengenakan biaya untuk menyalin log, atau untuk kueri yang dikeluarkan melalui halaman Logs Explorer atau melalui halaman Log Analytics.

Untuk informasi selengkapnya, baca dokumen berikut: