Membuat kueri dan menganalisis log dengan Log Analytics

Dokumen ini menjelaskan cara membuat kueri dan menganalisis data log yang disimpan di bucket log yang telah diupgrade untuk menggunakan Log Analytics. Anda dapat membuat kueri log di bucket ini menggunakan SQL, yang memungkinkan Anda memfilter dan menggabungkan log. Untuk melihat hasil kueri, Anda dapat menggunakan bentuk tabel, atau Anda dapat memvisualisasikan data dengan diagram. Tabel dan diagram ini dapat disimpan ke dasbor kustom Anda.

Anda dapat membuat kueri tampilan log di bucket log. Saat Anda membuat kueri tampilan log, skema akan sesuai dengan struktur data LogEntry.

Anda dapat menggunakan Logs Explorer untuk melihat entri log yang disimpan di bucket log dalam project Anda, terlepas dari apakah bucket log telah diupgrade untuk menggunakan Log Analytics atau tidak.

Log Analytics tidak menghapus duplikat entri log, yang dapat memengaruhi cara Anda menulis kueri. Selain itu, ada beberapa batasan saat menggunakan Log Analytics. Untuk informasi selengkapnya tentang topik ini, lihat dokumen berikut:

Tentang set data tertaut

Log Analytics mendukung pembuatan set data BigQuery tertaut, yang memungkinkan BigQuery memiliki akses baca ke data pokok. Jika memilih untuk membuat set data tertaut, Anda dapat melakukan hal berikut:

Dokumen ini tidak menjelaskan cara membuat set data tertaut atau cara mengonfigurasi Log Analytics untuk menjalankan kueri di slot yang direservasi. Jika Anda tertarik dengan topik tersebut, lihat artikel Membuat kueri set data tertaut di BigQuery.

Sebelum memulai

Bagian ini menjelaskan langkah-langkah yang harus Anda selesaikan sebelum dapat menggunakan Log Analytics.

Mengonfigurasi bucket log

Pastikan bucket log Anda telah diupgrade untuk menggunakan Log Analytics:

  1. Di konsol Google Cloud, buka halaman Logs Storage:

    Buka Penyimpanan Log

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Untuk setiap bucket log yang memiliki tampilan log yang ingin Anda buat kuerinya, pastikan kolom Log Analytics tersedia menampilkan Buka. Jika Upgrade ditampilkan, klik Upgrade dan selesaikan dialog.

Mengonfigurasi peran dan izin IAM

Bagian ini menjelaskan peran atau izin IAM yang diperlukan untuk menggunakan Log Analytics:

  • Untuk mendapatkan izin yang diperlukan guna menggunakan Log Analytics dan tampilan log kueri, minta administrator untuk memberi Anda peran IAM berikut di project Anda:

    • Untuk membuat kueri bucket log _Required dan _Default: Logs Viewer (roles/logging.viewer)
    • Untuk membuat kueri semua tampilan log dalam project: Logs View Accessor (roles/logging.viewAccessor)

    Anda dapat membatasi akun utama ke tampilan log tertentu dengan menambahkan kondisi IAM ke pemberian peran Logs View Accessor yang dilakukan di tingkat project, atau dengan menambahkan binding IAM ke file kebijakan tampilan log. Untuk mengetahui informasi selengkapnya, lihat Mengontrol akses ke tampilan log.

    Izin ini sama dengan izin yang Anda perlukan untuk melihat entri log di halaman Logs Explorer. Untuk mengetahui informasi tentang peran tambahan yang Anda perlukan untuk membuat kueri tampilan di bucket yang ditentukan pengguna atau untuk membuat kueri tampilan _AllLogs dari bucket log _Default, lihat Peran Cloud Logging.

Membuat kueri tampilan log

Saat memecahkan masalah, Anda mungkin ingin menghitung entri log dengan kolom yang cocok dengan pola atau menghitung latensi rata-rata untuk permintaan HTTP. Anda dapat melakukan tindakan ini dengan menjalankan kueri SQL pada tampilan log.

Untuk mengeluarkan kueri SQL ke tampilan log, lakukan hal berikut:

  1. Di konsol Google Cloud, buka halaman Log Analytics:

    Buka Log Analytics

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Dalam daftar Log views, temukan tampilan, lalu pilih Query. Panel Kueri diisi dengan kueri default, yang menyertakan nama tabel untuk nama tampilan log yang dikueri. Nama ini memiliki format project_ID.region.bucket_ID.view_ID.

    Anda juga dapat memasukkan kueri di panel Kueri, atau mengedit kueri yang ditampilkan. Untuk contoh kueri, lihat Contoh kueri.

    Untuk menentukan rentang waktu, sebaiknya gunakan pemilih rentang waktu. Namun, Anda dapat menambahkan klausa WHERE yang menentukan kolom timestamp. Jika kueri menyertakan kolom timestamp, stempel waktu tersebut akan menggantikan rentang waktu yang dipilih di pemilih rentang waktu dan pemilih rentang waktu dinonaktifkan.

  3. Di toolbar, pastikan tombol berlabel Run query ditampilkan.

    Jika toolbar menampilkan Run in BigQuery, klik Settings, lalu pilih Log Analytics (default).

  4. Jalankan kueri Anda.

    Kueri dieksekusi dan hasilnya ditampilkan di tab Results.

    Anda dapat menggunakan opsi toolbar untuk memformat kueri, menghapus kueri, dan membuka dokumentasi referensi SQL BigQuery.

  5. Opsional: Buat diagram atau simpan hasil ke dasbor kustom.

    Secara default, hasil kueri Anda ditampilkan sebagai tabel. Namun, Anda dapat membuat diagram, dan Anda juga dapat menyimpan tabel atau diagram ke dasbor kustom.

    Untuk mengetahui informasi tentang cara membuat dan mengonfigurasi diagram, serta cara menyimpan hasil kueri ke dasbor, lihat Membuat diagram hasil kueri SQL.

Menampilkan skema tampilan log

Skema tampilan log menentukan struktur dan jenis datanya untuk setiap kolom. Informasi ini penting bagi Anda karena menentukan cara Anda membuat kueri. Misalnya, Anda ingin menghitung rata-rata latensi permintaan HTTP. Anda perlu mengetahui cara mengakses kolom latensi dan apakah kolom tersebut disimpan sebagai bilangan bulat seperti 100 atau disimpan sebagai string seperti "100". Saat data latensi disimpan sebagai string, kueri harus mengubah nilai menjadi nilai numerik sebelum menghitung rata-rata.

Jika jenis data kolom adalah JSON, skema tidak mencantumkan kolom yang tersedia untuk kolom tersebut. Misalnya, entri log dapat memiliki kolom dengan nama json_payload. Saat bucket log diupgrade untuk menggunakan Log Analytics, kolom tersebut akan dipetakan ke kolom dengan jenis data JSON. Skema tidak menunjukkan kolom turunan. Artinya, Anda tidak dapat menggunakan skema untuk menentukan apakah json_payload.url adalah referensi yang valid.

Untuk mengidentifikasi skema tampilan log, lakukan langkah berikut:

  1. Di konsol Google Cloud, buka halaman Log Analytics:

    Buka Log Analytics

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Dalam daftar Log views, temukan tampilan log, lalu pilih nama tampilan log.

    Skema akan ditampilkan. Anda dapat menggunakan kolom Filter untuk menemukan kolom tertentu. Anda tidak dapat mengubah skema.

Langkah selanjutnya