Membuat kueri dan menganalisis log dengan Log Analytics

Dokumen ini menjelaskan cara membuat kueri dan menganalisis data log yang disimpan di bucket log yang telah diupgrade untuk menggunakan Log Analytics. Anda dapat membuat kueri log di bucket ini menggunakan SQL, yang memungkinkan Anda memfilter dan menggabungkan log. Untuk melihat hasil kueri, Anda dapat menggunakan bentuk tabel, atau Anda dapat memvisualisasikan data dengan diagram. Tabel dan diagram ini dapat disimpan ke dasbor kustom Anda.

Anda dapat membuat kueri tampilan log di bucket log atau tampilan analisis. Saat Anda membuat kueri tampilan log, skema akan sesuai dengan struktur data LogEntry. Karena pembuat tampilan analisis menentukan skema, salah satu kasus penggunaan untuk tampilan analisis adalah mengubah data log dari format LogEntry menjadi format yang lebih sesuai untuk Anda.

Anda dapat menggunakan Logs Explorer untuk melihat entri log yang disimpan di bucket log dalam project, terlepas dari apakah bucket log telah diupgrade untuk menggunakan Log Analytics atau tidak.

Log Analytics tidak menghapus duplikat entri log, yang dapat memengaruhi cara Anda menulis kueri. Selain itu, ada beberapa batasan saat menggunakan Log Analytics. Untuk informasi selengkapnya tentang topik ini, lihat dokumen berikut:

Tentang set data tertaut

Log Analytics mendukung pembuatan set data BigQuery tertaut, yang memungkinkan BigQuery memiliki akses baca ke data pokok. Jika memilih untuk membuat set data tertaut, Anda dapat melakukan hal berikut:

Dokumen ini tidak menjelaskan cara membuat set data tertaut atau cara mengonfigurasi Log Analytics untuk menjalankan kueri di slot yang direservasi. Jika Anda tertarik dengan topik tersebut, lihat artikel Membuat kueri set data tertaut di BigQuery.

Sebelum memulai

Bagian ini menjelaskan langkah-langkah yang harus Anda selesaikan sebelum dapat menggunakan Log Analytics.

Mengonfigurasi bucket log

Pastikan bucket log Anda telah diupgrade untuk menggunakan Log Analytics:

  1. Di konsol Google Cloud, buka halaman Logs Storage:

    Buka Penyimpanan Log

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Untuk setiap bucket log yang memiliki tampilan log yang ingin Anda buat kuerinya, pastikan kolom Log Analytics tersedia menampilkan Buka. Jika Upgrade ditampilkan, klik Upgrade dan selesaikan dialog.

Mengonfigurasi peran dan izin IAM

Bagian ini menjelaskan peran atau izin IAM yang diperlukan untuk menggunakan Log Analytics:

  • Untuk mendapatkan izin yang Anda perlukan guna menggunakan Log Analytics dan tampilan log kueri, minta administrator untuk memberi Anda peran IAM berikut di project Anda:

    • Untuk membuat kueri bucket log _Required dan _Default: Logs Viewer (roles/logging.viewer)
    • Untuk membuat kueri semua tampilan log dalam project: Logs View Accessor (roles/logging.viewAccessor)

    Anda dapat membatasi akun utama ke tampilan log tertentu dengan menambahkan kondisi IAM ke pemberian peran Logs View Accessor yang dilakukan di tingkat project, atau dengan menambahkan binding IAM ke file kebijakan tampilan log. Untuk mengetahui informasi selengkapnya, lihat Mengontrol akses ke tampilan log.

    Izin ini sama dengan izin yang Anda perlukan untuk melihat entri log di halaman Logs Explorer. Untuk mengetahui informasi tentang peran tambahan yang Anda perlukan untuk membuat kueri tampilan di bucket yang ditentukan pengguna atau untuk membuat kueri tampilan _AllLogs dari bucket log _Default, lihat Peran Cloud Logging.

  • Untuk mendapatkan izin yang diperlukan guna membuat kueri tampilan analisis, minta administrator untuk memberi Anda peran IAM Observability Analytics User (roles/observability.analyticsUser) di project Anda.

Membuat kueri tampilan log atau tampilan analisis

Saat memecahkan masalah, Anda mungkin ingin menghitung entri log dengan kolom yang cocok dengan pola atau menghitung latensi rata-rata untuk permintaan HTTP. Anda dapat melakukan tindakan ini dengan menjalankan kueri SQL pada tampilan log.

Untuk mengeluarkan kueri SQL ke tampilan log, lakukan hal berikut:

  1. Di konsol Google Cloud, buka halaman Log Analytics:

    Buka Log Analytics

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Jika Anda ingin memuat kueri default, lakukan hal berikut:

    1. Di menu Tampilan, buka bagian Logs atau Analytics Views, lalu pilih tampilan yang ingin Anda buat kueri.

      Untuk menemukan tampilan, Anda dapat menggunakan panel Filter atau men-scroll daftar:

      • Tampilan log dicantumkan oleh BUCKET_ID.LOG_VIEW_ID, dengan kolom ini merujuk pada ID bucket log dan tampilan log.

      • Tampilan Analytics dicantumkan oleh LOCATION.ANALYTICS_VIEW_ID, dengan kolom ini merujuk ke lokasi dan ID tampilan analisis.

    2. Di toolbar Schema, klik Query.

      Panel Kueri diperbarui dengan kueri SQL yang mengkueri tampilan analisis yang Anda pilih.

  3. Jika Anda ingin memasukkan kueri, lakukan hal berikut:

    • Untuk menentukan rentang waktu, sebaiknya gunakan pemilih rentang waktu. Jika Anda dapat menambahkan klausa WHERE yang menentukan kolom timestamp, nilai tersebut akan menggantikan setelan di pemilih rentang waktu dan pemilih tersebut akan dinonaktifkan.

    • Untuk contoh, lihat Contoh kueri.

    • Untuk membuat kueri tampilan log, klausa FROM untuk kueri Anda harus memiliki format berikut:

      FROM `PROJECT_ID.LOCATION.BUCKET_ID.LOG_VIEW_ID`
      
    • Untuk membuat kueri tampilan analisis, klausa FROM untuk kueri Anda harus memiliki format berikut:

      FROM `analytics_view.PROJECT_ID.LOCATION.ANALYTICS_VIEW_ID`
      

    Berikut ini penjelasan arti kolom dalam ekspresi sebelumnya:

    • PROJECT_ID: ID project.
    • LOCATION: Lokasi tampilan log atau tampilan analisis.
    • BUCKET_ID: Nama atau ID bucket log.
    • LOG_VIEW_ID: ID tampilan log, yang dibatasi hingga 100 karakter dan hanya dapat menyertakan huruf, angka, garis bawah, dan tanda hubung.
    • ANALYTICS_VIEW_ID: ID tampilan analisis, yang dibatasi hingga 100 karakter dan hanya dapat menyertakan huruf, angka, garis bawah, dan tanda hubung.
  4. Di toolbar, pastikan tombol berlabel Run query ditampilkan.

    Jika toolbar menampilkan Run in BigQuery, klik Settings, lalu pilih Log Analytics (default).

  5. Jalankan kueri Anda.

    Kueri dieksekusi dan hasilnya ditampilkan di tab Results.

    Anda dapat menggunakan opsi toolbar untuk memformat kueri, menghapus kueri, dan membuka dokumentasi referensi SQL BigQuery.

  6. Opsional: Buat diagram atau simpan hasil ke dasbor kustom.

    Secara default, hasil kueri Anda ditampilkan sebagai tabel. Namun, Anda dapat membuat diagram, dan Anda juga dapat menyimpan tabel atau diagram ke dasbor kustom.

    Untuk mengetahui informasi tentang cara membuat dan mengonfigurasi diagram, serta cara menyimpan hasil kueri ke dasbor, lihat Membuat diagram hasil kueri SQL.

Menampilkan skema

Skema menentukan struktur dan jenis datanya untuk setiap kolom. Informasi ini penting bagi Anda karena menentukan cara Anda membuat kueri. Misalnya, Anda ingin menghitung rata-rata latensi permintaan HTTP. Anda perlu mengetahui cara mengakses kolom latensi dan apakah kolom tersebut disimpan sebagai bilangan bulat seperti 100 atau disimpan sebagai string seperti "100". Jika data latensi disimpan sebagai string, kueri harus mengubah nilai menjadi nilai numerik sebelum menghitung rata-rata.

Jika jenis data kolom adalah JSON, skema tidak mencantumkan kolom yang tersedia untuk kolom tersebut. Misalnya, entri log dapat memiliki kolom dengan nama json_payload. Saat bucket log diupgrade untuk menggunakan Log Analytics, kolom tersebut akan dipetakan ke kolom dengan jenis data JSON. Skema tidak menunjukkan kolom turunan. Artinya, Anda tidak dapat menggunakan skema untuk menentukan apakah json_payload.url adalah referensi yang valid.

Untuk mengidentifikasi skema, lakukan hal berikut:

  1. Di konsol Google Cloud, buka halaman Log Analytics:

    Buka Log Analytics

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Di panel Tampilan, temukan tampilan log atau tampilan analisis, lalu pilih tampilan.

    Skema akan ditampilkan. Untuk tampilan log, skema bersifat tetap dan sesuai dengan struktur data LogEntry. Untuk tampilan analisis, Anda dapat mengubah kueri SQL untuk mengubah skema.

Langkah selanjutnya