Membuat kueri dan menganalisis log dengan Log Analytics

Dokumen ini menjelaskan cara membuat kueri dan menganalisis data log Anda menggunakan Log Analytics, yang menyediakan antarmuka kueri berbasis SQL. Dengan menggunakan SQL, Anda dapat melakukan tugas seperti menghitung entri log dengan kolom yang cocok dengan pola. Log Analytics menyediakan editor SQL dan sistem berbasis menu untuk membuat kueri. Untuk melihat hasil kueri, Anda dapat menggunakan bentuk tabel, atau Anda dapat memvisualisasikan data sebagai diagram. Anda dapat menyimpan diagram ke dasbor kustom.

Anda dapat membuat kueri tampilan log di bucket log atau tampilan analisis. Saat Anda membuat kueri tampilan log, skema sesuai dengan struktur data LogEntry. Karena pembuat tampilan analisis menentukan skema, salah satu kasus penggunaan tampilan analisis adalah mengubah data log dari format LogEntry menjadi format yang lebih sesuai untuk Anda.

Log Analytics tidak menghapus duplikat entri log, yang dapat memengaruhi cara Anda menulis kueri. Selain itu, ada beberapa batasan saat menggunakan Log Analytics. Untuk mengetahui informasi selengkapnya tentang topik ini, lihat dokumen berikut:

Tentang set data tertaut

Log Analytics mendukung pembuatan set data BigQuery tertaut, yang memungkinkan BigQuery memiliki akses baca ke data pokok. Jika Anda memilih untuk membuat set data tertaut, Anda dapat melakukan hal berikut:

Dokumen ini tidak menjelaskan cara membuat set data tertaut atau cara mengonfigurasi Log Analytics untuk menjalankan kueri pada slot yang dicadangkan. Jika Anda tertarik dengan topik tersebut, lihat Mengirim kueri set data tertaut di BigQuery.

Sebelum memulai

Bagian ini menjelaskan langkah-langkah yang harus Anda selesaikan sebelum Anda dapat menggunakan Log Analytics.

Mengonfigurasi bucket log

Pastikan bucket log Anda telah diupgrade untuk menggunakan Log Analytics:

  1. Di konsol Google Cloud , buka halaman Logs Storage:

    Buka Penyimpanan Log

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Untuk setiap bucket log yang memiliki tampilan log yang ingin Anda kueri, pastikan kolom Log Analytics available menampilkan Open. Jika Upgrade ditampilkan, klik Upgrade dan selesaikan dialog.

Mengonfigurasi peran dan izin IAM

Bagian ini menjelaskan peran atau izin IAM yang diperlukan untuk menggunakan Log Analytics:

  • Untuk mendapatkan izin yang diperlukan untuk menggunakan Log Analytics dan membuat kueri tampilan log, minta administrator untuk memberi Anda peran IAM berikut di project Anda:

    • Untuk membuat kueri bucket log _Required dan _Default: Logs Viewer (roles/logging.viewer)
    • Untuk membuat kueri semua tampilan log dalam project: Logs View Accessor (roles/logging.viewAccessor)

    Anda dapat membatasi akun utama ke tampilan log tertentu dengan menambahkan kondisi IAM ke pemberian peran Logs View Accessor yang dilakukan di tingkat project, atau dengan menambahkan binding IAM ke file kebijakan tampilan log. Untuk mengetahui informasi selengkapnya, lihat Mengontrol akses ke tampilan log.

    Izin ini sama dengan izin yang Anda perlukan untuk melihat entri log di halaman Logs Explorer. Untuk mengetahui informasi tentang peran tambahan yang Anda perlukan untuk membuat kueri tampilan di bucket yang ditentukan pengguna atau untuk membuat kueri tampilan _AllLogs dari bucket log _Default, lihat Peran Cloud Logging.

  • Untuk mendapatkan izin yang diperlukan untuk mengkueri tampilan analisis, minta administrator untuk memberi Anda peran IAM Observability Analytics User (roles/observability.analyticsUser) di project Anda.

Data log kueri

Bagian ini menjelaskan pendekatan yang dapat Anda gunakan untuk membuat kueri data log:

  • Muat kueri yang ditentukan sistem, edit kueri ini, lalu jalankan kueri.
  • Masukkan dan jalankan kueri kustom. Misalnya, Anda dapat menempelkan kueri yang Anda miliki atau menulis kueri. Kueri kustom dapat mencakup gabungan, kueri bertingkat, dan pernyataan SQL kompleks lainnya. Untuk contoh, lihat Contoh kueri SQL.
  • Buat kueri dengan membuat pilihan menu, lalu jalankan kueri tersebut. Log Analytics mengonversi pilihan Anda menjadi kueri SQL, yang dapat Anda lihat dan edit.

Memuat, mengedit, dan menjalankan kueri yang ditentukan sistem

  1. Di konsol Google Cloud , buka halaman Log Analytics:

    Buka Log Analytics

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Di menu Views, buka bagian Logs atau Analytics Views, lalu pilih tampilan yang ingin Anda kueri.

    Untuk menemukan tampilan yang akan dikueri, gunakan kolom Filter atau scroll daftar:

    • Tampilan log dicantumkan berdasarkan BUCKET_ID.LOG_VIEW_ID, dengan kolom ini merujuk ke ID bucket log dan tampilan log.

    • Tampilan Analytics dicantumkan berdasarkan LOCATION.ANALYTICS_VIEW_ID, dengan kolom ini merujuk pada lokasi dan ID tampilan Analytics. Tampilan Analytics tersedia dalam Pratinjau Publik.

  3. Lakukan salah satu hal berikut:

    • Untuk memuat kueri yang ditentukan sistem yang mengandalkan Query Builder, yang memungkinkan Anda menentukan kueri dengan pilihan menu, pastikan panel Query menampilkan Query Builder. Jika editor SQL ditampilkan, klik  Builder.

    • Untuk memuat kueri yang ditentukan sistem yang mengekstrak nilai JSON, pastikan panel Query menampilkan editor SQL. Jika panel ini menampilkan Pembuat Kueri, klik  SQL.

  4. Di panel Schema, pilih Query, lalu klik Overwrite.

    Panel Query menampilkan kueri yang ditentukan sistem. Jika Anda memilih mode Pembuat Kueri, tetapi ingin melihat kueri SQL, klik  SQL.

  5. Opsional: Ubah kueri.

  6. Untuk menjalankan kueri, buka toolbar dan pilih Run Query.

    Log Analytics menampilkan hasil kueri dalam tabel. Namun, Anda dapat membuat diagram, dan Anda juga dapat menyimpan tabel atau diagram ke dasbor kustom. Untuk mengetahui informasi selengkapnya, lihat Membuat diagram hasil kueri SQL.

    Jika toolbar menampilkan Jalankan di BigQuery, Anda harus mengalihkan Log Analytics untuk menggunakan mesin kueri default. Untuk melakukan perubahan ini, di toolbar panel Kueri, klik Setelan lalu pilih Analytics (default).

Memasukkan dan menjalankan kueri kustom

Untuk memasukkan kueri SQL, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Log Analytics:

    Buka Log Analytics

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Di panel Kueri, klik  SQL.

    • Untuk menentukan rentang waktu, sebaiknya gunakan pemilih rentang waktu. Jika Anda menambahkan klausa WHERE yang menentukan kolom timestamp, nilai tersebut akan menggantikan setelan di pemilih rentang waktu dan pemilih tersebut akan dinonaktifkan.

    • Untuk contoh, lihat Contoh kueri SQL.

    • Anda dapat membuat kueri tampilan log atau tampilan analisis. Gunakan format berikut untuk klausa FROM:

      • Tampilan log:

        FROM `PROJECT_ID.LOCATION.BUCKET_ID.LOG_VIEW_ID`

      • Tampilan Analytics:

        FROM `analytics_view.PROJECT_ID.LOCATION.ANALYTICS_VIEW_ID`

      Kolom dalam ekspresi sebelumnya memiliki arti berikut:

      • PROJECT_ID: ID project.
      • LOCATION: Lokasi tampilan log atau tampilan analisis.
      • BUCKET_ID: Nama atau ID bucket log.
      • LOG_VIEW_ID: ID tampilan log, yang dibatasi hingga 100 karakter dan hanya dapat menyertakan huruf, angka, garis bawah, dan tanda hubung.
      • ANALYTICS_VIEW_ID: ID tampilan analisis, yang dibatasi hingga 100 karakter dan hanya dapat menyertakan huruf, angka, garis bawah, dan tanda hubung.

    Jika panel kueri menampilkan pesan error yang merujuk pada pernyataan FROM, berarti tampilan tidak dapat ditemukan. Untuk mengetahui informasi tentang cara mengatasi kegagalan ini, lihat Klausul FROM Error harus berisi tepat satu tampilan log.

  3. Untuk menjalankan kueri, buka toolbar dan pilih Run Query.

    Log Analytics menampilkan hasil kueri dalam tabel. Namun, Anda dapat membuat diagram, dan Anda juga dapat menyimpan tabel atau diagram ke dasbor kustom. Untuk mengetahui informasi selengkapnya, lihat Membuat diagram hasil kueri SQL.

    Jika toolbar menampilkan Jalankan di BigQuery, Anda harus mengalihkan Log Analytics untuk menggunakan mesin kueri default. Untuk melakukan perubahan ini, di toolbar panel Kueri, klik Setelan lalu pilih Analytics (default).

Membuat, mengedit, dan menjalankan kueri

Antarmuka Pembuat Kueri memungkinkan Anda membuat kueri dengan membuat pilihan dari menu. Log Analytics mengonversi pilihan Anda menjadi kueri SQL, yang dapat Anda lihat dan edit. Misalnya, Anda dapat memulai dengan menggunakan antarmuka Pembuat Kueri, lalu beralih ke editor SQL untuk menyempurnakan kueri.

Log Analytics selalu dapat mengonversi pilihan menu Anda dari antarmuka Query Builder menjadi kueri SQL. Namun, tidak semua kueri SQL dapat ditampilkan oleh antarmuka Pembuat Kueri. Misalnya, kueri dengan gabungan tidak dapat diwakili oleh antarmuka ini.

Untuk membuat kueri, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Log Analytics:

    Buka Log Analytics

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Jika panel Query menampilkan editor SQL, pilih Builder, yang akan membuka panel Query Builder.

  3. Gunakan menu Sumber dan Kolom untuk memilih tampilan dan kolom yang muncul di tabel hasil. Pilihan Anda dipetakan ke klausa FROM dan SELECT dalam kueri SQL.

  4. Opsional: Gunakan menu berikut untuk membatasi atau memformat tabel hasil:

    • Telusuri semua kolom: Telusuri string yang cocok. Pilihan Anda dipetakan ke klausa WHERE dalam kueri SQL.

    • Filter: Tambahkan filter jika Anda ingin membatasi kueri ke rentang yang berisi atribut atau ID rentang tertentu. Menu mencantumkan semua opsi filter yang tersedia. Pilihan Anda dipetakan ke klausa WHERE dalam kueri SQL.

    • Urutkan Menurut: Tetapkan kolom yang akan diurutkan, dan apakah pengurutan dilakukan secara menaik atau menurun. Pilihan Anda dipetakan ke klausa ORDER BY dalam kueri SQL.

    • Batas: Tetapkan jumlah maksimum baris dalam tabel hasil. Pilihan Anda dipetakan ke klausa LIMIT dalam kueri SQL.

  5. Untuk menjalankan kueri, buka toolbar dan pilih Run Query.

    Log Analytics menampilkan hasil kueri dalam tabel. Namun, Anda dapat membuat diagram, dan Anda juga dapat menyimpan tabel atau diagram ke dasbor kustom. Untuk mengetahui informasi selengkapnya, lihat Membuat diagram hasil kueri SQL.

    Jika toolbar menampilkan Jalankan di BigQuery, Anda harus mengalihkan Log Analytics untuk menggunakan mesin kueri default. Untuk melakukan perubahan ini, di toolbar panel Kueri, klik Setelan lalu pilih Analytics (default).

Menampilkan skema

Skema menentukan cara data disimpan, yang mencakup kolom dan jenis datanya. Informasi ini penting bagi Anda karena skema menentukan kolom yang Anda kueri dan apakah Anda perlu melakukan transmisi kolom ke jenis data yang berbeda. Misalnya, untuk menulis kueri yang menghitung latensi rata-rata permintaan HTTP, Anda perlu mengetahui cara mengakses kolom latensi dan apakah kolom tersebut disimpan sebagai bilangan bulat seperti 100 atau sebagai string seperti "100". Jika data latensi disimpan sebagai string, kueri harus melakukan transmisi nilai ke nilai numerik sebelum menghitung rata-rata.

Untuk mengidentifikasi skema, lakukan hal berikut:

  1. Di konsol Google Cloud , buka halaman Log Analytics:

    Buka Log Analytics

    Jika Anda menggunakan kotak penelusuran untuk menemukan halaman ini, pilih hasil yang subjudulnya adalah Logging.

  2. Di menu Views, buka bagian Logs atau Analytics Views, lalu pilih tampilan yang ingin Anda kueri.

    Panel Schema diperbarui. Log Analytics secara otomatis menyimpulkan kolom saat jenis datanya adalah JSON. Untuk melihat seberapa sering kolom yang disimpulkan ini muncul dalam data Anda, klik Opsi dan pilih Lihat info dan deskripsi.

    Untuk tampilan log, skemanya tetap dan sesuai dengan LogEntry. Untuk tampilan analisis, Anda dapat mengubah kueri SQL untuk mengubah skema.

Langkah berikutnya