Membuat dan menyimpan kueri menggunakan bahasa kueri Logging

Dokumen ini menjelaskan cara mengambil dan menganalisis log saat Anda menggunakan Logs Explorer dengan menulis kueri di kolom editor kueri, dan dengan membuat pilihan dari menu filter menggunakan opsi yang disertakan dengan entri log. Kueri yang Anda build ditulis dalam Bahasa kueri logging.

Anda juga dapat menyimpan kueri di halaman Logs Explorer, atau dengan menggunakan metode Logging API savedQueries.create.

Sebelum memulai

Untuk membuat kueri, Anda harus memiliki izin untuk membaca data log. Izin ini disertakan dalam peran Logging Viewer (roles/logging.viewer). Untuk mengetahui detail tentang izin IAM yang diperlukan, lihat Izin untuk Konsol Google Cloud.
Untuk menyimpan kueri, peran Identity and Access Management Anda harus menyertakan izin logging.queries.{list, create, get, update, delete}.
Untuk membagikan kueri, peran Identity and Access Management Anda harus menyertakan izin logging.queries.share. Izin ini disertakan dalam peran Pemilik (roles/owner) dan Admin Logging (roles/logging.admin).

Untuk mengetahui daftar izin yang terkait dengan setiap peran Logging, lihat Peran logging.

Kueri build

Untuk membuat kueri dengan menggunakan Konsol Google Cloud, lakukan hal berikut:

Di panel navigasi konsol Google Cloud, pilih Logging, lalu pilih Logs Explorer:
Buka Logs Explorer
Pilih project Google Cloud atau resource Google Cloud lain yang lognya ingin Anda lihat.
Untuk melihat log yang Anda kirim dari akun Amazon Web Services (AWS) ke Logging, pilih project konektor AWS di pemilih resource konsol Google Cloud, lalu gunakan Logs Explorer. Project konektor AWS menyimpan Amazon Resource Name (ARN) untuk akun AWS Anda dan menautkan akun AWS ke layanan Google Cloud. Untuk mengetahui informasi selengkapnya, lihat artikel Mengumpulkan metrik dari akun AWS.
Gunakan panel Query untuk membuat kueri Anda.

Panel Query menyediakan beberapa cara untuk membuat dan menjalankan ekspresi kueri:
- Menelusuri teks di semua kolom log.
- Pilih opsi dari menu filter.
- Tulis atau ubah kueri menggunakan editor kueri.
- Lihat, edit, atau jalankan kueri di tab Terbaru, Disimpan, Disarankan, dan Koleksi.

Menelusuri teks di seluruh kolom log

Untuk menelusuri teks di semua kolom log dan menemukan semua entri log yang cocok, masukkan istilah penelusuran Anda di kolom penelusuran:

Anda dapat menelusuri kata dan frasa, dan istilah penelusuran Anda dapat mencakup operator Boolean dan ekspresi reguler:

Untuk melakukan penelusuran yang tidak peka huruf besar/kecil di sepanjang batas token, masukkan istilah penelusuran tanpa tanda kutip ganda atau tanda kutip ganda.

Misalnya, untuk menelusuri entri log yang berisi kata hello dan kata world, masukkan hello world. Perintah yang dikonversi menjadi SEARCH("hello world") ini cocok dengan entri log yang berisi token hello dan world, dalam urutan apa pun. Karena penelusuran tidak peka huruf besar/kecil, penelusuran juga cocok dengan entri log yang berisi token Hello dan World. Penelusuran tidak cocok dengan token worlds.
Guna melakukan penelusuran yang tidak peka huruf besar/kecil untuk frasa di sepanjang batas token, gabungkan frasa dengan tanda kutip terbalik.

Misalnya, untuk menelusuri frasa hello world, masukkan `hello world`. Perintah yang dikonversi menjadi SEARCH("`hello world`") ini cocok dengan entri log yang berisi token hello world. Penelusuran tidak cocok dengan token hello worlds.
Untuk melakukan penelusuran substring yang tidak peka huruf besar/kecil, gabungkan teks dalam tanda kutip ganda. Misalnya, "hello world" cocok dengan Hello World dan Hello world. Kueri yang sama juga cocok dengan hello worlds, karena penelusuran tidak dilakukan di sepanjang batas token.

Catatan: Penelusuran substring lebih lambat dibandingkan penelusuran berbasis token. Oleh karena itu, sebaiknya gunakan penelusuran berbasis token jika memungkinkan.

Untuk melihat istilah penelusuran dalam ekspresi kueri, aktifkan Tampilkan kueri.

Setelah memasukkan istilah penelusuran, klik Jalankan kueri atau tekan tombol Enter. Hasil kueri akan ditampilkan di panel Query results.

Operator Boolean

Entri kolom penelusuran Anda dikonversi menjadi ekspresi Boolean yang menentukan sebagian dari semua entri log dalam resource Google Cloud yang Anda pilih.

Kolom penelusuran mendukung penggunaan operator Boolean AND, OR, dan NOT. Saat menggunakan operator Boolean dalam ekspresi penelusuran, perhatikan hal-hal berikut:

Anda tidak bisa menggunakan tanda kurung untuk membuat aturan bertingkat. Setiap tanda kurung dalam ekspresi penelusuran akan diuraikan sebagai istilah penelusuran.
Operator Boolean harus menggunakan huruf besar. Huruf kecil and, or, dan not diuraikan sebagai istilah penelusuran, bukan sebagai operator.

Jika Anda tidak menyertakan operator apa pun, semua istilah penelusuran dan frasa akan digabungkan dengan AND. Anda dapat menghilangkan operator AND di antara istilah penelusuran.

Operator AND dan OR adalah operator hubungan pendek. Anda dapat menggabungkan aturan AND dan OR dalam ekspresi yang sama. Misalnya, saat kedua operator dicampur, ekspresi a AND b OR c AND d akan berubah menjadi ekspresi bahasa kueri Logging berikut:

"a"
"b" OR "c"
"d"

Operator NOT memiliki prioritas tertinggi, diikuti oleh OR dan AND dalam urutan tersebut.

Operator NOT melakukan negasi terhadap istilah berikutnya. Misalnya, NOT error menampilkan entri log yang tidak berisi error. Anda juga dapat mengganti operator NOT dengan operator - (minus). Misalnya, dua kueri berikut adalah sama:

"response" AND "successful" AND NOT "error"

"response successful" -"error"

Logika ini juga berfungsi dengan frasa, jika operator - (minus) berada di luar tanda kutip. Misalnya, dua kueri berikut adalah sama:

-"response successful"

NOT "response successful"

Membuat kueri dengan menu filter

Anda dapat menggunakan menu filter di panel Query untuk menambahkan resource, nama log, dan parameter tingkat keparahan log ke kolom editor kueri. Opsi ini sesuai dengan kolom LogEntry untuk semua log di Logging.

Opsi di menu Resource dan Log name hanya menampilkan log yang saat ini disimpan di Cloud Logging.

Filter menu untuk editor kueri

Resource: Memungkinkan Anda menentukan resource.type dan resource.labels terkait. Anda dapat memilih satu jenis resource menggunakan menu filter ini, dan nol atau beberapa label resource untuk diterapkan ke kueri Anda. Parameter resource digabungkan dengan operator logis AND.
Log name: Memungkinkan Anda menentukan logName. Anda dapat memilih beberapa nama log untuk diterapkan ke kueri. Saat memilih beberapa nama log, operator logis OR akan digunakan.
Keparahan: Memungkinkan Anda menentukan keparahan. Anda dapat memilih beberapa tingkat keparahan secara bersamaan untuk ditambahkan dan diterapkan ke kueri. Saat memilih beberapa tingkat keparahan, operator logika OR akan digunakan.

Untuk menggunakan salah satu menu filter, lakukan hal berikut:

Luaskan Menu pada menu filter mana pun di panel Query.
Saring parameter filter.
Klik Terapkan. Anda akan melihat parameter di kolom editor kueri.

Untuk melihat istilah penelusuran dalam ekspresi kueri, aktifkan Tampilkan kueri.
Setelah meninjau kueri, klik Jalankan kueri. Hasil kueri akan ditampilkan di panel Query results.

Untuk jenis resource Compute Engine tertentu, seperti gce_instance dan gce_network, Anda akan melihat nama resource dengan ID resource sebagai subteks. Misalnya, untuk jenis resource gce_instance, Anda akan melihat nama VM beserta ID VM-nya. Nama resource membantu Anda mengidentifikasi ID resource yang benar, yang dapat digunakan untuk mem-build kueri.

Melihat log berdasarkan rentang waktu

Ada dua cara untuk menampilkan log yang ditulis dalam rentang waktu tertentu:

Menggunakan pemilih rentang waktu.
Sertakan ekspresi stempel waktu di kolom query-editor.

Menggunakan pemilih rentang waktu

Rentang waktu default adalah satu jam, tetapi Anda dapat memilih dari opsi waktu preset, menentukan waktu mulai dan berakhir kustom, atau memusatkan rentang waktu di sekitar stempel waktu tertentu menggunakan pemilih rentang waktu. Misalnya, jika Anda ingin melihat data selama seminggu terakhir, pilih 1 minggu terakhir dari pemilih rentang waktu.

Anda juga dapat menyetel preferensi zona waktu menggunakan pemilih rentang waktu.

Menyertakan ekspresi stempel waktu di kolom query-editor

Untuk menambahkan ekspresi stempel waktu secara langsung ke kolom editor kueri, gunakan Bahasa kueri logging.

Jika kolom query-editor berisi ekspresi dengan stempel waktu, pemilih rentang waktu akan dinonaktifkan, dan kueri menggunakan ekspresi stempel waktu sebagai batasan rentang waktunya. Jika kueri tidak menggunakan ekspresi stempel waktu, kueri akan menggunakan pemilih rentang waktu sebagai batasan rentang waktunya.

Menulis kueri lanjutan menggunakan bahasa kueri Logging

Anda dapat menggunakan Bahasa kueri logging untuk membuat kueri lanjutan lainnya di kolom editor kueri Logs Explorer:

Jika Anda tidak melihat kolom editor kueri di panel Query, aktifkan Show query.
Masukkan ekspresi kueri langsung ke kolom editor kueri.

Jika Anda menambahkan istilah penelusuran di kolom penelusuran atau memilih parameter di menu filter, istilah tersebut juga akan muncul di kolom editor kueri dan dievaluasi sebagai bagian dari ekspresi kueri.
Setelah meninjau kueri, klik Jalankan kueri.

Log yang cocok dengan kueri Anda akan tercantum di panel Query results. Panel Histogram dan Log fields juga menyesuaikan dengan ekspresi kueri.

Untuk mengetahui contoh kueri umum yang mungkin ingin Anda gunakan, lihat Contoh kueri menggunakan Logs Explorer.

Menggunakan kueri terbaru

Saat Anda menjalankan kueri apa pun, kueri tersebut akan ditambahkan ke daftar kueri Terbaru, yang berisi 10.000 kueri unik terakhir selama periode 30 hari.

Untuk melihat kueri terbaru, pilih tab Terbaru di panel Kueri. Dalam tab Terbaru, Anda memiliki opsi berikut:

Streaming: Untuk menjalankan kueri dan melakukan streaming hasilnya, pilih opsi ini.
Jalankan: Untuk menjalankan kueri, pilih opsi ini.
Opsi lainnya: Memungkinkan Anda melihat ekspresi kueri dengan opsi untuk menjalankan kueri atau menyimpannya ke daftar kueri Disimpan. Anda juga dapat memilih kueri secara langsung untuk mendapatkan opsi-opsi ini.

Untuk menyimpan kueri, lakukan hal berikut:
1. Klik Save as. Dialog Save query akan terbuka.
2. Lengkapi kolom berikut:
  - Name (Wajib): Berikan nama untuk kueri Anda. Nama dibatasi hingga 64 karakter.
  - Deskripsi (Opsional): Berikan deskripsi untuk membantu mengidentifikasi tujuan kueri.
  - Include summary columns (Opsional): Aktifkan Include summary fields dan masukkan kolom ringkasan yang ingin Anda tampilkan.
  - Truncate summary field (Opsional): Aktifkan Truncate summary kolom, lalu pilih jumlah karakter yang akan dipotong, serta apakah pemotongan terjadi di awal atau akhir kolom.
3. Klik Simpan kueri. Kueri tersebut sekarang tersedia di daftar Kueri tersimpan.

Anda juga dapat mengurutkan dan memfilter kueri terbaru; filter cocok dengan teks dalam ekspresi kueri.

Simpan kueri

Kueri tersimpan memungkinkan Anda menyimpan ekspresi kueri untuk membantu Anda menjelajahi log secara lebih konsisten dan efisien. Panel Query di Logs Explorer menampilkan tab Saved, tempat Anda dapat mengakses kueri yang disimpan. Anda juga dapat menyimpan kueri menggunakan metode Logging API savedQueries.create.

Konsol

Untuk menyimpan ekspresi kueri yang telah Anda buat di kolom editor kueri, lakukan hal berikut:

Klik Save di panel Query. Dialog Save query akan terbuka, dengan ekspresi kueri Anda di kolom editor kueri.
Lengkapi kolom berikut:
- Name (Wajib): Berikan nama untuk kueri Anda. Nama dibatasi hingga 64 karakter.
- Deskripsi (Opsional): Berikan deskripsi untuk membantu mengidentifikasi tujuan kueri.
- Include custom summary fields (Opsional): Aktifkan Include summary fields dan masukkan kolom ringkasan yang ingin Anda tampilkan.
- Truncate summary field (Opsional): Aktifkan Truncate summary kolom, lalu pilih jumlah karakter yang akan dipotong, serta apakah pemotongan terjadi di awal atau akhir kolom.
Klik Simpan kueri. Kueri tersimpan akan muncul dalam daftar di bagian tab Disimpan.

Untuk menjalankan kueri tersimpan, klik Run. Untuk menjalankan kueri dan melakukan streaming hasil, klik Streaming.

Anda juga dapat mengurutkan dan memfilter kueri tersimpan; filter akan mencocokkan teks dalam ekspresi kueri.

API

Untuk menyimpan kueri dengan Logging API, gunakan metode savedQueries.create. Untuk mengetahui informasi selengkapnya tentang metode ini, parameternya, dan data respons, lihat halaman referensi untuk savedQueries.create.

Anda dapat menjalankan metode savedQueries.create menggunakan widget APIs Explorer di halaman referensi metode. Untuk kueri Logs Explorer, Anda harus menentukan kolom loggingQuery. Contoh berikut mengilustrasikan contoh isi permintaan, yang berisi instance SavedQuery:

{
"parent": "projects/my-project/locations/global"
"savedQueryId": "compute-query"
{
  "displayName": "compute-admin-activity-query",
  "description": "Queries for Compute Engine Admin Activity logs.",

  "loggingQuery":
    {
      "filter": resource.type="gce_instance" AND log_id("cloudaudit.googleapis.com/activity"),
    },
  "visibility": "PRIVATE"
}
}

Bagikan kueri

Kueri bersama memungkinkan pengguna project Google Cloud saling berbagi kueri tersimpan. Anda dapat melihat kueri bersama di tab Disimpan.

Untuk mengetahui peran dan izin yang diperlukan dalam melihat dan mengedit kueri bersama, lihat Izin Google Cloud Console. Perlu diperhatikan bahwa pengguna yang memiliki peran IAM roles/logging.admin atau roles/editor dapat mengedit kueri bersama pengguna lain.

Konsol

Anda dapat membagikan kueri yang telah disimpan, atau membagikan kueri baru.

Untuk membuat dan membagikan kueri, lakukan hal berikut:

Masukkan kueri di kolom editor kueri.
Klik Save.
Lengkapi kolom dalam dialog Save query.
Aktifkan Bagikan dengan project.
Klik Simpan kueri.

Kueri Anda sekarang dibagikan kepada pengguna lain di project Google Cloud.

Untuk membagikan kueri yang sudah disimpan, lakukan hal berikut:

Pilih tab Tersimpan.
Pilih Opsi lainnya, lalu pilih Edit, atau pilih kueri secara langsung.
Pada dialog Edit query, aktifkan Share with project, lalu klik Update query.

Kueri Anda sekarang dibagikan kepada pengguna lain di project Google Cloud.

API

Anda dapat menggunakan Logging API untuk membuat kueri bersama menggunakan metode savedQueries.Create, dan menentukan nilai SHARED di kolom visibility.

Lihat kueri yang dibagikan

Konsol

Untuk melihat semua kueri bersama dengan cepat, urutkan kolom Visibilitas untuk menampilkan kueri bersama terlebih dahulu:

Pilih tab Tersimpan.
Klik Semua.
Urutkan kolom Visibilitas.

Kolom Visibilitas menunjukkan apakah dan bagaimana kueri dibagikan:

Dibagikan oleh saya: Kueri yang telah Anda simpan dan bagikan kepada pengguna lain project Google Cloud.
Bersama: Kueri yang dibagikan oleh pengguna lain dari project Google Cloud.
Pribadi: Kueri yang telah Anda simpan dan tidak dibagikan dengan pengguna lain di project Google Cloud.

Hanya melihat kueri Anda

Untuk melihat kueri tersimpan yang Anda buat atau bagikan, klik Mine. Sekarang Anda akan melihat daftar kueri yang telah Anda buat dan simpan. Di kolom Visibilitas, Anda dapat melihat kueri Pribadi yang tidak dibagikan. Kueri yang telah Anda bagikan ditunjukkan dengan Dibagikan oleh saya.

Menggunakan kueri yang disarankan

Logging menghasilkan kueri yang disarankan berdasarkan konteks project Google Cloud Anda, seperti produk Google Cloud yang Anda gunakan. Kueri yang disarankan dapat membantu Anda mengidentifikasi masalah dan memberikan insight tentang kondisi sistem secara keseluruhan. Misalnya, mendeteksi bahwa Anda menggunakan Google Kubernetes Engine, Logging mungkin menyarankan kueri yang menemukan semua log error untuk container Anda.

Untuk melihat dan menjalankan kueri yang disarankan, pilih tab Suggested di panel Query. Tab Suggested menampilkan daftar kueri, masing-masing dengan deskripsi dan opsi berikut:

Streaming: Untuk menjalankan kueri dan melakukan streaming hasilnya, pilih opsi ini.
Jalankan: Untuk menjalankan kueri, pilih opsi ini.
Opsi lainnya: Memungkinkan Anda melihat detail ekspresi kueri dengan opsi untuk menjalankan kueri atau menyimpannya. Anda juga dapat memilih kueri secara langsung untuk mendapatkan opsi-opsi ini.

Untuk meninjau detail kueri yang disarankan, lakukan salah satu hal berikut:
- Pilih baris kueri.
- Klik Lainnya, lalu pilih Lihat. Dialog Query details akan terbuka.
Dalam dialog Query details, Anda melihat kueri dan opsi untuk Run, Stream, atau Save As:
- Untuk menyimpan kueri, lakukan hal berikut:
  1. Klik Save As.
  2. Lengkapi kolom dalam dialog Save query.
  Kueri yang diedit akan muncul di daftar Tersimpan, tempat Anda dapat memilih untuk menjalankan kueri nanti.
- Untuk menjalankan kueri sekarang, klik Jalankan. Kueri berjalan dan muncul di kolom query-editor.
- Untuk menjalankan kueri sekarang dan melakukan streaming hasilnya, klik Streaming.
- Untuk menutup dialog dan kembali ke daftar kueri yang disarankan, klik Close.

Perhatikan perilaku yang diharapkan berikut:

Pemuatan halaman berturut-turut mungkin tidak menampilkan kueri yang sama dalam urutan yang sama.
Anda mungkin tidak melihat kueri yang disarankan.
Terkadang menjalankan kueri yang disarankan akan menghasilkan nol log.

Memilih kueri dari library

Logging menyediakan library kueri berdasarkan kasus penggunaan umum dan produk Google Cloud. Kueri ini dapat membantu Anda menemukan log secara efisien selama sesi pemecahan masalah yang mendesak dan menjelajahi log untuk lebih memahami data logging yang tersedia.

Untuk melihat dan menjalankan kueri library, lakukan hal berikut:

Pilih tab Library di panel Query.
Di kolom Semua kueri, Anda dapat melihat berbagai kategori kueri yang tersedia dan subkumpulan kueri berdasarkan produk Google Cloud. Untuk mempersempit pilihan kueri yang Anda lihat, klik salah satu produk.

Anda juga dapat menggunakan kolom penelusuran untuk menelusuri kueri yang tersedia berdasarkan kategori, deskripsi, atau konten ekspresi kueri.
Untuk meninjau ekspresi kueri, lakukan salah satu hal berikut:

a. Klik baris kueri.

b. Klik Lainnya, lalu pilih Lihat.
Dalam dialog Query details, Anda melihat kueri dan opsi untuk Run, Stream, atau Save As:
- Untuk menyimpan kueri, lakukan hal berikut:
  1. Klik Save As.
  2. Lengkapi kolom dalam dialog Save query.
  Kueri yang diedit akan muncul di daftar Tersimpan, tempat Anda dapat memilih untuk menjalankan kueri nanti.
- Untuk menjalankan kueri sekarang, klik Jalankan. Kueri berjalan dan muncul di kolom query-editor.
- Untuk menjalankan kueri sekarang dan melakukan streaming hasilnya, klik Streaming.
- Untuk menutup dialog dan kembali ke daftar kueri yang disarankan, klik Close.

Langkah selanjutnya

Contoh kueri

Membuat dan menyimpan kueri menggunakan bahasa kueri Logging

Sebelum memulai

Kueri build

Menelusuri teks di seluruh kolom log

Operator Boolean

Membuat kueri dengan menu filter

Melihat log berdasarkan rentang waktu

Menggunakan pemilih rentang waktu

Menyertakan ekspresi stempel waktu di kolom query-editor

Menulis kueri lanjutan menggunakan bahasa kueri Logging

Menggunakan kueri terbaru

Simpan kueri

Konsol

API

Bagikan kueri

Membuat kueri bersama

Konsol

API

Lihat kueri yang dibagikan

Konsol

Hanya melihat kueri Anda

Menggunakan kueri yang disarankan

Memilih kueri dari library

Langkah selanjutnya