Membuat diagram hasil kueri dengan Log Analytics

Dokumen ini menjelaskan cara membuat diagram hasil kueri Log Analytics, yang memungkinkan Anda mengidentifikasi pola dan tren dalam data log. Log Analytics memungkinkan Anda menelusuri dan menggabungkan log untuk menghasilkan insight yang berguna dengan menggunakan kueri SQL.

Setelah Anda menjalankan kueri, hasil kueri dapat dilihat dalam tabel, atau dikonversi menjadi diagram. Misalnya, untuk melihat jenis tingkat keparahan yang dihasilkan log, buat diagram yang menampilkan jumlah log yang dihasilkan selama 12 jam terakhir dan uraikan log tersebut menurut severity. Screenshot berikut mengilustrasikan titik data yang diperinci menjadi jenis tingkat keparahan yang berbeda:

Sebelum memulai

• Pastikan Anda memiliki bucket log yang telah diupgrade untuk menggunakan Log Analytics. Halaman Logs Storage mencantumkan bucket log Anda dan informasi konfigurasinya.

  Di panel navigasi konsol Google Cloud, pilih Logging, lalu pilih Logs Storage:

  Buka Logs Storage

• Untuk mendapatkan izin yang diperlukan untuk memuat halaman Log Analytics dan menjalankan kueri, minta administrator untuk memberi Anda peran IAM Logs Viewer (roles/logging.viewer) di Cloud Logging. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

  Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

  Izin yang Anda perlukan untuk melihat entri log dan menjalankan kueri di halaman Log Analytics sama dengan izin yang Anda perlukan untuk melihat log pada halaman Logs Explorer. Untuk mengetahui informasi tentang peran tambahan yang Anda perlukan untuk mengkueri tampilan di bucket yang ditentukan pengguna atau untuk membuat kueri tampilan _AllLogs bucket log _Default, lihat Peran Cloud Logging.

• Untuk mendapatkan izin yang diperlukan untuk membuat dan mengelola dasbor menggunakan Konsol Google Cloud, minta administrator untuk memberi Anda peran IAM Monitoring Editor (roles/monitoring.editor) di project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

  Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Pilih data yang ingin dibuatkan diagramnya

Untuk mengonfigurasi data yang akan ditampilkan pada diagram, buat kueri menggunakan SQL. Saat Anda memilih tab Diagram, Logging akan otomatis membuat diagram berdasarkan hasil kueri Anda. Setelah kueri dijalankan dan diagram dibuat, Anda dapat menyesuaikan konfigurasi diagram dengan mengubah jenis diagram, dan memilih kolom untuk melihat data yang berbeda.

Untuk melihat hasil kueri Anda sebagai diagram, jalankan kueri dengan melakukan hal berikut:

1. Di panel navigasi konsol Google Cloud, pilih Logging, lalu pilih Log Analytics:

   Buka Log Analytics

2. Di panel Query, masukkan kueri, lalu klik Run.

3. Setelah kueri selesai, di tab Results, pilih cara Anda ingin melihat hasil kueri:

   • Tabel: Hanya melihat tabel hasil kueri.

   • Diagram: Hanya melihat diagram hasil kueri.

   • Keduanya: Melihat tabel dan diagram secara berdampingan.

4. Jika memilih tab Chart atau Both, Anda dapat menyesuaikan konfigurasi diagram dengan mengubah jenis diagram serta menyesuaikan baris dan kolom yang akan dibuat diagramnya. Untuk mengetahui informasi selengkapnya tentang konfigurasi diagram, lihat Menyesuaikan konfigurasi diagram.

Sesuaikan konfigurasi diagram

Anda dapat menyesuaikan konfigurasi diagram dengan mengubah jenis diagram, memilih dimensi dan mengukur ke diagram, serta dengan menerapkan perincian. Dimensi digunakan untuk mengelompokkan atau mengategorikan baris dan merupakan nilai sumbu X. Pengukuran, atau nilai sumbu Y, adalah deret data yang dipetakan terhadap sumbu Y.

Ubah jenis diagram

Anda dapat memilih dari jenis diagram berikut, bergantung pada jenis baris dan kolom yang dipilih sebagai dimensi dan ukuran, serta cara visualisasi data yang Anda inginkan.

• Diagram batang (default)

  Diagram batang memetakan data dengan dua sumbu. Jika diagram menggunakan kategori atau string sebagai dimensi, Anda dapat menetapkan konfigurasi diagram untuk diagram batang ke horizontal atau vertikal, dengan sumbu dimensi dan pengukuran yang ditukar.

• Diagram garis

  Diagram garis dapat digunakan untuk menampilkan perubahan data dari waktu ke waktu. Jika Anda menggunakan diagram garis, setiap deret waktu akan ditampilkan oleh garis lain yang sesuai dengan ukuran yang telah Anda pilih.

  Jika sumbu X Anda berbasis waktu, setiap titik data ditempatkan di awal interval waktu. Setiap titik data terhubung melalui interpolasi linear.

• Diagram area Diagram area didasarkan pada diagram garis, dan area di bawah tiap garis diarsir. Di diagram area, deret data ditumpuk. Misalnya, jika Anda memiliki dua deret yang identik, deret tersebut akan tumpang-tindih dalam diagram garis, tetapi area yang diarsir ditumpuk dalam diagram area.

• Diagram lingkaran

  Diagram lingkaran menunjukkan bagaimana kategori dalam set data berhubungan dengan keseluruhan set data, dengan menggunakan lingkaran untuk mewakili keseluruhan set data dan irisan dalam lingkaran untuk merepresentasikan kategori dalam set data. Ukuran dudukan menunjukkan seberapa sering, sebagai persentase, kategori tersebut berkontribusi terhadap keseluruhan.

Mengubah dimensi dan ukuran

Anda dapat memilih baris dan kolom yang akan dibuat diagramnya dengan memilih dimensi dan mengukur kolom.

Catatan: Jika hasil kueri Anda berisi kolom yang memiliki string panjang, seperti pesan error, dan Anda memilih kolom tersebut sebagai dimensi atau perincian, diagram Anda mungkin memiliki error atau nilai yang tidak terduga.

• Dimensi

  Dimensi harus berupa kolom stempel waktu, angka, atau string. Secara default, dimensi ditetapkan ke kolom berbasis stempel waktu pertama dalam skema. Jika tidak ada stempel waktu dalam kueri, kolom string pertama akan dipilih sebagai dimensi. Anda juga dapat menyesuaikan dimensi di panel Tampilan diagram. Jika kolom stempel waktu dipilih sebagai dimensi, diagram akan menampilkan perubahan data dari waktu ke waktu.

  Secara default, interval untuk stempel waktu otomatis ditetapkan, tetapi Anda juga dapat memilih interval kustom. Interval otomatis mengubah nilai berdasarkan pemilih rentang waktu untuk mempertahankan grup dengan ukuran serupa.

  Anda juga dapat menonaktifkan interval sehingga Anda dapat menentukan agregasi dan rentang waktu sendiri dalam kueri untuk analisis yang lebih kompleks. Menonaktifkan interval akan menetapkan fungsi agregasi ukuran ke none. Hanya ukuran numerik yang diizinkan jika interval dimensi dinonaktifkan.

  Catatan: Hanya kolom TIMESTAMP yang dapat digunakan sebagai dimensi stempel waktu. Untuk menggunakan DATE dan DATETIME, Anda harus menggunakan fungsi CAST() untuk mengonversi jenis data menjadi TIMESTAMP.

• Ukur

  Anda dapat memilih beberapa ukuran di panel Tampilan diagram. Saat memilih ukuran, Anda juga harus memilih fungsi agregasi untuk dijalankan pada nilai yang dikelompokkan, seperti count, sum, average, dan percentile-99. Misalnya, count-distinct menampilkan jumlah nilai unik dalam kolom tertentu.

  Jika Anda mencentang kotak Disable interval untuk dimensi, opsi fungsi agregasi none akan tersedia. Jika dimensi adalah nilai string, kotak centang Disable interval tidak akan ditampilkan. Namun, menetapkan fungsi agregasi ukuran ke none juga akan menonaktifkan interval.

Tambahkan pengelompokan

Untuk membagi satu deret data menjadi beberapa deret data berdasarkan kolom lain, tambahkan perincian.

Saat memilih perincian, pilih kolom yang berisi sedikit label pendek dan bermakna, seperti region_name, bukan kolom yang mungkin berisi banyak string atau string panjang, seperti textPayload.

Misalnya, lihat konfigurasi diagram berikut, dengan kolom Dimension ditetapkan ke type, kolom Ukur ditetapkan ke Jumlah baris, dan kolom Perincian ditetapkan ke keparahan:

Diagram berikut adalah contoh diagram dengan perincian tambahan:

Pada screenshot sebelumnya, Anda melihat seri data yang ditumpuk, dengan jenis resource k8s_container dibagi menjadi jenis severity yang berbeda. Hal ini memungkinkan Anda mengidentifikasi jumlah log dari setiap jenis keparahan yang dihasilkan oleh resource tertentu.

Catatan: Jika diagram berisi lebih dari satu ukuran, Anda tidak dapat menambahkan perincian.

Menyimpan diagram ke dasbor kustom

Setelah diagram dihasilkan dari kueri, Anda dapat menyimpan diagram tersebut ke dasbor kustom. Dasbor kustom memungkinkan Anda menampilkan dan mengatur informasi yang berguna bagi Anda dengan menggunakan berbagai jenis widget. Misalnya, Anda dapat membuat dasbor yang memberikan detail tentang penggunaan bucket Cloud Storage:

Untuk menyimpan diagram ke dasbor, lakukan hal berikut:

1. Di panel navigasi konsol Google Cloud, pilih Logging, lalu pilih Log Analytics:

   Buka Log Analytics

2. Jalankan kueri untuk membuat diagram, lalu klik Save chart di tab Chart.

3. Pada dialog Save to dasbor, masukkan judul untuk diagram lalu pilih dasbor tempat Anda ingin menyimpan diagram.

4. Opsional: Untuk melihat dasbor kustom, di toast, klik Lihat dasbor.

Untuk melihat daftar dasbor kustom yang berisi diagram yang dihasilkan oleh kueri SQL Log Analytics, buka tombol Save Chart dan klik Menu.

Mengedit diagram yang disimpan ke dasbor kustom

Untuk mengedit diagram yang dibuat oleh kueri SQL Log Analytics yang disimpan ke dasbor, lihat artikel Mengubah konfigurasi widget. Dalam dialog Configure widget, Anda dapat mengedit kueri yang digunakan untuk membuat diagram, atau menyesuaikan konfigurasi diagram untuk memvisualisasikan berbagai data.

Batasan

• Jika project Google Cloud Anda berada di folder yang menggunakan Assured Workloads, diagram yang Anda hasilkan tidak dapat ditampilkan di dasbor kustom.

• Filter tingkat dasbor tidak berlaku untuk diagram yang dihasilkan dari kueri SQL Log Analytics.

Sampel kueri

Bagian ini menyediakan contoh kueri SQL untuk membuat diagram hasil kueri Anda. Untuk mendapatkan insight yang lebih bermanfaat dari log Anda, sesuaikan konfigurasi diagram. Untuk menggunakan sampel kueri, lakukan hal berikut:

1. Di panel navigasi konsol Google Cloud, pilih Logging, lalu pilih Log Analytics:

   Buka Log Analytics

2. Identifikasi nama tabel untuk tampilan log dengan menjalankan kueri default:

   Dalam daftar Log views, cari tampilan log, lalu pilih Query. Panel Query diisi dengan kueri default, yang mencakup nama tabel yang dikueri. Nama tabel memiliki format project_ID.region.bucket_ID.view_ID.

   Untuk mengetahui informasi selengkapnya tentang cara mengakses kueri default, lihat Membuat kueri tampilan log.

3. Ganti TABLE dengan nama tabel yang sesuai dengan tampilan yang ingin Anda kueri, lalu salin kueri.

4. Tempel kueri di panel Query, lalu klik Run query.

Entri log diagram menurut lokasi dan tingkat keparahan

Kueri berikut memilih location dan severity, dengan transmisi lokasi sebagai string:

SELECT
  CAST(JSON_VALUE(resource.labels.location) AS STRING) AS location,
  severity,
FROM
  `TABLE`

Contoh diagram dan konfigurasi diagram terlihat seperti berikut:

Dalam screenshot sebelumnya, konfigurasi diagram memiliki konfigurasi diagram berikut:

• Jenis diagram: Diagram batang, horizontal
• Dimensi: location, dengan batas 10
• Mengukur: Menghitung baris
• Perincian: severity, dengan batas lima

Membuat diagram log audit Akses Data BigQuery

Kueri berikut memfilter log audit data_access BigQuery, dan memilih kolom tertentu, seperti user_email, ip, auth_permission, dan job_execution_project. Misalnya, Anda dapat membuat diagram yang memvisualisasikan frekuensi penggunaan BigQuery API setiap akun utama dari waktu ke waktu.

SELECT
  timestamp,
  proto_payload.audit_log.authentication_info.principal_email as user_email,
  proto_payload.audit_log.request_metadata.caller_ip as ip,
  auth.permission as auth_permission,
  auth.granted as auth_granted,
  JSON_VALUE(data_access.resource.labels.project_id) AS job_execution_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(1)] AS referenced_project,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(3)] AS referenced_dataset,
  SPLIT(proto_payload.audit_log.resource_name, '/')[SAFE_OFFSET(5)] AS referenced_table
FROM `TABLE` as data_access,
  UNNEST(proto_payload.audit_log.authorization_info) AS auth
WHERE
  log_id="cloudaudit.googleapis.com/data_access"
  AND data_access.resource.type = 'bigquery_dataset'

Contoh diagram dan konfigurasi diagram terlihat seperti berikut:

Dalam screenshot sebelumnya, konfigurasi diagram memiliki konfigurasi diagram berikut:

• Jenis diagram: Diagram batang, vertikal
• Dimensi: user_email, dengan batas lima
• Mengukur: Menghitung baris
• Perincian: auth_permission, dengan batas lima

Batasan

• Kolom yang dipilih harus memiliki setidaknya satu baris dengan nilai bukan null.

• Jika Anda menyimpan kueri dan menyesuaikan konfigurasi diagram, konfigurasi diagram kustom tidak akan disimpan.

• Jika kueri Anda sudah berisi agregasi, diagram yang dihasilkan mungkin berbeda karena agregasi tambahan yang diterapkan secara otomatis oleh Log Analytics.

• Jalur JSON harus dikonversi menjadi string dan angka agar dapat dibuatkan diagramnya.

Langkah selanjutnya

• Untuk ringkasan Log Analytics, lihat Log Analytics.

• Untuk contoh kueri, lihat Contoh kueri SQL.

• Untuk mempelajari cara menganalisis dengan log audit menggunakan Log Analytics, lihat Kueri SQL untuk insight keamanan.