Ringkasan Ekstraksi Otomatis

Didukung di:

Dokumen ini memberikan ringkasan tentang cara data diekstrak secara otomatis untuk meningkatkan kemampuan menyerap, memproses, dan menganalisis data.

Google Security Operations menggunakan parser bawaan untuk mengekstrak dan menyusun data log menggunakan skema Unified Data Model (UDM). Mengelola dan memelihara parser ini dapat menjadi tantangan karena beberapa batasan: ekstraksi data yang tidak lengkap, meningkatnya jumlah parser yang harus dikelola, dan persyaratan untuk pembaruan yang sering dilakukan seiring berkembangnya format log.

Untuk mengatasi tantangan ini, Anda dapat menggunakan fitur ekstraksi otomatis. Fitur ini secara otomatis mengekstrak key-value pair dari log berformat JSON yang ditransfer ke Google SecOps. Data yang diekstrak ini disimpan di kolom jenis peta UDM yang disebut extracted. Kemudian, Anda dapat menggunakan data ini dalam kueri penelusuran UDM, Dasbor Pratinjau, dan aturan YARA-L. Mengurai secara mandiri mendukung log format JSON.

Sebagai praktik terbaik, penelusuran UDM menggunakan kolom yang diekstrak harus menyertakan metadata.log_type dalam kuerinya untuk meningkatkan performa kueri penelusuran.

Manfaat ekstraksi otomatis adalah mengurangi ketergantungan pada parser, sehingga memastikan data tetap tersedia meskipun parser tidak ada atau gagal mengurai log.

Mengurai dan mengekstrak data dari log mentah

  1. Pemrosesan: Google SecOps mencoba mengurai log menggunakan parser khusus untuk jenis log, jika tersedia. Jika tidak ada parser tertentu, atau jika penguraian gagal, Google SecOps akan menggunakan parser umum untuk mengekstrak informasi dasar seperti stempel waktu, jenis log, dan label metadata yang ditransfer.

  2. Ekstraksi Data: Semua titik data diekstrak secara otomatis dari log.

  3. Penambahan Nilai Peristiwa: Google SecOps menggabungkan data yang diuraikan dan kolom berformat kustom untuk membuat peristiwa yang diperkaya, yang memberikan lebih banyak konteks dan detail.

  4. Transfer Data Downstream: Peristiwa yang diperkaya ini kemudian dikirim ke sistem lain untuk analisis dan pemrosesan lebih lanjut.