Menyiapkan dan mengelola pipeline pemrosesan data

Didukung di:

Fitur Pipeline Pemrosesan Data memberikan kontrol yang kuat atas penyerapan data Google Security Operations. Pipeline pemrosesan data memungkinkan Anda memanipulasi data yang masuk sebelum diuraikan oleh Google Security Operations. Misalnya, memfilter dan mengubah peristiwa, atau menyamarkan nilai sensitif. Proses ini dapat membantu mengoptimalkan data untuk Google SecOps, mengurangi biaya, melindungi informasi sensitif, dan meningkatkan kompatibilitas.

Dokumen ini menunjukkan cara menggunakan konsol Bindplane untuk mengonfigurasi koneksi ke instance tujuan Google SecOps, membuat aliran baru, menyiapkan Pipeline Pemrosesan Data (sumber dan pemroses), meluncurkannya untuk memulai pemrosesan data, serta melihat sumber dan pemroses pipeline di konsol Google SecOps. Contoh kasus penggunaan mencakup:

  • Menghapus key-value pair kosong dari log mentah.
  • Menyamarkan data sensitif.
  • Menambahkan label penyerapan dari konten log mentah.
  • Di lingkungan multi-instance, terapkan label penyerapan ke data log penyerapan langsung, untuk menunjukkan dari instance sumber mana data berasal (misalnya, Google Cloud, Workspace).
  • Memfilter data Palo Alto Cortex menurut nilai kolom.
  • Mengurangi data SentinelOne menurut kategori.
  • Mengurai host dari feed dan log penyerapan langsung ke kolom ingestion_source untuk Cloud Monitoring.

Anda dapat mengonfigurasi pipeline pemrosesan data untuk sumber data lokal dan cloud, menggunakan konsol pengelolaan Bindplane atau langsung menggunakan Google SecOps Data Pipeline API publik.

Pipeline pemrosesan data terdiri dari elemen berikut:

  • Sumber: Satu atau beberapa sumber data memasukkan data ke pipeline pemrosesan data, yang masing-masing dikonfigurasi untuk berbagai jenis sumber data.
  • Node prosesor: Pipeline pemrosesan data memiliki satu Node prosesor yang berisi satu atau beberapa prosesor. Setiap pemroses menentukan tindakan yang akan dilakukan pada data (misalnya, memfilter, mengubah, dan menyamarkan) saat data mengalir melalui pipeline.
  • Tujuan: Instance tujuan Google SecOps adalah tempat data yang diproses dikirim.

Prasyarat

Jika Anda ingin menggunakan konsol Bindplane untuk mengelola pipeline pemrosesan data Google SecOps, lakukan langkah-langkah berikut:

  1. Di konsol Google Security Operations, berikan peran administrator bawaan yang diperlukan kepada penginstal. Untuk mengetahui detailnya, lihat Menetapkan peran Admin IAM Project dalam project khusus. Di bagian Tetapkan Peran, pilih peran Identity and Access Management bawaan berikut:
    • Admin Chronicle API (roles/chronicle.admin)
    • Chronicle Service Admin (roles/chroniclesm.admin)
    • Admin Chronicle SOAR Beta (roles/chronicle.soarAdmin)
    • Project IAM Admin (roles/resourcemanager.projectIamAdmin)
  2. Instal konsol Bindplane Server. Untuk SaaS atau lokal, lihat Menginstal konsol Bindplane Server.
  3. Di konsol Bindplane, hubungkan instance tujuan Google SecOps ke organisasi Bindplane Anda. Untuk mengetahui detailnya, lihat Menghubungkan ke instance Google SecOps.

Potensi peningkatan waktu konfirmasi untuk streaming bervolume rendah

Pengguna Ingestion API yang mengonfigurasi agen mereka sendiri mungkin mengalami potensi peningkatan waktu konfirmasi untuk aliran volume rendah dalam pipeline pemrosesan Data. Waktu konfirmasi rata-rata yang diharapkan dapat meningkat dari 700 md hingga 2 detik. Dalam kasus seperti itu, Anda mungkin perlu memperpanjang periode waktu tunggu dan meningkatkan memori yang sesuai. Waktu konfirmasi akan berkurang seiring peningkatan throughput data menjadi lebih dari 4 MBps.

Menghubungkan ke instance Google SecOps

Hubungkan ke instance Google SecOps, yang akan berfungsi sebagai tujuan untuk output dari pipeline pemrosesan data Anda.

Untuk terhubung ke instance Google SecOps menggunakan konsol Bindplane:

  1. Di Bindplane console, buka halaman Manage your organization.
  2. Buka kartu Integrations, lalu klik Connect to Google SecOps.

  3. Di jendela Edit Integrasi yang terbuka, masukkan detail instance tujuan Google SecOps yang akan menyerap output dari pipeline pemrosesan data Anda, sebagai berikut:

    Kolom Deskripsi
    Region Region instance Google SecOps Anda. Untuk menemukan instance, buka konsolGoogle Cloud , buka halaman Google Security Operations, lalu klik Detail instance.
    Customer ID ID pelanggan instance Google SecOps Anda. Di konsol Google SecOps, buka Settings > Profile > Organization Details.
    Google Cloud nomor project Google Cloud Project Number instance Google SecOps Anda.
    Untuk menemukan nomor project di konsol Google SecOps, buka Settings > Profile > Organization Details.
    Kredensial Kredensial untuk akun layanan guna mengakses Google SecOps Data Pipeline API.
    Ini adalah nilai JSON yang tersedia di file kredensial Akun Layanan Google. Akun layanan harus berada dalam project yang sama dengan instance Google SecOps Anda. Untuk mengetahui informasi tentang cara membuat akun layanan dan mendownload file JSON, lihat Membuat dan menghapus kunci akun layanan.

  4. Klik Connect. Jika detail koneksi Anda sudah benar dan Anda berhasil terhubung ke Google SecOps, Anda dapat mengharapkan hal berikut:

    • Detail instance Google SecOps (dienkripsi) disimpan di objek Organisasi Anda.
    • Koneksi ke instance Google SecOps akan terbuka.
    • Saat terhubung untuk pertama kalinya, Anda dapat melihat tab Streams di Bindplane console.
    • Konsol BindPlane kini menampilkan semua pipeline pemrosesan data yang sebelumnya Anda siapkan untuk instance ini menggunakan API. Sistem mengonversi beberapa pemroses yang Anda konfigurasi menggunakan API menjadi pemroses Bindplane, dan menampilkan pemroses lainnya dalam format mentah OpenTelemetry Transformation Language (OTTL). Anda dapat menggunakan konsol Bindplane untuk mengedit pipeline dan pemroses yang sebelumnya disiapkan menggunakan API.

  5. Setelah berhasil membuat koneksi ke instance Google SecOps, Anda dapat membuat aliran dan menyiapkan pipeline pemrosesan data. Untuk mengetahui detailnya, lihat Menyiapkan pipeline pemrosesan data menggunakan konsol BindPlane.

Menyiapkan pipeline pemrosesan data menggunakan konsol Bindplane

Dengan menggunakan konsol Bindplane, Anda dapat mengelola pipeline pemrosesan data Google SecOps, termasuk pipeline yang disiapkan menggunakan API.

Ikuti langkah-langkah berikut untuk membuat aliran baru dan menyiapkan pipeline pemrosesan data, mengonfigurasi sumber dan pemroses pipeline pemrosesan data, serta meluncurkan pipeline pemrosesan data untuk memulai pemrosesan data:

  1. Membuat aliran data baru
  2. Mengonfigurasi pipeline pemrosesan data
    1. Mengonfigurasi sumber
    2. Mengonfigurasi pemroses
  3. Meluncurkan pipeline pemrosesan data

Membuat aliran baru

Aliran adalah penampung bagi Anda untuk mengonfigurasi satu pipeline pemrosesan data.
Untuk membuat aliran baru, lakukan hal berikut:

  1. Di konsol Bindplane, klik tab Streams untuk membuka halaman Streams.
  2. Klik Buat aliran.
  3. Di jendela Buat aliran baru, tetapkan Jenis aliran ke Google SecOps (default).
  4. Masukkan Nama streaming dan Deskripsi.
  5. Klik Buat.

Mengonfigurasi pipeline pemrosesan data

Pipeline pemrosesan data menentukan Sumber data yang akan di-ingest dan Pemroses (misalnya, filter, transformasi, atau redaksi) untuk memanipulasi data saat mengalir ke instance Tujuan Google SecOps.

Kartu konfigurasi Pipeline adalah visualisasi pipeline pemrosesan data tempat Anda dapat mengonfigurasi Sumber data dan node Pemroses. Node Processor terdiri dari pemroses yang memanipulasi data saat data mengalir ke instance Destination Google SecOps.

Untuk mengonfigurasi pipeline pemrosesan data, Buat aliran baru terlebih dahulu, lalu lakukan hal berikut:

  1. Di konsol Bindplane, klik tab Streams untuk membuka halaman Streams.
  2. Pilih aliran tempat Anda ingin mengonfigurasi pipeline pemrosesan data baru. Kartu konfigurasi Pipeline akan terbuka.

  3. Konfigurasi hal berikut ini:

    1. Sumber. Lihat Mengonfigurasi sumber untuk mengetahui detailnya.

    2. Node Processor:

      • Untuk menambahkan pemroses menggunakan konsol Bindplane, lihat Mengonfigurasi pemroses untuk mengetahui detailnya.
      • Beberapa pemroses kustom memungkinkan Anda mengedit kode OTTL mentahnya secara langsung.

  4. Setelah konfigurasi ini selesai, lihat Meluncurkan pipeline pemrosesan data untuk mulai memproses data.

Mengonfigurasi sumber

Sumber menyerap data sesuai dengan spesifikasi yang dikonfigurasi, dan memasukkannya ke dalam pipeline. Pipeline pemrosesan data dapat memiliki satu atau beberapa Sumber, yang masing-masing dikonfigurasi untuk sumber data yang berbeda.

Untuk menambahkan Sumber, lakukan hal berikut:

  1. Di kartu konfigurasi Pipeline, klik tambahkan Tambahkan Sumber untuk membuka jendela Buat Sumber Data SecOps.

  2. Di jendela Create SecOps Data Source, masukkan detail untuk kolom berikut:

    Kolom Deskripsi
    Jenis log Jenis log data yang akan di-ingest.
    Pilih jenis log yang akan di-ingest. Misalnya, "CrowdStrike Falcon (CS_EDR)".

    Catatan: Anda tidak dapat memilih jenis log dengan ikon peringatan peringatan.
    Ikon peringatan menunjukkan bahwa jenis log sudah dikonfigurasi di sumber lain (di pipeline ini atau pipeline lain di instance Google SecOps Anda).
    Jika ingin menggunakan jenis log tersebut, Anda harus menghapusnya terlebih dahulu dari konfigurasi sumber lainnya.
    Untuk menemukan konfigurasi sumber lain tempat jenis log dikonfigurasi, lihat Memfilter konfigurasi stream (pipeline).
    Metode penyerapan Metode penyerapan yang akan digunakan untuk menyerap data untuk Jenis log yang dipilih.
    Metode penyerapan ini sebelumnya ditentukan untuk instance Google SecOps Anda.
    Pilih salah satu opsi berikut:
    • Semua Metode Penyerapan

      Perhatikan, memilih opsi ini akan mempersempit opsi Anda saat menambahkan Sumber berikutnya:
      Memilih Semua Metode Penyerapan akan mencegah Anda menambahkan Sumber lain untuk Metode Penyerapan tertentu, untuk Jenis log ini.
    • Pilih metode penyerapan tertentu.
      Misalnya, salah satu opsi berikut: "Bindplane Agent", "Cloud Native Ingestion", "Feed", "Ingestion API", atau "Workspace".
      • Perhatikan, memilih opsi ini akan mempersempit opsi Anda saat ingin menambahkan Sumber berikutnya:
        Memilih metode penyerapan tertentu akan mencegah Anda menambahkan Sumber lain menggunakan "Semua Metode Penyerapan", untuk Jenis log ini.
        Anda tetap dapat memilih spesifik Metode penyerapan lain yang belum dikonfigurasi untuk Jenis log ini.
      • Jika Anda memilih Feed, daftar Feed akan ditampilkan di kolom berikutnya, yang dapat Anda pilih sebagai sumber penyerapan. (Lihat kolom berikutnya.)
    Feed Feed yang akan digunakan untuk menyerap data sumber.
    Jika Anda memilih Feed di kolom Metode penyerapan, kolom Feed akan menampilkan daftar nama feed (yang sebelumnya ditentukan untuk instance Google SecOps Anda) untuk Jenis log yang dipilih.
    Pilih Feed tertentu dari daftar.

    Catatan: Untuk melihat daftar feed Anda di konsol Google SecOps, buka Setelan > Tabel feed.

  3. Klik Tambahkan Sumber untuk menyimpan sumber data baru.

    • Sumber data baru kini ditampilkan di pipeline pemrosesan data dalam kartu konfigurasi Pipeline.
    • Secara otomatis terhubung ke node Processor dan Destination Google SecOps.
Konfigurasi Filter Stream (Pipeline)

Kotak penelusuran di halaman Streams memungkinkan Anda memfilter Aliran (pipeline pemrosesan data) berdasarkan beberapa elemen konfigurasi, misalnya, jenis log, metode penyerapan, dan nama feed. Anda dapat menggunakan sintaksis berikut untuk memfilter: logtype:value, ingestionmethod:value, dan feed:value.

Misalnya, untuk menggunakan kotak penelusuran guna mengidentifikasi konfigurasi Sumber yang berisi jenis log tertentu, masukkan logtype: di kotak penelusuran, lalu pilih jenis log dari daftar.

Mengonfigurasi pemroses

Pipeline pemrosesan data memiliki satu node Processor, yang berisi satu atau beberapa pemroses. Setiap pemroses memanipulasi data sumber saat mengalir melalui pipeline, dalam urutan pemroses muncul di panel Pemroses. Pemroses pertama memproses data sumber, lalu output yang dihasilkan diproses oleh pemroses berikutnya, dan kemudian oleh pemroses selanjutnya.

Konfigurasi Node pemroses dengan menambahkan, menghapus, atau mengubah urutan satu atau beberapa pemroses.

Untuk menambahkan pemroses, ikuti langkah-langkah berikut:

  1. Di kartu konfigurasi Pipeline, klik node Processor untuk membuka jendela Edit Processors.
    Jendela Edit Processors terdiri dari tiga panel:

    • Panel kiri: Data log sumber masuk terbaru (sebelum pemrosesan)
    • Panel tengah: Prosesor dan konfigurasinya
    • Panel kanan: Data log hasil keluar terbaru (setelah diproses)

    Jika pipeline telah diluncurkan sebelumnya, sistem akan menampilkan data log masuk terbaru (sebelum pemrosesan) dan data log keluar terbaru (setelah pemrosesan) di panel.

  2. Untuk menambahkan pemroses, klik Tambahkan Pemroses untuk menampilkan daftar pemroses. Untuk memudahkan Anda, daftar prosesor dikelompokkan menurut jenis prosesor.
    (Untuk mengatur daftar prosesor, Anda dapat menambahkan paket Anda sendiri dengan memilih satu atau beberapa prosesor dan mengklik Tambahkan paket Prosesor baru.)

  3. Pilih Prosesor yang akan ditambahkan dari daftar.

  4. Konfigurasi pemroses sesuai kebutuhan.

  5. Klik Simpan untuk menyimpan konfigurasi pemroses di node Processor.

Sistem menguji konfigurasi pemroses baru dengan memproses sampel baru data log sumber yang masuk (dari panel kiri) dan menampilkan data hasil yang keluar (di panel kanan).

Meluncurkan pipeline pemrosesan data

Setelah konfigurasi sumber dan pemroses selesai, luncurkan pipeline untuk mulai memproses data.

Untuk meluncurkan pipeline pemrosesan data, klik Mulai peluncuran. Tindakan ini mengaktifkan pipeline pemrosesan data dan memungkinkan infrastruktur aman Google mulai memproses data sesuai dengan konfigurasi pipeline pemrosesan data.

Jika peluncuran berhasil, nomor versi konfigurasi pipeline pemrosesan data akan bertambah dan ditampilkan di samping nama pipeline pemrosesan data.

Untuk melihat histori konfigurasi, klik link histori di samping nama pipeline pemrosesan data. Perubahan konfigurasi antara setiap versi pipeline pemrosesan data akan ditampilkan.

Apa langkah selanjutnya?

Anda dapat melihat aliran data aktif dalam mode hanya lihat dari dalam Google SecOps. Untuk mengetahui detailnya, lihat Melihat informasi pipeline pemrosesan data dari konsol Google SecOps.

Melihat informasi pipeline pemrosesan data dari konsol Google SecOps

Bagian berikut menjelaskan cara melihat informasi pipeline pemrosesan data dari konsol Google SecOps:

Melihat feed yang dikonfigurasi

Halaman Feed menampilkan semua feed yang Anda konfigurasi.

  1. Di konsol Google SecOps, buka Settings > Feeds. Halaman utama menampilkan semua feed yang telah Anda konfigurasi.
  2. Tahan kursor di setiap baris untuk menampilkan menu ⋮ Lainnya. Dari menu, Anda dapat melihat detail feed, mengedit, menonaktifkan, atau menghapus feed.
  3. Klik Lihat Detail untuk melihat jendela detail.
  4. Klik Open in Bindplane untuk membuka konfigurasi sumber untuk feed tersebut di konsol Bindplane.

Melihat informasi pipeline pemrosesan data dari halaman Logtypes

Halaman Logtypes menampilkan semua jenis log yang tersedia. Untuk melihat detail pipeline pemrosesan data:

  1. Di konsol Google SecOps, buka Settings > Logtypes. Halaman utama menampilkan semua jenis log Anda.
  2. Tahan kursor di setiap baris untuk menampilkan menu ⋮ Lainnya. Dari menu, Anda dapat melihat detail logtype.
  3. Klik Lihat Pemrosesan Data untuk melihat jendela detail.
  4. Klik Open in Bindplane untuk membuka konfigurasi pemroses bagi pemroses tersebut di konsol Bindplane.

Menggunakan Google SecOps Data Pipeline API

Google SecOps Data Pipeline API memungkinkan Anda mengelola pipeline pemrosesan data. API ini mencakup semua fungsi Pipeline Data, seperti membuat, memperbarui, menghapus, dan mencantumkan pipeline serta feed dan jenis log terkait di dalamnya.

Perlu bantuan lain? Dapatkan jawaban dari anggota Komunitas dan profesional Google SecOps.