Panduan pengguna pengelolaan feed

Ringkasan dan prasyarat

Pengelolaan feed Chronicle memungkinkan Anda membuat dan mengelola feed data untuk akun Chronicle. UI pengelolaan feed dibuat berdasarkan API pengelolaan feed. Lihat dokumentasi API pengelolaan feed untuk informasi tambahan.

Setiap feed data memiliki kumpulan prasyarat yang harus diselesaikan sebelum menyiapkan feed di Chronicle. Prasyarat ini diuraikan di bagian Konfigurasi feed berdasarkan jenis dalam dokumentasi API pengelolaan feed. Telusuri jenis feed data yang perlu Anda siapkan dan ikuti petunjuk yang diberikan.

Menghapus File Sumber

Seperti yang disebutkan di bagian Ringkasan, berbagai jenis feed memiliki prasyarat yang berbeda.

Untuk beberapa jenis feed, termasuk Cloud Storage, ada kolom di alur kerja Tambahkan baru atau Edit feed yang berlabel OPSI PENGHAPUSAN SUMBER. Ini adalah menu {i>drop-down<i} dengan tiga opsi:

1. Jangan pernah menghapus file
2. Hapus file yang ditransfer dan direktori kosong
3. Hapus file yang ditransfer

Opsi 2 dan 3 melibatkan penghapusan: satu untuk file dan satu untuk file DAN setiap direktori kosong. Jika memilih salah satu opsi tersebut, Anda perlu menambahkan izin khusus untuk jenis feed Anda, yang dapat ditemukan di bagian Konfigurasi feed menurut jenis pada dokumentasi Feed management API.

Opsi ini memungkinkan Anda menghapus objek dari sistem penyimpanan setelah mentransfernya. Feed selalu mengingat objek (atau file) mana yang telah ditransfer dan tidak pernah mentransfer file yang sama dua kali (kecuali file telah diperbarui), tetapi Anda harus menetapkan opsi ini jika ingin sistem menghapus objek sumber setelah objek sumber (berhasil) ditransfer.

Microsoft Azure Blob Storage tidak mendukung penghapusan file sumber. Opsi penghapusan sumber berikut tidak boleh digunakan dengan jenis sumber Microsoft Azure Blob Storage:

• Hapus file yang ditransfer dan direktori kosong
• Hapus file yang ditransfer

Saat Anda membuat feed dengan sumber Microsoft Azure Blob Storage, hanya pilih opsi Jangan pernah menghapus file.

Membuat dan Mengedit Feed

Untuk mengakses antarmuka Pengelolaan feed, lakukan langkah-langkah berikut:

1. Pada menu navigasi, klik Settings.

2. Di bagian Setelan, klik Feed.

Feed data yang tercantum di halaman ini mencakup semua feed yang telah dikonfigurasi Google untuk akun Anda selain feed yang telah Anda konfigurasi.

Tambahkan feed

Untuk menambahkan feed ke akun Chronicle, selesaikan langkah-langkah berikut. Pastikan untuk melengkapi prasyarat untuk jenis feed data yang akan ditambahkan sebelum mencoba menambahkan feed baru di sini. Lihat bagian Ringkasan dan prasyarat untuk informasi selengkapnya.

Anda dapat menambahkan hingga lima feed untuk setiap jenis log.

1. Klik Add New. Jendela ADD FEED ditampilkan.

2. Mulai dari tab Setel Properti, pilih JENIS SUMBER dari menu drop-down. Jenis sumber adalah mekanisme yang Anda inginkan untuk memindahkan data ke Chronicle. Anda dapat memilih dari jenis sumber feed berikut:

   • Amazon S3
   • Amazon SQS
   • Google Cloud Storage
   • File HTTP(S) (non-API)
   • Microsoft Azure Blob Storage
   • API pihak ketiga
   Catatan: Untuk Amazon SQS, pastikan Anda mengaktifkan izin untuk Chronicle agar dapat menghapus pesan antrean Amazon SQS.

3. Pilih Log Type dari menu drop-down. Log yang tersedia bervariasi bergantung pada jenis sumber yang Anda pilih sebelumnya. Klik Next.

   Jika Anda memilih Google Cloud Storage sebagai jenis sumber, gunakan opsi Dapatkan akun layanan untuk mendapatkan akun layanan yang unik. Dalam dokumen ini, lihat contoh penyiapan feed Google Cloud Storage.

   

   Gambar 2. Pemilihan Jenis Log

4. Tentukan parameter yang diperlukan dari tab Parameter Input. Opsi yang ditampilkan di sini bervariasi, bergantung pada sumber dan jenis log yang dipilih di tab Setel Properti. Tahan kursor ke ikon pertanyaan untuk setiap kolom guna mendapatkan informasi tambahan tentang hal yang perlu Anda berikan.

5. (Opsional) Anda dapat menentukan namespace di sini. Untuk mengetahui informasi selengkapnya tentang namespace, lihat dokumentasi namespace aset.

6. Klik Next.

7. Tinjau konfigurasi feed baru Anda dari tab Selesaikan. Klik Kirim jika sudah siap. Chronicle menyelesaikan pemeriksaan validasi feed baru. Jika feed lulus pemeriksaan, nama untuk feed akan dibuat, feed tersebut akan dikirim ke Chronicle, dan Chronicle akan mulai mencoba mengambil data.

   

   Gambar 4. Selesaikan Permintaan Feed

Contoh penyiapan feed Google Cloud Storage

1. Dari menu Chronicle, pilih Setelan, lalu klik Feed.
2. Klik Add New.
3. Pilih Google Cloud Storage untuk Source Type.
4. Pilih Jenis log. Misalnya, untuk membuat feed bagi log audit Google Kubernetes Engine, pilih Log audit Google Kubernetes Engine sebagai Jenis Log.
5. Klik Dapatkan akun layanan. Chronicle menyediakan akun layanan unik yang digunakan Chronicle untuk menyerap data.
6. Konfigurasi akses untuk akun layanan guna mengakses objek Cloud Storage. Dalam dokumen ini, lihat Memberikan akses ke akun layanan Chronicle.
7. Klik Next.
8. Berdasarkan konfigurasi Cloud Storage yang Anda buat, tentukan nilai untuk kolom berikut:
   • URI bucket penyimpanan
   • URI adalah
   • Opsi penghapusan sumber
9. Klik Berikutnya, lalu klik Kirim.

Berikan akses ke akun layanan Chronicle

1. Di Konsol Google Cloud, buka halaman Bucket Cloud Storage.
   

   Buka Buckets

2. Memberikan akses ke akun layanan untuk objek Cloud Storage yang relevan.

   • Untuk memberikan izin baca ke file tertentu, selesaikan langkah-langkah berikut:

     1. Pilih file, lalu klik Edit akses.
     2. Klik Tambahkan akun utama.
     3. Di kolom New principals, masukkan nama akun layanan Chronicle.
     4. Tetapkan peran yang berisi izin baca ke akun layanan Chronicle. Misalnya, Storage Object Viewer (roles/storage.objectViewer). Tindakan ini hanya dapat dilakukan jika Anda belum mengaktifkan akses level bucket seragam.
     5. Klik Save.

   • Untuk memberikan izin baca ke beberapa file, Anda harus memberikan akses pada level bucket. Anda harus menambahkan akun layanan Chronicle sebagai akun utama ke bucket penyimpanan dan memberinya peran IAM Storage Object Viewer (roles/storage.objectViewer).

     Jika mengonfigurasi feed untuk menghapus file sumber, Anda harus menambahkan akun layanan Chronicle sebagai akun utama di bucket Anda dan memberinya peran IAM Storage Object Admin (roles/storage.objectAdmin).

Mengonfigurasi Kontrol Layanan VPC

Jika Kontrol Layanan VPC diaktifkan, aturan ingress diperlukan untuk memberikan akses ke bucket Cloud Storage.

Metode Cloud Storage berikut harus diizinkan dalam aturan masuk:

• google.storage.objects.list. Diperlukan untuk feed file tunggal.
• google.storage.objects.get. Diperlukan untuk feed yang memerlukan akses direktori atau subdirektori.
• google.storage.objects.delete. Diperlukan untuk feed yang memerlukan penghapusan file sumber.

Contoh aturan masuk

- ingressFrom:
  identities:
    - serviceAccount:[e-mail]
  sources:
  - accessLevel: "*"
  ingressTo:
  operations:
  - serviceName: storage.googleapis.com
    methodSelectors:
    - method: google.storage.objects.list
    - method: google.storage.objects.get
    - method: google.storage.objects.delete
  resources:
  - projects/PROJECT_ID

Status feed

Anda dapat memantau status feed dari halaman Feed awal. Feed dapat memiliki status berikut:

• Aktif—Feed dikonfigurasi dan siap menyerap data ke akun Chronicle Anda.
• Sedang berlangsung—Chronicle kini mencoba mengambil data dari pihak ketiga yang dikonfigurasi.
• Selesai—Data berhasil diambil oleh feed ini.
• Diarsipkan—Feed dinonaktifkan.
• Gagal—Feed gagal mengambil data. Hal ini mungkin terjadi karena masalah konfigurasi. Klik pertanyaan untuk menampilkan error konfigurasi. Setelah Anda memperbaiki error dan mengirim ulang feed, kembali ke halaman Feed untuk menentukan apakah feed tersebut berfungsi atau tidak.

Edit feed

Dari halaman Feed, Anda dapat mengedit feed yang sudah ada:

1. Arahkan kursor ke feed yang ada, lalu klik menu tiga titik di kolom sebelah kanan.

2. Klik Edit Feed. Sekarang Anda dapat mengubah Parameter Input untuk Feed dan mengirimkannya kembali ke Chronicle. Chronicle akan mencoba menggunakan feed yang telah diedit.

Mengaktifkan dan menonaktifkan feed

Di kolom Status, feed yang diaktifkan diberi label Active, InProgress, Completed, atau Failed. Kolom yang dinonaktifkan diberi label Diarsipkan. Untuk deskripsi, lihat status feed.

Dari halaman Feed, Anda dapat mengaktifkan atau menonaktifkan salah satu feed yang ada:

1. Arahkan kursor ke feed yang ada, lalu klik menu tiga titik di kolom sebelah kanan.

2. Untuk mengaktifkan feed, klik tombol Aktifkan Feed.

3. Untuk menonaktifkan feed, klik tombol Nonaktifkan Feed. Feed kini diberi label sebagai Diarsipkan.

   Catatan: Jika Anda menonaktifkan feed, tindakan ini akan mencegah data baru ditambahkan ke antrean penyerapan. Transfer yang ada (aktif atau di-throttle) akan berlanjut hingga selesai. Untuk segera menghentikan penyerapan data, hapus feed.

Hapus feed

Dari halaman Feed, Anda juga dapat menghapus feed yang sudah ada:

1. Arahkan kursor ke feed yang ada, lalu klik menu tiga titik di kolom sebelah kanan.

2. Klik Hapus Feed. Jendela DELETE FEED akan terbuka. Untuk menghapus feed secara permanen, klik Ya, hapus.

   Catatan: Saat Anda menghapus feed, tidak ada data baru yang akan diserap. Mungkin sudah ada data dalam antrean yang masih akan diproses.

Mengontrol kecepatan penyerapan

Saat tingkat penyerapan data untuk tenant mencapai batas tertentu, Chronicle akan membatasi tingkat penyerapan feed data baru untuk mencegah sumber dengan tingkat penyerapan yang tinggi memengaruhi tingkat penyerapan sumber data lain.

Feed yang menyerap data dengan kecepatan lebih tinggi dari nilai minimum ini akan dibatasi, sehingga menyebabkan penyerapan data tertunda. Jika tingkat penyerapan feed dibatasi, kelebihan data akan dimasukkan ke dalam antrean untuk diserap, sehingga ada penundaan namun tidak ada data yang hilang.

Volume penyerapan dan histori penggunaan tenant menentukan nilai minimum. Jika kecepatan penyerapan tidak banyak menyimpang, kecepatan penyerapan tidak akan terpengaruh.