Halaman ini diterjemahkan oleh Cloud Translation API.

Batas burst

Dokumen ini menjelaskan batas lonjakan yang berlaku untuk resource Google Security Operations, khususnya volume data yang dapat diserap ke Google SecOps oleh satu pelanggan. Batas lonjakan membatasi penggunaan resource yang dibagikan oleh semua pelanggan:

Batas atas jumlah penyerapan data yang dapat digunakan oleh satu pelanggan. Hal ini memastikan bahwa masuknya data secara tiba-tiba dari satu pelanggan tidak memengaruhi pelanggan lainnya.
Memantau penggunaan resource bersama untuk setiap pelanggan.
Mempertahankan konfigurasi yang otomatis menerapkan batas lonjakan.
Menyediakan cara untuk meminta atau membuat perubahan pada batas burst.

Untuk perlindungan lonjakan arus listrik, batas lonjakan diukur selama periode 5 menit. Ini bukan batas penyerapan harian.

Peningkatan batas burst per pelanggan

Jika Anda ingin meningkatkan kecepatan penyerapan dengan cepat, kami dapat membantu Anda merencanakan sebelumnya dan memastikan penyerapan data tetap stabil. Untuk meminta peningkatan batas burst, hubungi Dukungan Teknis Google SecOps terlebih dahulu.

Ringkasan batas burst

Batas burst membatasi jumlah data yang dapat dikirim satu pelanggan ke Google SecOps. Hal ini memastikan keadilan dan mencegah dampak terhadap pelanggan lain karena lonjakan penyerapan dari satu pelanggan. Batas lonjakan memastikan penyerapan data pelanggan berjalan lancar dan dapat disesuaikan secara proaktif menggunakan tiket dukungan. Untuk menerapkan batas lonjakan, Google SecOps menggunakan klasifikasi berikut berdasarkan volume penyerapan:

Batas burst	Data setara tahunan pada batas burst maksimum per detik
88 MBps	2,8 PB
350 MBps	11 PB
886 MBps	28 PB
2,6 GBps	82 PB

Panduan berikut berlaku untuk batas burst:

Batas lonjakan berkisar antara 2 hingga 7 kali di atas batas penyerapan Anda saat ini.
Jika batas lonjakan tercapai, sumber transfer yang dikonfigurasi dengan benar harus disetel untuk menyimpan dalam buffer data tambahan. Data tidak boleh dikonfigurasi untuk dihapus.
- Untuk proses transfer berbasis pull seperti feed Google Cloud dan API, proses transfer dibuffer secara otomatis dan tidak memerlukan konfigurasi tambahan.
- Untuk penyerapan berbasis push seperti penerusan, webhook, dan penyerapan API, konfigurasikan sistem untuk mengirim ulang data saat batas lonjakan tercapai. Untuk BindPlane dan Crible, konfigurasikan buffering.
Sebelum mencapai batas burst, Anda dapat meningkatkannya.
Untuk menentukan apakah Anda mendekati batas burst, lihat Melihat penggunaan batas burst.

Melihat penggunaan batas burst

Anda dapat melihat penggunaan batas burst menggunakan Google SecOps atau Cloud Monitoring.

Menggunakan dasbor Google SecOps untuk melihat batas lonjakan

Untuk melihat penggunaan batas, gunakan visualisasi berikut di dasbor Penyerapan dan Kondisi Data Google SecOps:

Grafik Batas Proses Transfer: menampilkan kecepatan proses transfer versus batas per detik.
Grafik Penolakan Lonjakan: menampilkan volume log yang ditolak karena melebihi batas lonjakan.

Untuk melihat visualisasi Grafik Batas Lonjakan dan Grafik Penolakan Lonjakan, lakukan tindakan berikut:

Dari menu Google SecOps, pilih Dasbor.
Dari bagian Dasbor default, pilih Penyerapan dan Kondisi Data.

Di dasbor Penyerapan dan Kondisi Data yang muncul, Anda dapat melihat visualisasi Diagram Batas Lonjakan dan Diagram Penolakan Lonjakan.

Menggunakan Cloud Monitoring untuk melihat batas lonjakan

Untuk melihat batas burst Google SecOps di konsol Google Cloud, Anda memerlukan izin yang sama seperti untuk batas Google Cloud. Untuk mengetahui informasi selengkapnya, lihat Memberikan akses ke Cloud Monitoring.

Untuk informasi tentang cara melihat metrik menggunakan diagram, lihat Membuat diagram dengan Metrics Explorer.

Untuk melihat penggunaan batas lonjakan, gunakan kueri PromQL berikut:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

Untuk melihat jumlah byte yang ditolak setelah melampaui batas lonjakan, gunakan kueri PromQL berikut:

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

Untuk membuat pemberitahuan saat byte yang diserap melebihi 70% batas lonjakan, gunakan kueri PromQL berikut:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

Menyimpan data dalam buffer di sumber penyerapan

Tabel berikut menjelaskan konfigurasi yang diperlukan untuk melakukan buffering (bukan menghapus) data dari perusahaan Anda, bergantung pada sumber penyerapan data.

Sumber transfer	Konfigurasi buffering
Feed Google Cloud dan Chronicle API	Buffering disediakan secara otomatis
Penerus, webhook, dan penyerapan API	Mengonfigurasi percobaan ulang
BindPlane, Cribl, dan Forwarder	Mengonfigurasi antrean persisten

Pemecahan masalah

Panduan berikut membantu Anda agar tidak melebihi batas burst:

Buat pemberitahuan penyerapan yang memberi tahu Anda saat volume byte yang diserap melebihi nilai minimum batas burst. Untuk mengetahui informasi selengkapnya tentang cara menyiapkan pemberitahuan penyerapan, lihat Menggunakan Cloud Monitoring untuk notifikasi penyerapan.
Untuk mengidentifikasi sumber dan volume transfer, buat pemberitahuan pemantauan dengan collector_id, dan log_type beserta metrik chronicle.googleapis.com/ingestion/log/bytes_count. Untuk mengidentifikasi sumber dan volume penyerapan, gunakan kueri PromQL berikut:
```
sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))
```
Jika Anda memperkirakan volume penyerapan akan meningkat lebih dari empat kali volume penyerapan normal, hubungi Dukungan Teknis Google SecOps sebelumnya untuk meningkatkan batas lonjakan.
Jika menggunakan penerusan Google SecOps untuk menyerap data, Anda dapat menggunakan buffer disk untuk melakukan buffering data saat Anda melampaui batas burst. Untuk mengetahui informasi selengkapnya, lihat Menggunakan buffering disk untuk penerusan.

Tabel berikut mencantumkan metode penyerapan dan tindakan terkait yang perlu Anda lakukan saat mencapai batas lonjakan:

Mode transfer	Tindakan yang disarankan
Ingestion API	Tunggu hingga Anda kembali di bawah batas burst. Jika Anda ingin melanjutkan penyerapan lebih cepat, hubungi Dukungan Teknis Google SecOps.
Pengelolaan feed	Tunggu hingga Anda kembali di bawah batas burst. Jika Anda ingin melanjutkan penyerapan lebih cepat, hubungi Dukungan Teknis Google SecOps.
Penerus	Gunakan buffer disk untuk melakukan buffering data saat Anda melampaui batas burst.
Penyerapan push HTTPS yang menggunakan Amazon Data Kinesis, Pub/Sub, atau webhook.	Pastikan waktu retensi ditetapkan ke nilai maksimum. Misalnya, untuk menetapkan waktu retensi untuk Pub/Sub, lihat Mengonfigurasi retensi pesan langganan

Menggunakan buffer disk untuk penerusan

Jika Anda menggunakan forwarder SIEM Google SecOps, sebaiknya mulai gunakan buffer disk untuk melakukan buffering data saat Anda melampaui batas burst. Ukuran RAM maksimum yang digunakan oleh kolektor adalah 4 GB. Anda dapat menetapkan batas ini menggunakan setelan max_file_buffer_bytes dalam konfigurasi kolektor. Untuk melakukan buffering data yang lebih dari 4 GB, gunakan buffer disk. Untuk menentukan ukuran buffering disk, identifikasi kecepatan penyerapan penerusan menggunakan kueri MQL berikut:

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

Misalnya, jika kecepatan penyerapan dari pengirim adalah 415 Kbps dan efisiensi kompresi buffer adalah 70%, maka kecepatan pengisian buffer dihitung sebagai 415 Kbps x (100% - 70%) = 124,5 Kbps. Dengan kecepatan ini, ukuran buffer 1 GB, yang merupakan nilai buffer dalam memori default, akan terisi dalam waktu 2 jam 20 menit. Penghitungannya adalah 1024 x 1024 / 124,5 = 8422,297 detik = 2 jam 20 menit. Jika telah melampaui batas burst, Anda memerlukan disk 100 GB untuk melakukan buffering data selama sehari.

Pertanyaan umum (FAQ)

Error apa yang dipicu saat Anda melampaui batas burst?

Jika melebihi batas lonjakan, Anda akan mendapatkan error HTTP 429.

Bagaimana cara mengatasi error HTTP 429?

Coba lagi permintaan tersebut setelah lima menit.

Seberapa sering batas burst diperbarui?

Batas burst diperbarui setiap lima menit.