バースト上限

このドキュメントでは、Google Security Operations リソースに適用されるバースト上限、特に単一のお客様が Google SecOps に取り込むことができるデータの量について説明します。バースト上限は、すべてのお客様が共有するリソースの使用を制限します。

単一のお客様が使用できるデータの取り込み量の上限。これにより、単一のお客様からのデータの急増が他のお客様に影響しないようにします。
各お客様の共有リソースの使用状況をモニタリングする。
バースト上限を自動的に適用する構成を維持する。
バースト上限をリクエストまたは変更する手段を提供する。

サージ保護の場合、バースト上限は 5 分間隔で測定されます。それは 1 日あたりの取り込み上限ではありません。

お客様あたりのバースト上限の引き上げ

取り込みレートを急速に増やす場合は、事前に計画してデータの取り込みを安定させることができます。バースト上限の引き上げをリクエストするには、事前に Google SecOps テクニカルサポートにお問い合わせください。

バースト上限の概要

バースト上限は、1 人のお客様が Google SecOps に送信できるデータの量を制限します。これにより、公平性が確保され、単一のお客様からの取り込みの急増による他のお客様への影響が防止できます。バースト上限により、顧客データの取り込みがスムーズに行われるようになり、サポートチケットを使用して積極的に調整できます。バースト上限を適用するために、Google SecOps は取り込み量に基づいて次の分類を使用します。

バースト上限	1 秒あたりの最大バースト上限で年間相当のデータ
20 MBps	600 TB
88 MBps	2.8 PB
350 MBps	11 PB
886 MBps	28 PB
2.6 GBps	82 PB

バースト上限には次のガイドラインが適用されます。

バースト上限に達した場合、適切に構成された取り込みソースが追加データをバッファするように設定する必要があります。データを破棄するように構成しないでください。
- Google Cloud や API フィードなどの pull ベースの取り込みでは、取り込みは自動的にバッファリングされるため、追加の構成は必要ありません。
- フォワーダー、Webhook、API 取り込みなどのプッシュベースの取り込みでは、バースト上限に達したときにデータを再送信するようにシステムを構成します。BindPlane と Cribl の場合は、バッファリングを構成します。
バースト上限に達する前に、それを引き上げることができます。
バースト上限に近づいているかどうかを確認するには、バースト上限の使用量を確認するをご覧ください。

バースト上限の使用状況を表示する

バースト上限の使用量は、Google SecOps または Cloud Monitoring を使用して確認できます。

Google SecOps ダッシュボードを使用してバースト上限を表示する

上限の使用状況を表示するには、Google SecOps の [データの取り込みと正常性] ダッシュボードで次の可視化を使用します。

Ingestion Limit Graph: 取り込みレートと 1 秒あたりの上限を表示します。
Burst Rejection Graph: バースト上限を超えたために拒否されたログの量が表示されます。

[Burst Limit Graph] と [Burst Rejection Graph] の可視化を表示する手順は次のとおりです。

Google SecOps メニューで [Dashboards] を選択します。
[デフォルトのダッシュボード] セクションで、[データの取り込みと正常性] を選択します。

表示された [データの取り込みと正常性] ダッシュボードで、[バースト上限グラフ] と [バースト拒否グラフ] の可視化を確認できます。

Cloud Monitoring を使用してバースト上限を表示する

Google Cloud コンソールで Google SecOps バースト上限を表示するには、 Google Cloud 上限と同じ権限が必要です。詳細については、Cloud Monitoring へのアクセス権を付与するをご覧ください。

グラフを使用して指標を表示する方法については、Metrics Explorer でグラフを作成するをご覧ください。

バースト上限の使用状況を表示するには、次の PromQL クエリを使用します。

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

バースト上限を超えた後に拒否されたバイト数を表示するには、次の PromQL クエリを使用します。

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

取り込まれたバイトがバースト上限の 70% を超えたときにアラートを作成するには、次の PromQL クエリを使用します。

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

取り込み元でデータをバッファする

次の表に、取り込み元に応じて、エンタープライズからのデータのバッファリング（破棄ではなく）に必要な構成を示します。

取り込みのソース	バッファリング構成
Google Cloud および Chronicle API フィード	バッファリングが自動的に提供される
転送元、Webhook、API 取り込み	再試行を構成します。
BindPlane、Cribl、フォワーダー	永続キューを構成する

トラブルシューティング

バースト上限を超えないようにするには、次のガイドラインが役立ちます。

取り込まれたバイト数がバースト上限のしきい値を超えたときに通知する取り込みアラートを作成します。取り込みアラートの設定の詳細については、取り込み通知に Cloud Monitoring を使用するをご覧ください。
取り込み元と取り込み量を特定するには、指標 chronicle.googleapis.com/ingestion/log/bytes_count とともに collector_id と log_type を使用してモニタリングアラートを作成します。取り込み元と取り込み量を特定するには、次の PromQL クエリを使用します。
```
sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))
```
取り込み量が通常の取り込み量の 4 倍を超えると予想される場合は、事前に Google SecOps テクニカルサポートに連絡してバースト上限を引き上げてください。
Google SecOps フォワーダーを使用してデータを取り込む場合は、バースト上限を超えたときにディスクバッファを使用してデータをバッファリングできます。詳細については、フォワーダーにディスクバッファを使用するをご覧ください。

次の表に、取り込み方法と、バースト上限に達したときに必要な対応を示します。

取り込みモード	提案された操作
Ingestion API	バースト上限をf再び下回るまで待ちます。取り込みを早急に再開したい場合は、Google SecOps テクニカルサポートにお問い合わせください。
Feed Management	バースト上限をf再び下回るまで待ちます。取り込みを早急に再開したい場合は、Google SecOps テクニカルサポートにお問い合わせください。
フォワーダー	バースト上限を超えたときにディスクバッファを使用してデータをバッファリングします。
Amazon Data Kinesis、Pub/Sub、Webhook を使用する HTTPS push 取り込み。	保持時間が可能な限り最大値に設定されていることを確認します。たとえば、Pub/Sub の保持時間を設定するには、サブスクリプションメッセージの保持を構成するをご覧ください。

フォワーダーにディスクバッファを使用する

Google SecOps SIEM フォワーダーを使用している場合は、バースト上限を超えたときにディスクバッファを使用してデータをバッファリングすることをおすすめします。コレクタで使用される RAM の最大サイズは 4 GB です。この上限は、コレクタ構成の max_file_buffer_bytes 設定を使用して設定できます。4 GB を超えるデータをバッファリングするには、ディスクバッファを使用します。ディスクバッファのサイズを決定するには、次の MQL クエリを使用して、フォワーダーが取り込むレートを特定します。

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

たとえば、フォワーダーからの取り込みレートが 415 Kbps で、バッファ圧縮効率が 70% の場合、バッファの充填率は 415 Kbps x（100% - 70%）= 124.5 Kbps と計算されます。この速度では、デフォルトのインメモリバッファ値である 1 GB のバッファサイズは 2 時間 20 分で一杯になります。計算式は 1,024 x 1,024 ÷ 124.5 = 8,422.297 秒 = 2 時間 20 分です。バースト上限を超えている場合は、1 日分のデータをバッファするために 100 GB のディスクが必要です。

よくある質問

バースト上限を超えると、どのようなエラーが発生しますか？

バースト上限を超えると、HTTP 429 エラーが発生します。

HTTP 429 エラーを解消するにはどうすればよいですか？

5 分後にリクエストを再試行してください。

バースト上限はどのくらいの頻度で更新されますか？

バースト上限は 5 分ごとに更新されます。