Burst-Limits

In diesem Dokument werden die Burst-Limits beschrieben, die für die Ressourcen von Google Security Operations gelten, insbesondere das Datenvolumen, das von einem einzelnen Kunden in Google SecOps aufgenommen werden kann. Mit Burst-Limits wird die Nutzung von Ressourcen eingeschränkt, die von allen Kunden gemeinsam genutzt werden:

  • Obergrenze für die Datenaufnahme, die von einem einzelnen Kunden verwendet werden kann. So wird verhindert, dass ein plötzlicher Datenzufluss von einem einzelnen Kunden sich auf andere auswirkt.
  • Überwacht die Nutzung gemeinsam genutzter Ressourcen für jeden Kunden.
  • Konfigurationen verwalten, die automatisch die Burst-Limits erzwingen.
  • Möglichkeit, Burst-Limits anzufordern oder zu ändern.

Beim Überspannungsschutz wird das Burst-Limit über einen Zeitraum von 5 Minuten gemessen. Es ist kein Tageslimit für die Datenaufnahme.

Erhöhung des Burst-Limits pro Kunde

Wenn Sie die Datenaufnahmerate schnell erhöhen möchten, können wir Ihnen bei der Vorplanung helfen und dafür sorgen, dass die Datenaufnahme stabil bleibt. Wenn Sie Ihr Burst-Limit erhöhen möchten, wenden Sie sich im Voraus an den technischen Support von Google SecOps.

Burst-Limits – Übersicht

Mit Burst-Limits wird die Datenmenge begrenzt, die ein Kunde an Google SecOps senden kann. So wird für Fairness gesorgt und es wird verhindert, dass andere Kunden durch Aufnahmespitzen eines einzelnen Kunden beeinträchtigt werden. Mit Burst-Limits wird dafür gesorgt, dass die Datenaufnahme von Kundendaten reibungslos funktioniert. Sie können proaktiv über ein Supportticket angepasst werden. Für die Anwendung von Burst-Limits verwendet Google SecOps die folgenden Klassifizierungen basierend auf dem Aufnahmevolumen:

Burst-Limit Datenvolumen pro Jahr bei maximaler Burst-Rate pro Sekunde
20 Mbit/s 600 TB
88 Mbit/s 2,8 PB
350 Mbit/s 11 PB
886 Mbit/s 28 PB
2,6 Gbit/s 82 PB

Für Burst-Limits gelten die folgenden Richtlinien:

  • Burst-Limits liegen zwischen dem 2- und dem 7-fachen Ihres aktuellen Datenaufnahmelimits.
  • Wenn das Burst-Limit erreicht wird, sollten richtig konfigurierte Datenaufnahmequellen so eingestellt sein, dass die zusätzlichen Daten in einen Puffer aufgenommen werden. Sie sollten nicht so konfiguriert sein, dass die Daten verworfen werden.
    • Bei der pullbasierten Datenaufnahme, z. B. über Google Cloud - und API-Feeds, wird die Datenaufnahme automatisch zwischengespeichert und erfordert keine zusätzliche Konfiguration.
    • Bei der pushbasierten Datenaufnahme, z. B. über Weiterleitungen, Webhooks und API-Aufnahme, konfigurieren Sie die Systeme so, dass Daten noch einmal gesendet werden, wenn das Burst-Limit erreicht wird. Konfigurieren Sie die Pufferung für BindPlane und Cribl.
  • Sie können das Burst-Limit erhöhen, bevor Sie es erreichen.
  • Unter Nutzung des Burst-Limits ansehen erfahren Sie, ob Sie Ihr Burst-Limit bald erreichen.

Nutzung des Burst-Limits ansehen

Sie können die Auslastung des Burst-Limits mit Google SecOps oder Cloud Monitoring prüfen.

Burst-Limits im Google SecOps-Dashboard aufrufen

Die Nutzung des Limits können Sie in Google SecOps im Dashboard Datenaufnahme und -integrität anhand der folgenden Visualisierungen prüfen:

  • Grafik zum Aufnahmelimit: Hier sehen Sie die Aufnahmerate im Vergleich zum Limit pro Sekunde.
  • Diagramm für Burst-Ablehnungen: Hier sehen Sie das Volumen der Protokolle, die aufgrund von Überschreitung des Burst-Limits abgelehnt wurden.

So rufen Sie die Visualisierungen Grafik zum Burst-Limit und Grafik zur Burst-Ablehnung auf:

  1. Wählen Sie im Google SecOps-Menü Dashboards aus.

  2. Wählen Sie im Bereich Standard-Dashboards die Option Datenaufnahme und -integrität aus.

    Im angezeigten Dashboard Datenaufnahme und -integrität finden Sie die Visualisierungen Diagramm zum Burst-Limit und Diagramm zur Burst-Ablehnung.

Burst-Limits mit Cloud Monitoring aufrufen

Zum Aufrufen der Google SecOps-Burst-Limits in der Google Cloud Console benötigen Sie dieselben Berechtigungen wie für alle Google Cloud Limits. Weitere Informationen finden Sie unter Zugriff auf Cloud Monitoring gewähren.

Informationen zum Ansehen von Messwerten in Diagrammen finden Sie unter Diagramme mit dem Metrics Explorer erstellen.

Mit der folgenden PromQL-Abfrage können Sie die Nutzung des Burst-Limits abrufen:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))

Verwenden Sie die folgende PromQL-Abfrage, um die Anzahl der Bytes aufzurufen, die nach Überschreiten des Burst-Limits abgelehnt wurden:

sum(rate(chronicle_googleapis_com:ingestion_log_quota_rejected_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[15m]))

Verwenden Sie die folgende PromQL-Abfrage, um eine Benachrichtigung zu erstellen, wenn die aufgenommenen Bytes 70% des Burst-Limits überschreiten:

100 * sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector"}[10m]))/
min(min_over_time(chronicle_googleapis_com:ingestion_quota_limit{monitored_resource="chronicle.googleapis.com/Collector"}[10m])) > 70

Daten an der Aufnahmequelle puffern

In der folgenden Tabelle wird die Konfiguration beschrieben, die je nach Datenaufnahmequelle erforderlich ist, um Daten aus Ihrem Unternehmen zu puffern (und nicht zu verwerfen).

Aufnahmequelle Pufferkonfiguration
Google Cloud und Chronicle API-Feeds Automatische Pufferung
Weiterleitungen, Webhooks und API-Aufnahme Wiederholungsversuche konfigurieren
BindPlane, Cribl und Weiterleiter Dauerhafte Warteschlange konfigurieren

Fehlerbehebung

Mit den folgenden Richtlinien können Sie vermeiden, dass Sie Ihr Burst-Limit überschreiten:

  • Erstellen Sie eine Datenaufnahmebenachrichtigung, die Sie benachrichtigt, wenn die Anzahl der aufgenommenen Bytes den Grenzwert für das Burst-Limit überschreitet. Weitere Informationen zum Einrichten von Benachrichtigungen zur Datenaufnahme finden Sie unter Cloud Monitoring für Benachrichtigungen zur Datenaufnahme verwenden.

  • Um die Datenaufnahmequellen und das Volumen zu ermitteln, erstellen Sie eine Monitoring-Benachrichtigung mit collector_id, log_type und dem Messwert chronicle.googleapis.com/ingestion/log/bytes_count. Verwenden Sie die folgende PromQL-Abfrage, um die Datenaufnahmequellen und das Volumen zu ermitteln:

    sum by (collector_id,log_type)(rate(chronicle_googleapis_com:ingestion_log_bytes_count{monitored_resource="chronicle.googleapis.com/Collector"}[5m]))

  • Wenn Sie davon ausgehen, dass sich das Datenaufnahmevolumen mehr als vervierfachen wird, wenden Sie sich im Voraus an den technischen Support von Google SecOps, um das Burst-Limit zu erhöhen.

  • Wenn Sie einen Google SecOps-Weiterleiter zum Aufnehmen von Daten verwenden, können Sie Speicher-Puffer verwenden, um Daten zu puffern, wenn Sie das Burst-Limit überschreiten. Weitere Informationen finden Sie unter Laufwerk-Buffer für Weiterleitungen verwenden.

In der folgenden Tabelle sind die Datenaufnahmemethoden und die entsprechenden Maßnahmen aufgeführt, die Sie ergreifen müssen, wenn Sie das Burst-Limit erreichen:

Aufnahmemodus Vorgeschlagene Maßnahme
Ingestion API Warten Sie, bis Sie unter dem Burst-Limit liegen. Wenn Sie die Datenaufnahme früher fortsetzen möchten, wenden Sie sich an den technischen Support von Google SecOps.
Feedverwaltung Warten Sie, bis Sie unter dem Burst-Limit liegen. Wenn Sie die Datenaufnahme früher fortsetzen möchten, wenden Sie sich an den technischen Support von Google SecOps.
Forwarder Verwenden Sie Laufwerkpuffer, um Daten zu puffern, wenn Sie das Burst-Limit überschreiten.
HTTPS-Push-Aufnahme mit Amazon Kinesis Data Streams, Pub/Sub oder Webhooks Achten Sie darauf, dass die Aufbewahrungsdauer auf den maximal möglichen Wert festgelegt ist. Wie Sie beispielsweise die Aufbewahrungszeit für Pub/Sub festlegen, erfahren Sie unter Aufbewahrung von Nachrichten für Abos konfigurieren.

Laufwerk-Puffer für Weiterleitungen verwenden

Wenn Sie den Google SecOps-SIEM-Weiterleiter verwenden, sollten Sie Speicher-Puffer verwenden, um Daten zu puffern, wenn Sie das Burst-Limit überschreiten. Der Collector verwendet maximal 4 GB RAM. Sie können dieses Limit mit der Einstellung max_file_buffer_bytes in der Collector-Konfiguration festlegen. Verwenden Sie Laufwerkpuffer, um Daten mit einer Größe von mehr als 4 GB zu puffern. Um die Größe des Laufwerkpuffers zu bestimmen, ermitteln Sie mit der folgenden MQL-Abfrage die Aufnahmerate der Weiterleiter:

sum(rate(chronicle_googleapis_com:ingestion_log_bytes_count
{monitored_resource="chronicle.googleapis.com/Collector", collector_id!~ "
(aaaaaaaa-aaaa-aaaa-aaaa-aaaaaaaaaaaa
|bbbbbbbb-bbbb-bbbb-bbbb-bbbbbbbbbbbb
|cccccccc-cccc-cccc-cccc-cccccccccccc
|dddddddd-dddd-dddd-dddd-dddddddddddd
|aaaa2222-aaaa-2222-aaaa-2222aaaa2222)"}[5m]))

Wenn die Aufnahmerate des Brokers beispielsweise 415 kbit/s beträgt und die Pufferkomprimierungseffizienz 70%, wird die Pufferfüllrate so berechnet: 415 kbit/s × (100 % – 70%) = 124,5 kbit/s. Bei dieser Rate ist ein Puffer mit einer Größe von 1 GB, der Standardwert für den In-Memory-Puffer, nach 2 Stunden und 20 Minuten voll. Die Berechnung lautet 1.024 × 1.024 ÷ 124,5 = 8.422,297 Sekunden = 2 Stunden und 20 Minuten. Wenn Sie das Burst-Limit überschritten haben, benötigen Sie ein 100-GB-Laufwerk, um Daten für einen Tag zu puffern.

Häufig gestellte Fragen

Welcher Fehler wird ausgelöst, wenn das Burst-Limit überschritten wird?

Wenn Sie das Burst-Limit überschreiten, erhalten Sie den HTTP-Fehler 429.

Wie behebe ich den HTTP-429-Fehler?

Wiederholen Sie die Anfrage nach fünf Minuten.

Wie oft werden die Burst-Limits aktualisiert?

Burst-Limits werden alle fünf Minuten aktualisiert.