Automatische Datenextraktion – Übersicht

Unterstützt in:

Google SecOps SIEM

Hinweis: Diese Funktion unterliegt den Bedingungen des Pre-GA-Angebots in den Nutzungsbedingungen des Google Security Operations-Dienstes. Pre-GA-Features werden eventuell nur eingeschränkt unterstützt und Änderungen an diesen Features sind möglicherweise nicht mit anderen Pre-GA-Versionen kompatibel. Weitere Informationen finden Sie in den Richtlinien für den technischen Support von Google Security Operations und den dienstspezifischen Nutzungsbedingungen für Google Security Operations.

In diesem Dokument erhalten Sie einen Überblick darüber, wie Daten automatisch extrahiert werden, um die Datenaufnahme, -verarbeitung und -analyse zu verbessern.

Google Security Operations verwendet vordefinierte Parser, um Protokolldaten mithilfe des UDM-Schemas (Unified Data Model) zu extrahieren und zu strukturieren. Die Verwaltung und Wartung dieser Parser kann aufgrund mehrerer Einschränkungen schwierig sein: unvollständige Datenextraktion, zunehmende Anzahl der zu verwaltenden Parser und die Notwendigkeit häufiger Updates aufgrund der Weiterentwicklung von Protokollformaten.

Mit der Funktion zur automatischen Extraktion können Sie diese Probleme beheben. Mit dieser Funktion werden automatisch Schlüssel/Wert-Paare aus JSON-formatierten Protokollen extrahiert, die in Google SecOps aufgenommen wurden. Diese extrahierten Daten werden in einem UDM-Feld vom Typ „Karte“ mit dem Namen extracted gespeichert. Sie können diese Daten dann in UDM-Suchanfragen, Vorschau-Dashboards und YARA-L-Regeln verwenden. Das autonome Parsen unterstützt Protokolle im JSON-Format.

Best Practice: Um die Leistung von Suchanfragen zu verbessern, müssen UDM-Suchanfragen mit extrahierten Feldern metadata.log_type enthalten.

Der Vorteil der automatischen Extraktion besteht darin, dass die Abhängigkeit von Parsern reduziert wird. So bleiben die Daten auch dann verfügbar, wenn kein Parser vorhanden ist oder ein Protokoll nicht geparst werden kann.

Hinweis :Diese Funktion wird in Phasen eingeführt. Daher werden in einigen geeigneten Protokollquellen möglicherweise noch keine extrahierten Felder angezeigt.

Daten aus dem Rohprotokoll parsen und extrahieren

1. Parsen: Google SecOps versucht, Logs mit einem spezifischen Parser für den Logtyp zu parsen, sofern verfügbar. Wenn kein bestimmter Parser vorhanden ist oder die Analyse fehlschlägt, verwendet Google SecOps einen allgemeinen Parser, um grundlegende Informationen wie den Zeitstempel der Datenaufnahme, den Protokolltyp und Metadatenlabels zu extrahieren.

2. Datenextraktion: Alle Datenpunkte werden automatisch aus den Protokollen extrahiert.

3. Ereignis-Enrichment: In Google SecOps werden die geparsten Daten und alle benutzerdefiniert formatierten Felder kombiniert, um erweiterte Ereignisse zu erstellen, die mehr Kontext und Details bieten.

4. Downstream-Datenübertragung: Diese angereicherten Ereignisse werden dann zur weiteren Analyse und Verarbeitung an andere Systeme gesendet.