In diesem Dokument wird beschrieben, wie Daten automatisch extrahiert werden, um die Aufnahme, Verarbeitung und Analyse von Daten zu verbessern.
Google Security Operations verwendet vorgefertigte Parser, um Logdaten anhand des Schemas für einheitliche Datenmodelle (Unified Data Model, UDM) zu extrahieren und zu strukturieren. Die Verwaltung und Wartung dieser Parser kann aufgrund mehrerer Einschränkungen schwierig sein: unvollständige Datenextraktion, die wachsende Anzahl der zu verwaltenden Parser und die Notwendigkeit häufiger Updates, da sich die Protokollformate weiterentwickeln.
Mit der Funktion zur automatischen Extraktion können Sie diese Herausforderungen meistern. Mit dieser Funktion werden automatisch Schlüssel/Wert-Paare aus JSON- und XML-formatierten Protokollen extrahiert, die in Google SecOps aufgenommen werden. Es werden auch Syslog-formatierte Logs unterstützt, die eine JSON-Nachricht enthalten. Diese extrahierten Daten werden in einem UDM-Feld vom Typ „map“ mit dem Namen extracted gespeichert. Sie können diese Daten dann in UDM-Suchanfragen, nativen Dashboards und YARA-L-Regeln verwenden.
Die UDM-Suche mit extrahierten Feldern sollte metadata.log_type in der Abfrage enthalten, um die Leistung der Suchabfrage zu verbessern.
Der Vorteil der automatischen Extraktion besteht darin, dass weniger Parser benötigt werden. So bleiben Daten verfügbar, auch wenn kein Parser vorhanden ist oder ein Log nicht geparst werden kann.
Daten aus dem Rohlog parsen und extrahieren
Parsing: Google SecOps versucht, Logs mit einem Parser zu parsen, der für den Logtyp spezifisch ist, sofern verfügbar. Wenn kein bestimmter Parser vorhanden ist oder das Parsen fehlschlägt, verwendet Google SecOps einen allgemeinen Parser, um grundlegende Informationen wie den Zeitstempel der Aufnahme, den Protokolltyp und Metadatenlabels zu extrahieren.
Datenextraktion: Alle Datenpunkte werden automatisch aus den Protokollen extrahiert.
Ereignisanreicherung: Google SecOps kombiniert die geparsten Daten und alle benutzerdefinierten formatierten Felder, um angereicherte Ereignisse zu erstellen, die mehr Kontext und Details bieten.
Downstream-Datenübertragung: Diese angereicherten Ereignisse werden dann zur weiteren Analyse und Verarbeitung an andere Systeme gesendet.
Mit Extraktoren arbeiten
Mit Extraktoren können Sie Felder aus Logquellen mit hohem Volumen extrahieren. Sie sind darauf ausgelegt, die Logverwaltung zu optimieren. Mit Extraktoren können Sie die Ereignisgröße reduzieren, die Parsing-Effizienz steigern und die Datenextraktion besser steuern.
Das ist besonders nützlich, wenn Sie neue Log-Typen verwalten oder die Verarbeitungszeit minimieren möchten.
Sie können Extraktoren über das Menü SIEM Settings (SIEM-Einstellungen) oder durch eine Rohlog-Suche erstellen.
Extraktoren erstellen
Rufen Sie den Bereich Zusätzliche Felder extrahieren mit einer der folgenden Methoden auf:
Klicken Sie auf SIEM Settings (SIEM-Einstellungen) > Parsers (Parser) und gehen Sie so vor:
Suchen Sie in der Tabelle PARSERS (PARSER) nach einem Parser (Log-Quelle) und klicken Sie auf more_vertMenü > Parser erweitern > Zusätzliche Felder extrahieren.
Wählen Sie im Menü Log Sources (Log-Quellen) die gewünschten Log-Quellen (Parser) aus.
Wählen Sie in den Rohprotokoll-Ergebnissen eine Protokollquelle aus, um den Bereich EREIGNISDATEN zu öffnen.
Klicken Sie im Bereich EVENT DATA (Ereignisdaten) auf Manage Parser (Parser verwalten) > Extend Parser (Parser erweitern) > Extract Additional Fields (Zusätzliche Felder extrahieren).
Wählen Sie auf dem Tab EVENTS (EREIGNISSE) in den UDM-Suchergebnissen eine Protokollquelle aus, um den Bereich Event Viewer (Ereignisanzeige) aufzurufen.
Klicken Sie auf dem Tab Rohlog auf Parser verwalten > Parser erweitern > Zusätzliche Felder extrahieren.
Wählen Sie auf dem Tab Extrahierer auswählen im Bereich Zusätzliche Felder extrahieren die erforderlichen Rohlogfelder aus. Standardmäßig können Sie bis zu 100 Felder auswählen.
Wenn keine zusätzlichen Felder für die Extraktion verfügbar sind, wird eine Warnung angezeigt.
Klicken Sie auf den Tab Referenz-Rohlog, um die Rohlogdaten und eine Vorschau der UDM-Ausgabe aufzurufen.
Klicken Sie auf Speichern.
Der neu erstellte Extractor wird mit EXTRACTOR gekennzeichnet.
Extrahierte Felder werden in der UDM-Ausgabe alsextracted.field{"fieldName"}angezeigt.
Extraktordetails ansehen
Klicken Sie in der Tabelle PARSERS in der Zeile für den Extraktor auf more_vertMenü > Parser erweitern > Erweiterung ansehen.
Klicken Sie auf der Seite VIEW CUSTOM PARSERS (Benutzerdefinierte Parser ansehen) auf den Tab Extensions and Extracted Fields (Erweiterungen und extrahierte Felder).
Auf diesem Tab finden Sie Informationen zu Parsererweiterungen und Extraktorfeldern.
Sie können Felder ändern oder entfernen und sich die Parserausgabe auf der Seite BENUTZERDEFINIERTE PARSER ANSEHEN ansehen.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-09-04 (UTC)."],[[["\u003cp\u003eAuto extraction is a feature in Google SecOps that automatically extracts key-value pairs from JSON-formatted logs, storing them in a UDM map-type field called \u003ccode\u003eextracted\u003c/code\u003e.\u003c/p\u003e\n"],["\u003cp\u003eThis feature reduces reliance on prebuilt parsers and ensures data availability even when a specific parser is absent or fails.\u003c/p\u003e\n"],["\u003cp\u003eAuto extraction enhances the ability to ingest, process, and analyze data, which is then searchable through UDM queries, Preview Dashboards, and YARA-L rules.\u003c/p\u003e\n"],["\u003cp\u003eUDM searches using extracted fields should include \u003ccode\u003emetadata.log_type\u003c/code\u003e to optimize search query performance.\u003c/p\u003e\n"],["\u003cp\u003eThe process includes parsing logs, extracting data, enriching events with parsed and custom fields, and then transferring this data downstream for analysis.\u003c/p\u003e\n"]]],[],null,["# Auto Extraction overview\n========================\n\nSupported in: \nGoogle secops [SIEM](/chronicle/docs/secops/google-secops-siem-toc)\n| **Note:** This feature is covered by [Pre-GA Offerings Terms](https://chronicle.security/legal/service-terms/) of the Google Security Operations Service Specific Terms. Pre-GA features might have limited support, and changes to pre-GA features might not be compatible with other pre-GA versions. For more information, see the [Google SecOps Technical Support Service guidelines](https://chronicle.security/legal/technical-support-services-guidelines/) and the [Google SecOps Service Specific Terms](https://chronicle.security/legal/service-terms/).\n\nThis document provides an overview of how data is automatically extracted to\nenhance the ability to ingest, process, and analyze data.\n\nGoogle Security Operations uses [prebuilt parsers](/chronicle/docs/ingestion/parser-list/supported-default-parsers)\nto extract and structure log data using the Unified Data Model (UDM) schema. Managing and\nmaintaining these parsers can be challenging due to several limitations: incomplete\ndata extraction, the growing number of parsers to manage, and the requirement for\nfrequent updates as log formats evolve.\n\nTo address these challenges, you can use the auto extraction\nfeature. This feature automatically extracts key-value pairs from JSON-formatted\nand XML-formatted logs ingested into Google SecOps. It also supports Syslog-formatted\nlogs that include a JSON message. This extracted data is stored in a UDM, map-type\nfield called `extracted`. You can then use this data within UDM search queries,\n[Native Dashboards](/chronicle/docs/reports/native-dashboards), and YARA-L\nrules.\n\nAs a best practice, the UDM searches using extracted fields must include `metadata.log_type`\nin their query to improve search query performance.\n\nThe benefit of auto extraction is reduced reliance on parsers, ensuring that data\nremains available, even when a parser is not present or fails to parse a log.\n| **Note:** This feature is being rolled out in phases, so some eligible log sources may not yet show extracted fields.\n\nParse and extract data from the raw log\n---------------------------------------\n\n1. **Parsing**: Google SecOps attempts to parse logs using a parser\n specific to the log type, if available. If no specific parser exists, or if parsing\n fails, Google SecOps uses a general parser to extract basic information like\n ingested timestamp, log type, and metadata labels.\n\n2. **Data Extraction**: All data points are automatically extracted from the logs.\n\n3. **Event Enrichment**: Google SecOps combines the parsed data and any\n custom-formatted fields to create enriched events, providing more context and detail.\n\n4. **Downstream Data Transfer**: These enriched events are then sent to other\n systems for further analysis and processing.\n\nWork with extractors\n--------------------\n\nExtractors let you extract fields from high-volume log sources, and are designed\nto optimize log management. By using extractors, you can reduce event size,\nenhance parsing efficiency, and gain better control over data extraction.\nThis is especially useful for managing new log types or minimizing processing\ntime.\n\nYou can create extractors using the **SIEM Settings** menu or by performing a\nraw log search.\n\n### Create extractors\n\n1. Go to the **Extract Additional Fields** pane using either of the following\n methods:\n\n - Click **SIEM Settings** \\\u003e **Parsers** , and do the following:\n 1. In the **PARSERS** table that appears, identify a parser (log source) and click more_vert **Menu** \\\u003e **Extend Parser** \\\u003e **Extract Additional Fields**.\n - Use [Raw Log Scan](/chronicle/docs/investigation/search-raw-logs) and do the following:\n 1. Select the required log sources (parsers) from the **Log Sources** menu.\n 2. From the raw log results, select a log source to open the **EVENT DATA** pane.\n 3. In the **EVENT DATA** pane, click **Manage Parser** \\\u003e **Extend Parser** \\\u003e **Extract Additional Fields**.\n - Use [UDM search](/chronicle/docs/investigation/udm-search#access_search) and do the following:\n 1. On the **EVENTS** tab in the UDM search results, select a log source to view the **Event Viewer** pane.\n 2. On the **Raw Log** tab, click **Manage Parser** \\\u003e **Extend Parser** \\\u003e **Extract Additional Fields**.\n2. On the **Select Extractors** tab in the **Extract Additional fields** pane,\n select the required raw log fields. By default, you can select up to 100 fields.\n If no additional fields are available for extraction, a warning notice displays.\n\n Click the **Reference Raw Log** tab to view the raw log data and preview\n the UDM output.\n3. Click **Save**.\n\nThe newly created extractor is labeled as `EXTRACTOR`.\nExtracted fields are displayed in the UDM output as`extracted.field{\"fieldName\"}`.\n| **Note:** For certain low-volume log types, auto extraction is enabled by default, and all fields are extracted automatically. These log types aren't labeled with the `EXTRACTOR` tag. If you try to extract additional fields, the system displays a message indicating that all fields are already being extracted and no further selection is needed.\n\n### View extractor details\n\n1. Go to the extractor row in the **PARSERS** table and click more_vert **Menu** \\\u003e **Extend Parser** \\\u003e **View Extension**.\n2. On the **VIEW CUSTOM PARSERS** page, click the **Extensions and Extracted Fields** tab.\n\nThis tab displays information on parser extensions and extractor fields.\nYou can modify or remove fields and preview the parser output from the **VIEW CUSTOM PARSERS**\npage.\n\n**Need more help?** [Get answers from Community members and Google SecOps professionals.](https://security.googlecloudcommunity.com/google-security-operations-2)"]]
