Questo documento fornisce una panoramica di come i dati vengono estratti automaticamente per migliorare la capacità di importare, elaborare e analizzare i dati.
Google Security Operations utilizza parser predefiniti
per estrarre e strutturare i dati dei log utilizzando lo schema Unified Data Model (UDM). La gestione e la manutenzione di questi parser possono essere difficili a causa di diverse limitazioni: estrazione incompleta dei dati, numero crescente di parser da gestire e necessità di aggiornamenti frequenti man mano che i formati dei log si evolvono.
Per affrontare queste sfide, puoi utilizzare la funzionalità di estrazione automatica. Questa funzionalità estrae automaticamente le coppie chiave-valore dai log in formato JSON
e XML inseriti in Google SecOps. Supporta anche i log in formato Syslog che includono un messaggio JSON. Questi dati estratti vengono archiviati in un campo UDM di tipo mappa
denominato extracted. Puoi quindi utilizzare questi dati all'interno delle query di ricerca UDM, dei dashboard nativi e delle regole YARA-L.
Come best practice, le ricerche UDM che utilizzano i campi estratti devono includere metadata.log_type
nella query per migliorare le prestazioni delle query di ricerca.
Il vantaggio dell'estrazione automatica è la minore dipendenza dai parser, il che garantisce che i dati rimangano disponibili anche quando un parser non è presente o non riesce ad analizzare un log.
Analizzare ed estrarre i dati dal log non elaborato
Analisi: Google SecOps tenta di analizzare i log utilizzando un parser
specifico per il tipo di log, se disponibile. Se non esiste un parser specifico o se l'analisi
non va a buon fine, Google SecOps utilizza un parser generico per estrarre informazioni di base come
il timestamp di importazione, il tipo di log e le etichette dei metadati.
Estrazione dei dati: tutti i punti dati vengono estratti automaticamente dai log.
Arricchimento degli eventi: Google SecOps combina i dati analizzati e tutti i campi
con formattazione personalizzata per creare eventi arricchiti, fornendo più contesto e dettagli.
Trasferimento dei dati downstream: questi eventi arricchiti vengono poi inviati ad altri
sistemi per ulteriori analisi ed elaborazioni.
Utilizzare gli estrattori
Gli estrattori consentono di estrarre campi da origini di log ad alto volume e sono progettati per ottimizzare la gestione dei log. Utilizzando gli estrattori, puoi ridurre le dimensioni degli eventi,
migliorare l'efficienza dell'analisi e ottenere un maggiore controllo sull'estrazione dei dati.
Ciò è particolarmente utile per gestire nuovi tipi di log o ridurre al minimo il tempo di elaborazione.
Puoi creare estrattori utilizzando il menu Impostazioni SIEM o eseguendo una ricerca nei log non elaborati.
Creare estrattori
Vai al riquadro Estrai campi aggiuntivi utilizzando uno dei seguenti metodi:
Fai clic su Impostazioni SIEM > Parser ed esegui le seguenti operazioni:
Nella tabella ANALIZZATORI visualizzata, identifica un analizzatore (origine log)
e fai clic su more_vertMenu >
Estendi analizzatore > Estrai campi aggiuntivi.
Nella scheda EVENTI nei risultati di ricerca UDM, seleziona un'origine log per visualizzare il riquadro Visualizzatore eventi.
Nella scheda Log grezzo, fai clic su Gestisci parser > Estendi parser >
Estrai campi aggiuntivi.
Nella scheda Seleziona estrattori del riquadro Estrai campi aggiuntivi,
seleziona i campi log non elaborati richiesti. Per impostazione predefinita, puoi selezionare fino a 100 campi.
Se non sono disponibili campi aggiuntivi per l'estrazione, viene visualizzato un avviso.
Fai clic sulla scheda Log non elaborato di riferimento per visualizzare i dati dei log non elaborati e l'anteprima dell'output UDM.
Fai clic su Salva.
L'estrattore appena creato è etichettato come EXTRACTOR.
I campi estratti vengono visualizzati nell'output UDM comeextracted.field{"fieldName"}.
Visualizzare i dettagli dell'estrattore
Vai alla riga dell'estrattore nella tabella ANALIZZATORI e fai clic su more_vertMenu > Estendi analizzatore > Visualizza estensione.
Nella pagina VISUALIZZA ANALIZZATORI PERSONALIZZATI, fai clic sulla scheda Estensioni e campi estratti.
Questa scheda mostra informazioni sulle estensioni del parser e sui campi dell'estrattore.
Puoi modificare o rimuovere i campi e visualizzare l'output del parser dalla pagina VISUALIZZA ANALIZZATORI PERSONALIZZATI.
[[["Facile da capire","easyToUnderstand","thumb-up"],["Il problema è stato risolto","solvedMyProblem","thumb-up"],["Altra","otherUp","thumb-up"]],[["Difficile da capire","hardToUnderstand","thumb-down"],["Informazioni o codice di esempio errati","incorrectInformationOrSampleCode","thumb-down"],["Mancano le informazioni o gli esempi di cui ho bisogno","missingTheInformationSamplesINeed","thumb-down"],["Problema di traduzione","translationIssue","thumb-down"],["Altra","otherDown","thumb-down"]],["Ultimo aggiornamento 2025-09-04 UTC."],[[["\u003cp\u003eAuto extraction is a feature in Google SecOps that automatically extracts key-value pairs from JSON-formatted logs, storing them in a UDM map-type field called \u003ccode\u003eextracted\u003c/code\u003e.\u003c/p\u003e\n"],["\u003cp\u003eThis feature reduces reliance on prebuilt parsers and ensures data availability even when a specific parser is absent or fails.\u003c/p\u003e\n"],["\u003cp\u003eAuto extraction enhances the ability to ingest, process, and analyze data, which is then searchable through UDM queries, Preview Dashboards, and YARA-L rules.\u003c/p\u003e\n"],["\u003cp\u003eUDM searches using extracted fields should include \u003ccode\u003emetadata.log_type\u003c/code\u003e to optimize search query performance.\u003c/p\u003e\n"],["\u003cp\u003eThe process includes parsing logs, extracting data, enriching events with parsed and custom fields, and then transferring this data downstream for analysis.\u003c/p\u003e\n"]]],[],null,["# Auto Extraction overview\n========================\n\nSupported in: \nGoogle secops [SIEM](/chronicle/docs/secops/google-secops-siem-toc)\n| **Note:** This feature is covered by [Pre-GA Offerings Terms](https://chronicle.security/legal/service-terms/) of the Google Security Operations Service Specific Terms. Pre-GA features might have limited support, and changes to pre-GA features might not be compatible with other pre-GA versions. For more information, see the [Google SecOps Technical Support Service guidelines](https://chronicle.security/legal/technical-support-services-guidelines/) and the [Google SecOps Service Specific Terms](https://chronicle.security/legal/service-terms/).\n\nThis document provides an overview of how data is automatically extracted to\nenhance the ability to ingest, process, and analyze data.\n\nGoogle Security Operations uses [prebuilt parsers](/chronicle/docs/ingestion/parser-list/supported-default-parsers)\nto extract and structure log data using the Unified Data Model (UDM) schema. Managing and\nmaintaining these parsers can be challenging due to several limitations: incomplete\ndata extraction, the growing number of parsers to manage, and the requirement for\nfrequent updates as log formats evolve.\n\nTo address these challenges, you can use the auto extraction\nfeature. This feature automatically extracts key-value pairs from JSON-formatted\nand XML-formatted logs ingested into Google SecOps. It also supports Syslog-formatted\nlogs that include a JSON message. This extracted data is stored in a UDM, map-type\nfield called `extracted`. You can then use this data within UDM search queries,\n[Native Dashboards](/chronicle/docs/reports/native-dashboards), and YARA-L\nrules.\n\nAs a best practice, the UDM searches using extracted fields must include `metadata.log_type`\nin their query to improve search query performance.\n\nThe benefit of auto extraction is reduced reliance on parsers, ensuring that data\nremains available, even when a parser is not present or fails to parse a log.\n| **Note:** This feature is being rolled out in phases, so some eligible log sources may not yet show extracted fields.\n\nParse and extract data from the raw log\n---------------------------------------\n\n1. **Parsing**: Google SecOps attempts to parse logs using a parser\n specific to the log type, if available. If no specific parser exists, or if parsing\n fails, Google SecOps uses a general parser to extract basic information like\n ingested timestamp, log type, and metadata labels.\n\n2. **Data Extraction**: All data points are automatically extracted from the logs.\n\n3. **Event Enrichment**: Google SecOps combines the parsed data and any\n custom-formatted fields to create enriched events, providing more context and detail.\n\n4. **Downstream Data Transfer**: These enriched events are then sent to other\n systems for further analysis and processing.\n\nWork with extractors\n--------------------\n\nExtractors let you extract fields from high-volume log sources, and are designed\nto optimize log management. By using extractors, you can reduce event size,\nenhance parsing efficiency, and gain better control over data extraction.\nThis is especially useful for managing new log types or minimizing processing\ntime.\n\nYou can create extractors using the **SIEM Settings** menu or by performing a\nraw log search.\n\n### Create extractors\n\n1. Go to the **Extract Additional Fields** pane using either of the following\n methods:\n\n - Click **SIEM Settings** \\\u003e **Parsers** , and do the following:\n 1. In the **PARSERS** table that appears, identify a parser (log source) and click more_vert **Menu** \\\u003e **Extend Parser** \\\u003e **Extract Additional Fields**.\n - Use [Raw Log Scan](/chronicle/docs/investigation/search-raw-logs) and do the following:\n 1. Select the required log sources (parsers) from the **Log Sources** menu.\n 2. From the raw log results, select a log source to open the **EVENT DATA** pane.\n 3. In the **EVENT DATA** pane, click **Manage Parser** \\\u003e **Extend Parser** \\\u003e **Extract Additional Fields**.\n - Use [UDM search](/chronicle/docs/investigation/udm-search#access_search) and do the following:\n 1. On the **EVENTS** tab in the UDM search results, select a log source to view the **Event Viewer** pane.\n 2. On the **Raw Log** tab, click **Manage Parser** \\\u003e **Extend Parser** \\\u003e **Extract Additional Fields**.\n2. On the **Select Extractors** tab in the **Extract Additional fields** pane,\n select the required raw log fields. By default, you can select up to 100 fields.\n If no additional fields are available for extraction, a warning notice displays.\n\n Click the **Reference Raw Log** tab to view the raw log data and preview\n the UDM output.\n3. Click **Save**.\n\nThe newly created extractor is labeled as `EXTRACTOR`.\nExtracted fields are displayed in the UDM output as`extracted.field{\"fieldName\"}`.\n| **Note:** For certain low-volume log types, auto extraction is enabled by default, and all fields are extracted automatically. These log types aren't labeled with the `EXTRACTOR` tag. If you try to extract additional fields, the system displays a message indicating that all fields are already being extracted and no further selection is needed.\n\n### View extractor details\n\n1. Go to the extractor row in the **PARSERS** table and click more_vert **Menu** \\\u003e **Extend Parser** \\\u003e **View Extension**.\n2. On the **VIEW CUSTOM PARSERS** page, click the **Extensions and Extracted Fields** tab.\n\nThis tab displays information on parser extensions and extractor fields.\nYou can modify or remove fields and preview the parser output from the **VIEW CUSTOM PARSERS**\npage.\n\n**Need more help?** [Get answers from Community members and Google SecOps professionals.](https://security.googlecloudcommunity.com/google-security-operations-2)"]]
