En este documento se ofrece una descripción general de cómo se extraen los datos automáticamente para mejorar la capacidad de ingerir, procesar y analizar datos.
Google Security Operations usa analizadores precompilados para extraer y estructurar datos de registro con el esquema del modelo de datos unificado (UDM). Gestionar y mantener estos analizadores puede ser complicado debido a varias limitaciones: extracción de datos incompleta, el creciente número de analizadores que hay que gestionar y la necesidad de realizar actualizaciones frecuentes a medida que evolucionan los formatos de registro.
Para hacer frente a estos retos, puedes usar la función de extracción automática. Esta función extrae automáticamente pares clave-valor de los registros con formato JSON que se ingieren en Google SecOps. También admite registros con formato Syslog que incluyen un mensaje JSON. Estos datos extraídos se almacenan en un campo de tipo mapa de UDM llamado extracted. Después, puede usar estos datos en consultas de búsqueda de UDM, paneles nativos y reglas YARA-L.
Como práctica recomendada, las búsquedas de UDM que usan campos extraídos deben incluir metadata.log_type
en la consulta para mejorar el rendimiento de las consultas de búsqueda.
La ventaja de la extracción automática es que se reduce la dependencia de los analizadores, lo que asegura que los datos sigan estando disponibles aunque no haya un analizador o este no pueda analizar un registro.
Analizar y extraer datos del registro sin procesar
Análisis: Google SecOps intenta analizar los registros mediante un analizador específico del tipo de registro, si está disponible. Si no existe ningún analizador específico o si se produce un error al analizar, Google SecOps usa un analizador general para extraer información básica, como la marca de tiempo de la ingestión, el tipo de registro y las etiquetas de metadatos.
Extracción de datos: todos los puntos de datos se extraen automáticamente de los registros.
Enriquecimiento de eventos: Google SecOps combina los datos analizados y los campos con formato personalizado para crear eventos enriquecidos, lo que proporciona más contexto y detalles.
Transferencia de datos posteriores: estos eventos enriquecidos se envían a otros sistemas para que se analicen y procesen.
Trabajar con extractores
Los extractores te permiten extraer campos de orígenes de registros de gran volumen y están diseñados para optimizar la gestión de registros. Con los extractores, puede reducir el tamaño de los eventos, mejorar la eficiencia del análisis y tener un mayor control sobre la extracción de datos.
Esto resulta especialmente útil para gestionar nuevos tipos de registros o minimizar el tiempo de procesamiento.
Puede crear extractores con el menú Configuración de SIEM o realizando una búsqueda de registros sin formato.
Crear extractores
Ve al panel Extraer campos adicionales con uno de los siguientes métodos:
Haga clic en Configuración de SIEM > Analizadores y siga estos pasos:
En la tabla ANALIZADORES que aparece, identifique un analizador (fuente de registro) y haga clic en more_vertMenú > Ampliar analizador > Extraer campos adicionales.
En la pestaña EVENTOS de los resultados de búsqueda de UDM, selecciona una fuente de registro para ver el panel Visor de eventos.
En la pestaña Registro sin procesar, haz clic en Gestionar analizador > Ampliar analizador >
Extraer campos adicionales.
En la pestaña Seleccionar extractores del panel Extraer campos adicionales,
seleccione los campos de registro sin procesar que necesite. De forma predeterminada, puede seleccionar hasta 100 campos.
Si no hay campos adicionales disponibles para la extracción, se mostrará una advertencia.
Haga clic en la pestaña Registro sin procesar de referencia para ver los datos del registro sin procesar y obtener una vista previa del resultado de UDM.
Haz clic en Guardar.
El extractor recién creado se etiqueta como EXTRACTOR.
Los campos extraídos se muestran en el resultado de UDM como extracted.field{"fieldName"}.
Ver los detalles del extractor
Ve a la fila del extractor de la tabla ANALIZADORES y haz clic en more_vertMenú > Extender analizador > Ver extensión.
En la página VER ANALIZADORES PERSONALIZADOS, haga clic en la pestaña Extensiones y campos extraídos.
En esta pestaña se muestra información sobre las extensiones del analizador y los campos del extractor.
Puedes modificar o eliminar campos y ver una vista previa del resultado del analizador en la página VER ANALIZADORES PERSONALIZADOS.
[[["Es fácil de entender","easyToUnderstand","thumb-up"],["Me ofreció una solución al problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Es difícil de entender","hardToUnderstand","thumb-down"],["La información o el código de muestra no son correctos","incorrectInformationOrSampleCode","thumb-down"],["Me faltan las muestras o la información que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2025-08-20 (UTC)."],[[["\u003cp\u003eAuto extraction is a feature in Google SecOps that automatically extracts key-value pairs from JSON-formatted logs, storing them in a UDM map-type field called \u003ccode\u003eextracted\u003c/code\u003e.\u003c/p\u003e\n"],["\u003cp\u003eThis feature reduces reliance on prebuilt parsers and ensures data availability even when a specific parser is absent or fails.\u003c/p\u003e\n"],["\u003cp\u003eAuto extraction enhances the ability to ingest, process, and analyze data, which is then searchable through UDM queries, Preview Dashboards, and YARA-L rules.\u003c/p\u003e\n"],["\u003cp\u003eUDM searches using extracted fields should include \u003ccode\u003emetadata.log_type\u003c/code\u003e to optimize search query performance.\u003c/p\u003e\n"],["\u003cp\u003eThe process includes parsing logs, extracting data, enriching events with parsed and custom fields, and then transferring this data downstream for analysis.\u003c/p\u003e\n"]]],[],null,["# Auto Extraction overview\n========================\n\nSupported in: \nGoogle secops [SIEM](/chronicle/docs/secops/google-secops-siem-toc)\n| **Note:** This feature is covered by [Pre-GA Offerings Terms](https://chronicle.security/legal/service-terms/) of the Google Security Operations Service Specific Terms. Pre-GA features might have limited support, and changes to pre-GA features might not be compatible with other pre-GA versions. For more information, see the [Google SecOps Technical Support Service guidelines](https://chronicle.security/legal/technical-support-services-guidelines/) and the [Google SecOps Service Specific Terms](https://chronicle.security/legal/service-terms/).\n\nThis document provides an overview of how data is automatically extracted to\nenhance the ability to ingest, process, and analyze data.\n\nGoogle Security Operations uses [prebuilt parsers](/chronicle/docs/ingestion/parser-list/supported-default-parsers)\nto extract and structure log data using the Unified Data Model (UDM) schema. Managing and\nmaintaining these parsers can be challenging due to several limitations: incomplete\ndata extraction, the growing number of parsers to manage, and the requirement for\nfrequent updates as log formats evolve.\n\nTo address these challenges, you can use the auto extraction\nfeature. This feature automatically extracts key-value pairs from JSON-formatted\nand XML-formatted logs ingested into Google SecOps. It also supports Syslog-formatted\nlogs that include a JSON message. This extracted data is stored in a UDM, map-type\nfield called `extracted`. You can then use this data within UDM search queries,\n[Native Dashboards](/chronicle/docs/reports/native-dashboards), and YARA-L\nrules.\n\nAs a best practice, the UDM searches using extracted fields must include `metadata.log_type`\nin their query to improve search query performance.\n\nThe benefit of auto extraction is reduced reliance on parsers, ensuring that data\nremains available, even when a parser is not present or fails to parse a log.\n| **Note:** This feature is being rolled out in phases, so some eligible log sources may not yet show extracted fields.\n\nParse and extract data from the raw log\n---------------------------------------\n\n1. **Parsing**: Google SecOps attempts to parse logs using a parser\n specific to the log type, if available. If no specific parser exists, or if parsing\n fails, Google SecOps uses a general parser to extract basic information like\n ingested timestamp, log type, and metadata labels.\n\n2. **Data Extraction**: All data points are automatically extracted from the logs.\n\n3. **Event Enrichment**: Google SecOps combines the parsed data and any\n custom-formatted fields to create enriched events, providing more context and detail.\n\n4. **Downstream Data Transfer**: These enriched events are then sent to other\n systems for further analysis and processing.\n\nWork with extractors\n--------------------\n\nExtractors let you extract fields from high-volume log sources, and are designed\nto optimize log management. By using extractors, you can reduce event size,\nenhance parsing efficiency, and gain better control over data extraction.\nThis is especially useful for managing new log types or minimizing processing\ntime.\n\nYou can create extractors using the **SIEM Settings** menu or by performing a\nraw log search.\n\n### Create extractors\n\n1. Go to the **Extract Additional Fields** pane using either of the following\n methods:\n\n - Click **SIEM Settings** \\\u003e **Parsers** , and do the following:\n 1. In the **PARSERS** table that appears, identify a parser (log source) and click more_vert **Menu** \\\u003e **Extend Parser** \\\u003e **Extract Additional Fields**.\n - Use [Raw Log Scan](/chronicle/docs/investigation/search-raw-logs) and do the following:\n 1. Select the required log sources (parsers) from the **Log Sources** menu.\n 2. From the raw log results, select a log source to open the **EVENT DATA** pane.\n 3. In the **EVENT DATA** pane, click **Manage Parser** \\\u003e **Extend Parser** \\\u003e **Extract Additional Fields**.\n - Use [UDM search](/chronicle/docs/investigation/udm-search#access_search) and do the following:\n 1. On the **EVENTS** tab in the UDM search results, select a log source to view the **Event Viewer** pane.\n 2. On the **Raw Log** tab, click **Manage Parser** \\\u003e **Extend Parser** \\\u003e **Extract Additional Fields**.\n2. On the **Select Extractors** tab in the **Extract Additional fields** pane,\n select the required raw log fields. By default, you can select up to 100 fields.\n If no additional fields are available for extraction, a warning notice displays.\n\n Click the **Reference Raw Log** tab to view the raw log data and preview\n the UDM output.\n3. Click **Save**.\n\nThe newly created extractor is labeled as `EXTRACTOR`.\nExtracted fields are displayed in the UDM output as`extracted.field{\"fieldName\"}`.\n| **Note:** For certain low-volume log types, auto extraction is enabled by default, and all fields are extracted automatically. These log types aren't labeled with the `EXTRACTOR` tag. If you try to extract additional fields, the system displays a message indicating that all fields are already being extracted and no further selection is needed.\n\n### View extractor details\n\n1. Go to the extractor row in the **PARSERS** table and click more_vert **Menu** \\\u003e **Extend Parser** \\\u003e **View Extension**.\n2. On the **VIEW CUSTOM PARSERS** page, click the **Extensions and Extracted Fields** tab.\n\nThis tab displays information on parser extensions and extractor fields.\nYou can modify or remove fields and preview the parser output from the **VIEW CUSTOM PARSERS**\npage.\n\n**Need more help?** [Get answers from Community members and Google SecOps professionals.](https://security.googlecloudcommunity.com/google-security-operations-2)"]]
