Ce document explique comment les données sont extraites automatiquement pour améliorer la capacité d'ingestion, de traitement et d'analyse des données.
Google Security Operations utilise des analyseurs prédéfinis pour extraire et structurer les données de journaux à l'aide du schéma UDM (Unified Data Model). La gestion et la maintenance de ces analyseurs peuvent s'avérer difficiles en raison de plusieurs limites : extraction incomplète des données, nombre croissant d'analyseurs à gérer et nécessité de mises à jour fréquentes à mesure que les formats de journaux évoluent.
Pour relever ces défis, vous pouvez utiliser la fonctionnalité d'extraction automatique. Cette fonctionnalité extrait automatiquement les paires clé/valeur des journaux au format JSON et XML ingérés dans Google SecOps. Il est également compatible avec les journaux au format Syslog qui incluent un message JSON. Ces données extraites sont stockées dans un champ UDM de type map appelé extracted. Vous pouvez ensuite utiliser ces données dans les requêtes de recherche UDM, les tableaux de bord natifs et les règles YARA-L.
Bonne pratique : les recherches UDM utilisant des champs extraits doivent inclure metadata.log_type dans leur requête pour des performances de requête de recherche améliorées.
L'avantage de l'extraction automatique est qu'elle réduit la dépendance aux analyseurs, ce qui garantit que les données restent disponibles, même lorsqu'un analyseur est absent ou ne parvient pas à analyser un journal.
Analyser et extraire des données du journal brut
Analyse : Google SecOps tente d'analyser les journaux à l'aide d'un analyseur spécifique au type de journal, le cas échéant. Si aucun analyseur spécifique n'existe ou si l'analyse échoue, Google SecOps utilise un analyseur général pour extraire des informations de base telles que le code temporel d'ingestion, le type de journal et les libellés de métadonnées.
Extraction des données : tous les points de données sont automatiquement extraits des journaux.
Enrichissement des événements : Google SecOps combine les données analysées et tous les champs au format personnalisé pour créer des événements enrichis, ce qui fournit plus de contexte et de détails.
Transfert de données en aval : ces événements enrichis sont ensuite envoyés à d'autres systèmes pour une analyse et un traitement plus approfondis.
Utiliser des extracteurs
Les extracteurs vous permettent d'extraire des champs de sources de journaux à volume élevé. Ils sont conçus pour optimiser la gestion des journaux. En utilisant des extracteurs, vous pouvez réduire la taille des événements, améliorer l'efficacité de l'analyse et mieux contrôler l'extraction des données.
Cela est particulièrement utile pour gérer de nouveaux types de journaux ou minimiser le temps de traitement.
Vous pouvez créer des extracteurs à l'aide du menu Paramètres SIEM ou en effectuant une recherche de journaux bruts.
Créer des extracteurs
Accédez au volet Extraire des champs supplémentaires à l'aide de l'une des méthodes suivantes :
Cliquez sur Paramètres SIEM > Analyseurs, puis procédez comme suit :
Dans le tableau ANALYSERS qui s'affiche, identifiez un analyseur (source de journaux), puis cliquez sur more_vertMenu > Extend Parser > Extract Additional Fields.
Dans l'onglet ÉVÉNEMENTS des résultats de recherche UDM, sélectionnez une source de journaux pour afficher le volet Observateur d'événements.
Dans l'onglet Journal brut, cliquez sur Gérer l'analyseur > Étendre l'analyseur >
Extraire des champs supplémentaires.
Dans l'onglet Sélectionner des extracteurs du volet Extraire des champs supplémentaires, sélectionnez les champs de journaux bruts requis. Par défaut, vous pouvez sélectionner jusqu'à 100 champs.
Si aucun champ supplémentaire ne peut être extrait, un message d'avertissement s'affiche.
Cliquez sur l'onglet Journal brut de référence pour afficher les données brutes du journal et prévisualiser la sortie UDM.
Cliquez sur Enregistrer.
L'extracteur que vous venez de créer est intitulé EXTRACTOR.
Les champs extraits s'affichent dans le résultat UDM sous la forme extracted.field{"fieldName"}.
Afficher les détails de l'extracteur
Accédez à la ligne de l'extracteur dans le tableau ANALYSERS (ANALYSEURS), puis cliquez sur more_vertMenu > Extend Parser (Étendre l'analyseur) > View Extension (Afficher l'extension).
Sur la page AFFICHER LES ANALYSEURS PERSONNALISÉS, cliquez sur l'onglet Extensions et champs extraits.
Cet onglet affiche des informations sur les extensions d'analyseur et les champs d'extraction.
Vous pouvez modifier ou supprimer des champs, et prévisualiser le résultat de l'analyseur sur la page AFFICHER LES ANALYSEURS PERSONNALISÉS.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/04 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/04 (UTC)."],[[["\u003cp\u003eAuto extraction is a feature in Google SecOps that automatically extracts key-value pairs from JSON-formatted logs, storing them in a UDM map-type field called \u003ccode\u003eextracted\u003c/code\u003e.\u003c/p\u003e\n"],["\u003cp\u003eThis feature reduces reliance on prebuilt parsers and ensures data availability even when a specific parser is absent or fails.\u003c/p\u003e\n"],["\u003cp\u003eAuto extraction enhances the ability to ingest, process, and analyze data, which is then searchable through UDM queries, Preview Dashboards, and YARA-L rules.\u003c/p\u003e\n"],["\u003cp\u003eUDM searches using extracted fields should include \u003ccode\u003emetadata.log_type\u003c/code\u003e to optimize search query performance.\u003c/p\u003e\n"],["\u003cp\u003eThe process includes parsing logs, extracting data, enriching events with parsed and custom fields, and then transferring this data downstream for analysis.\u003c/p\u003e\n"]]],[],null,["# Auto Extraction overview\n========================\n\nSupported in: \nGoogle secops [SIEM](/chronicle/docs/secops/google-secops-siem-toc)\n| **Note:** This feature is covered by [Pre-GA Offerings Terms](https://chronicle.security/legal/service-terms/) of the Google Security Operations Service Specific Terms. Pre-GA features might have limited support, and changes to pre-GA features might not be compatible with other pre-GA versions. For more information, see the [Google SecOps Technical Support Service guidelines](https://chronicle.security/legal/technical-support-services-guidelines/) and the [Google SecOps Service Specific Terms](https://chronicle.security/legal/service-terms/).\n\nThis document provides an overview of how data is automatically extracted to\nenhance the ability to ingest, process, and analyze data.\n\nGoogle Security Operations uses [prebuilt parsers](/chronicle/docs/ingestion/parser-list/supported-default-parsers)\nto extract and structure log data using the Unified Data Model (UDM) schema. Managing and\nmaintaining these parsers can be challenging due to several limitations: incomplete\ndata extraction, the growing number of parsers to manage, and the requirement for\nfrequent updates as log formats evolve.\n\nTo address these challenges, you can use the auto extraction\nfeature. This feature automatically extracts key-value pairs from JSON-formatted\nand XML-formatted logs ingested into Google SecOps. It also supports Syslog-formatted\nlogs that include a JSON message. This extracted data is stored in a UDM, map-type\nfield called `extracted`. You can then use this data within UDM search queries,\n[Native Dashboards](/chronicle/docs/reports/native-dashboards), and YARA-L\nrules.\n\nAs a best practice, the UDM searches using extracted fields must include `metadata.log_type`\nin their query to improve search query performance.\n\nThe benefit of auto extraction is reduced reliance on parsers, ensuring that data\nremains available, even when a parser is not present or fails to parse a log.\n| **Note:** This feature is being rolled out in phases, so some eligible log sources may not yet show extracted fields.\n\nParse and extract data from the raw log\n---------------------------------------\n\n1. **Parsing**: Google SecOps attempts to parse logs using a parser\n specific to the log type, if available. If no specific parser exists, or if parsing\n fails, Google SecOps uses a general parser to extract basic information like\n ingested timestamp, log type, and metadata labels.\n\n2. **Data Extraction**: All data points are automatically extracted from the logs.\n\n3. **Event Enrichment**: Google SecOps combines the parsed data and any\n custom-formatted fields to create enriched events, providing more context and detail.\n\n4. **Downstream Data Transfer**: These enriched events are then sent to other\n systems for further analysis and processing.\n\nWork with extractors\n--------------------\n\nExtractors let you extract fields from high-volume log sources, and are designed\nto optimize log management. By using extractors, you can reduce event size,\nenhance parsing efficiency, and gain better control over data extraction.\nThis is especially useful for managing new log types or minimizing processing\ntime.\n\nYou can create extractors using the **SIEM Settings** menu or by performing a\nraw log search.\n\n### Create extractors\n\n1. Go to the **Extract Additional Fields** pane using either of the following\n methods:\n\n - Click **SIEM Settings** \\\u003e **Parsers** , and do the following:\n 1. In the **PARSERS** table that appears, identify a parser (log source) and click more_vert **Menu** \\\u003e **Extend Parser** \\\u003e **Extract Additional Fields**.\n - Use [Raw Log Scan](/chronicle/docs/investigation/search-raw-logs) and do the following:\n 1. Select the required log sources (parsers) from the **Log Sources** menu.\n 2. From the raw log results, select a log source to open the **EVENT DATA** pane.\n 3. In the **EVENT DATA** pane, click **Manage Parser** \\\u003e **Extend Parser** \\\u003e **Extract Additional Fields**.\n - Use [UDM search](/chronicle/docs/investigation/udm-search#access_search) and do the following:\n 1. On the **EVENTS** tab in the UDM search results, select a log source to view the **Event Viewer** pane.\n 2. On the **Raw Log** tab, click **Manage Parser** \\\u003e **Extend Parser** \\\u003e **Extract Additional Fields**.\n2. On the **Select Extractors** tab in the **Extract Additional fields** pane,\n select the required raw log fields. By default, you can select up to 100 fields.\n If no additional fields are available for extraction, a warning notice displays.\n\n Click the **Reference Raw Log** tab to view the raw log data and preview\n the UDM output.\n3. Click **Save**.\n\nThe newly created extractor is labeled as `EXTRACTOR`.\nExtracted fields are displayed in the UDM output as`extracted.field{\"fieldName\"}`.\n| **Note:** For certain low-volume log types, auto extraction is enabled by default, and all fields are extracted automatically. These log types aren't labeled with the `EXTRACTOR` tag. If you try to extract additional fields, the system displays a message indicating that all fields are already being extracted and no further selection is needed.\n\n### View extractor details\n\n1. Go to the extractor row in the **PARSERS** table and click more_vert **Menu** \\\u003e **Extend Parser** \\\u003e **View Extension**.\n2. On the **VIEW CUSTOM PARSERS** page, click the **Extensions and Extracted Fields** tab.\n\nThis tab displays information on parser extensions and extractor fields.\nYou can modify or remove fields and preview the parser output from the **VIEW CUSTOM PARSERS**\npage.\n\n**Need more help?** [Get answers from Community members and Google SecOps professionals.](https://security.googlecloudcommunity.com/google-security-operations-2)"]]
