이 문서에서는 데이터 수집, 처리, 분석 기능을 개선하기 위해 데이터가 자동으로 추출되는 방식을 간략하게 설명합니다.
Google Security Operations는 사전 빌드된 파서를 사용하여 통합 데이터 모델 (UDM) 스키마를 통해 로그 데이터를 추출하고 구조화합니다. 이러한 파서를 관리하고 유지하는 것은 데이터 추출이 불완전하고 관리해야 하는 파서 수가 증가하며 로그 형식이 진화함에 따라 자주 업데이트해야 한다는 여러 제한사항으로 인해 어려울 수 있습니다.
이러한 문제를 해결하려면 자동 추출 기능을 사용하면 됩니다. 이 기능은 Google SecOps에 수집된 JSON 형식 및 XML 형식 로그에서 키-값 쌍을 자동으로 추출합니다. 또한 JSON 메시지가 포함된 Syslog 형식 로그도 지원합니다. 추출된 이 데이터는 extracted라는 UDM, map-type 필드에 저장됩니다. 그런 다음 UDM 검색 쿼리, 기본 대시보드, YARA-L 규칙 내에서 이 데이터를 사용할 수 있습니다.
권장사항에 따라 추출된 필드를 사용하는 UDM 검색은 검색어 성능을 개선하기 위해 쿼리에 metadata.log_type을 포함해야 합니다.
자동 추출의 이점은 파서에 대한 의존도를 줄여 파서가 없거나 로그 파싱에 실패하는 경우에도 데이터를 계속 사용할 수 있다는 것입니다.
원시 로그에서 데이터 파싱 및 추출
파싱: Google SecOps는 사용 가능한 경우 로그 유형에 특화된 파서를 사용하여 로그를 파싱하려고 시도합니다. 특정 파서가 없거나 파싱이 실패하면 Google SecOps에서 일반 파서를 사용하여 수집된 타임스탬프, 로그 유형, 메타데이터 라벨과 같은 기본 정보를 추출합니다.
데이터 추출: 모든 데이터 포인트가 로그에서 자동으로 추출됩니다.
이벤트 보강: Google SecOps는 파싱된 데이터와 맞춤 형식 필드를 결합하여 보강된 이벤트를 생성하여 더 많은 컨텍스트와 세부정보를 제공합니다.
다운스트림 데이터 전송: 이러한 풍부한 이벤트는 추가 분석 및 처리를 위해 다른 시스템으로 전송됩니다.
추출기 사용
추출기를 사용하면 대용량 로그 소스에서 필드를 추출할 수 있으며 로그 관리를 최적화하도록 설계되었습니다. 추출기를 사용하면 이벤트 크기를 줄이고, 파싱 효율성을 높이며, 데이터 추출을 더 효과적으로 제어할 수 있습니다.
이는 특히 새 로그 유형을 관리하거나 처리 시간을 최소화하는 데 유용합니다.
[[["이해하기 쉬움","easyToUnderstand","thumb-up"],["문제가 해결됨","solvedMyProblem","thumb-up"],["기타","otherUp","thumb-up"]],[["이해하기 어려움","hardToUnderstand","thumb-down"],["잘못된 정보 또는 샘플 코드","incorrectInformationOrSampleCode","thumb-down"],["필요한 정보/샘플이 없음","missingTheInformationSamplesINeed","thumb-down"],["번역 문제","translationIssue","thumb-down"],["기타","otherDown","thumb-down"]],["최종 업데이트: 2025-09-04(UTC)"],[[["\u003cp\u003eAuto extraction is a feature in Google SecOps that automatically extracts key-value pairs from JSON-formatted logs, storing them in a UDM map-type field called \u003ccode\u003eextracted\u003c/code\u003e.\u003c/p\u003e\n"],["\u003cp\u003eThis feature reduces reliance on prebuilt parsers and ensures data availability even when a specific parser is absent or fails.\u003c/p\u003e\n"],["\u003cp\u003eAuto extraction enhances the ability to ingest, process, and analyze data, which is then searchable through UDM queries, Preview Dashboards, and YARA-L rules.\u003c/p\u003e\n"],["\u003cp\u003eUDM searches using extracted fields should include \u003ccode\u003emetadata.log_type\u003c/code\u003e to optimize search query performance.\u003c/p\u003e\n"],["\u003cp\u003eThe process includes parsing logs, extracting data, enriching events with parsed and custom fields, and then transferring this data downstream for analysis.\u003c/p\u003e\n"]]],[],null,["# Auto Extraction overview\n========================\n\nSupported in: \nGoogle secops [SIEM](/chronicle/docs/secops/google-secops-siem-toc)\n| **Note:** This feature is covered by [Pre-GA Offerings Terms](https://chronicle.security/legal/service-terms/) of the Google Security Operations Service Specific Terms. Pre-GA features might have limited support, and changes to pre-GA features might not be compatible with other pre-GA versions. For more information, see the [Google SecOps Technical Support Service guidelines](https://chronicle.security/legal/technical-support-services-guidelines/) and the [Google SecOps Service Specific Terms](https://chronicle.security/legal/service-terms/).\n\nThis document provides an overview of how data is automatically extracted to\nenhance the ability to ingest, process, and analyze data.\n\nGoogle Security Operations uses [prebuilt parsers](/chronicle/docs/ingestion/parser-list/supported-default-parsers)\nto extract and structure log data using the Unified Data Model (UDM) schema. Managing and\nmaintaining these parsers can be challenging due to several limitations: incomplete\ndata extraction, the growing number of parsers to manage, and the requirement for\nfrequent updates as log formats evolve.\n\nTo address these challenges, you can use the auto extraction\nfeature. This feature automatically extracts key-value pairs from JSON-formatted\nand XML-formatted logs ingested into Google SecOps. It also supports Syslog-formatted\nlogs that include a JSON message. This extracted data is stored in a UDM, map-type\nfield called `extracted`. You can then use this data within UDM search queries,\n[Native Dashboards](/chronicle/docs/reports/native-dashboards), and YARA-L\nrules.\n\nAs a best practice, the UDM searches using extracted fields must include `metadata.log_type`\nin their query to improve search query performance.\n\nThe benefit of auto extraction is reduced reliance on parsers, ensuring that data\nremains available, even when a parser is not present or fails to parse a log.\n| **Note:** This feature is being rolled out in phases, so some eligible log sources may not yet show extracted fields.\n\nParse and extract data from the raw log\n---------------------------------------\n\n1. **Parsing**: Google SecOps attempts to parse logs using a parser\n specific to the log type, if available. If no specific parser exists, or if parsing\n fails, Google SecOps uses a general parser to extract basic information like\n ingested timestamp, log type, and metadata labels.\n\n2. **Data Extraction**: All data points are automatically extracted from the logs.\n\n3. **Event Enrichment**: Google SecOps combines the parsed data and any\n custom-formatted fields to create enriched events, providing more context and detail.\n\n4. **Downstream Data Transfer**: These enriched events are then sent to other\n systems for further analysis and processing.\n\nWork with extractors\n--------------------\n\nExtractors let you extract fields from high-volume log sources, and are designed\nto optimize log management. By using extractors, you can reduce event size,\nenhance parsing efficiency, and gain better control over data extraction.\nThis is especially useful for managing new log types or minimizing processing\ntime.\n\nYou can create extractors using the **SIEM Settings** menu or by performing a\nraw log search.\n\n### Create extractors\n\n1. Go to the **Extract Additional Fields** pane using either of the following\n methods:\n\n - Click **SIEM Settings** \\\u003e **Parsers** , and do the following:\n 1. In the **PARSERS** table that appears, identify a parser (log source) and click more_vert **Menu** \\\u003e **Extend Parser** \\\u003e **Extract Additional Fields**.\n - Use [Raw Log Scan](/chronicle/docs/investigation/search-raw-logs) and do the following:\n 1. Select the required log sources (parsers) from the **Log Sources** menu.\n 2. From the raw log results, select a log source to open the **EVENT DATA** pane.\n 3. In the **EVENT DATA** pane, click **Manage Parser** \\\u003e **Extend Parser** \\\u003e **Extract Additional Fields**.\n - Use [UDM search](/chronicle/docs/investigation/udm-search#access_search) and do the following:\n 1. On the **EVENTS** tab in the UDM search results, select a log source to view the **Event Viewer** pane.\n 2. On the **Raw Log** tab, click **Manage Parser** \\\u003e **Extend Parser** \\\u003e **Extract Additional Fields**.\n2. On the **Select Extractors** tab in the **Extract Additional fields** pane,\n select the required raw log fields. By default, you can select up to 100 fields.\n If no additional fields are available for extraction, a warning notice displays.\n\n Click the **Reference Raw Log** tab to view the raw log data and preview\n the UDM output.\n3. Click **Save**.\n\nThe newly created extractor is labeled as `EXTRACTOR`.\nExtracted fields are displayed in the UDM output as`extracted.field{\"fieldName\"}`.\n| **Note:** For certain low-volume log types, auto extraction is enabled by default, and all fields are extracted automatically. These log types aren't labeled with the `EXTRACTOR` tag. If you try to extract additional fields, the system displays a message indicating that all fields are already being extracted and no further selection is needed.\n\n### View extractor details\n\n1. Go to the extractor row in the **PARSERS** table and click more_vert **Menu** \\\u003e **Extend Parser** \\\u003e **View Extension**.\n2. On the **VIEW CUSTOM PARSERS** page, click the **Extensions and Extracted Fields** tab.\n\nThis tab displays information on parser extensions and extractor fields.\nYou can modify or remove fields and preview the parser output from the **VIEW CUSTOM PARSERS**\npage.\n\n**Need more help?** [Get answers from Community members and Google SecOps professionals.](https://security.googlecloudcommunity.com/google-security-operations-2)"]]
