자동 추출 개요

다음에서 지원:

Google secops Siem

참고: 이 기능에는 Google Security Operations 서비스 특정 약관의 GA 이전 서비스 약관이 적용됩니다. GA 이전 기능에서 지원이 제한될 수 있으며 GA 이전 기능의 변경사항은 다른 GA 이전 버전과 호환되지 않을 수 있습니다. 자세한 내용은 Google SecOps 기술 지원 서비스 가이드라인 및 Google SecOps 서비스 특정 약관을 참고하세요.

이 문서에서는 데이터를 자동으로 추출하여 데이터를 처리, 분석하는 기능을 향상시키는 방법을 간략하게 설명합니다.

Google Security Operations는 사전 빌드된 파서를 사용하여 통합 데이터 모델 (UDM) 스키마를 사용하여 로그 데이터를 추출하고 구성합니다. 이러한 파서를 관리하고 유지하는 것은 불완전한 데이터 추출, 관리해야 할 파서의 증가, 로그 형식이 진화함에 따라 자주 업데이트해야 하는 요구사항 등 여러 가지 제한사항으로 인해 어려울 수 있습니다.

이러한 문제를 해결하려면 자동 추출 기능을 사용하세요. 이 기능은 Google SecOps로 처리된 JSON 형식 로그에서 키-값 쌍을 자동으로 추출합니다. JSON 메시지가 포함된 Syslog 형식 로그도 지원합니다. 추출된 데이터는 extracted라는 UDM 맵 유형 필드에 저장됩니다. 그런 다음 UDM 검색 쿼리, 네이티브 대시보드, YARA-L 규칙 내에서 이 데이터를 사용할 수 있습니다.

권장사항에 따라 추출된 필드를 사용하는 UDM 검색은 검색어 성능을 개선하기 위해 쿼리에 metadata.log_type를 포함해야 합니다.

자동 추출의 이점은 파서에 대한 의존도가 줄어들어 파서가 없거나 로그를 파싱하지 못하는 경우에도 데이터를 계속 사용할 수 있다는 것입니다.

참고: 이 기능은 단계적으로 출시되므로 요건을 충족하는 일부 로그 소스에는 아직 추출된 필드가 표시되지 않을 수 있습니다.

원시 로그에서 데이터 파싱 및 추출

1. 파싱: Google SecOps는 가능한 경우 로그 유형별 파서를 사용하여 로그를 파싱하려고 시도합니다. 특정 파서가 없거나 파싱에 실패하면 Google SecOps는 일반 파서를 사용하여 처리된 타임스탬프, 로그 유형, 메타데이터 라벨과 같은 기본 정보를 추출합니다.

2. 데이터 추출: 모든 데이터 포인트가 로그에서 자동으로 추출됩니다.

3. 이벤트 보강: Google SecOps는 파싱된 데이터와 맞춤 형식의 필드를 결합하여 보강된 이벤트를 만들어 더 많은 맥락과 세부정보를 제공합니다.

4. 다운스트림 데이터 전송: 그런 다음 이러한 보강된 이벤트는 추가 분석 및 처리를 위해 다른 시스템으로 전송됩니다.

추출기 사용

추출기를 사용하면 대용량 로그 소스에서 필드를 추출할 수 있으며 로그 관리를 최적화하도록 설계되었습니다. 추출기를 사용하면 이벤트 크기를 줄이고 파싱 효율성을 개선하며 데이터 추출을 더 효과적으로 관리할 수 있습니다. 이는 특히 새 로그 유형을 관리하거나 처리 시간을 최소화하는 데 유용합니다.

SIEM 설정 메뉴를 사용하거나 원시 로그 검색을 실행하여 추출 도구를 만들 수 있습니다.

추출기 만들기

1. 다음 방법 중 하나를 사용하여 추가 필드 추출 창으로 이동합니다.

   • SIEM 설정 > 파서를 클릭하고 다음을 실행합니다.
     1. 표시되는 PARSERS 표에서 파서(로그 소스)를 식별하고 메뉴 > Extend Parser(파서 확장) > Extract Additional Fields(추가 필드 추출)를 클릭합니다.
   • 원시 로그 스캔을 사용하고 다음을 실행합니다.
     1. 로그 소스 메뉴에서 필요한 로그 소스 (파서)를 선택합니다.
     2. 원시 로그 결과에서 로그 소스를 선택하여 이벤트 데이터 창을 엽니다.
     3. 이벤트 데이터 창에서 파서 관리 > 파서 확장 > 추가 필드 추출을 클릭합니다.
   • UDM 검색을 사용하고 다음을 실행합니다.
     1. UDM 검색 결과의 이벤트 탭에서 로그 소스를 선택하여 이벤트 뷰어 창을 봅니다.
     2. 원시 로그 탭에서 파서 관리 > 파서 확장 > 추가 필드 추출을 클릭합니다.

2. 추가 필드 추출 창의 추출기 선택 탭에서 필요한 원시 로그 필드를 선택합니다. 기본적으로 필드는 최대 100개까지 선택할 수 있습니다. 추출할 추가 필드가 없는 경우 경고 알림이 표시됩니다.

   Reference Raw Log(원시 로그 참조) 탭을 클릭하여 원시 로그 데이터를 확인하고 UDM 출력을 미리 봅니다.

3. 저장을 클릭합니다.

새로 생성된 추출기는 EXTRACTOR로 라벨이 지정됩니다. 추출된 필드는 UDM 출력에 extracted.field{"fieldName"}로 표시됩니다.

참고: 특정 소량 로그 유형의 경우 자동 추출이 기본적으로 사용 설정되며 모든 필드가 자동으로 추출됩니다. 이러한 로그 유형에는 EXTRACTOR 태그가 지정되지 않습니다. 필드를 추가로 추출하려고 하면 모든 필드가 이미 추출되고 있으며 더 이상 선택할 필요가 없다는 메시지가 표시됩니다.

추출기 세부정보 보기

1. PARSERS 테이블의 추출기 행으로 이동하여 메뉴 > 파서 확장 > 확장 프로그램 보기를 클릭합니다.
2. 맞춤 파서 보기 페이지에서 확장 프로그램 및 추출된 필드 탭을 클릭합니다.

이 탭에는 파서 확장 프로그램 및 추출기 필드에 관한 정보가 표시됩니다. 커스텀 파서 보기 페이지에서 필드를 수정하거나 삭제하고 파서 출력을 미리 볼 수 있습니다.

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가의 답변을 받아 보세요.