Datadog 로그 수집

다음에서 지원:

Google SecOps SIEM

참고: 이 기능에는 Google Security Operations 서비스 특정 약관의 GA 이전 서비스 약관이 적용됩니다. GA 이전 기능에서 지원이 제한될 수 있으며 GA 이전 기능의 변경사항은 다른 GA 이전 버전과 호환되지 않을 수 있습니다. 자세한 내용은 Google Security Operations 기술 지원 서비스 가이드라인 및 Google Security Operations 서비스 특정 약관을 참조하세요.

개요

이 파서는 Datadog 로그에서 필드를 추출하고, 여러 변형 및 Grok 일치를 실행하여 데이터를 구조화하고, 추출된 필드를 UDM에 매핑합니다. 키-값 쌍 및 JSON 객체를 비롯하여 message 필드 내에서 다양한 로그 형식을 처리하고 특정 필드를 UDM 준수 라벨 및 추가 필드로 변환합니다.

시작하기 전에

참고: Google Cloud Storage 또는 Webhook을 사용하여 Datadog 로그를 Google SecOps에 공유할 수 있습니다.

• Google SecOps 인스턴스가 있는지 확인합니다.
• Google Cloud IAM에 대한 액세스 권한이 있는지 확인합니다.
• Google Cloud Storage에 대한 액세스 권한이 있는지 확인합니다.
• Datadog에 대한 logs_write_archive 사용자 액세스 권한이 있는지 확인합니다.

옵션 1: Cloud Storage 구성을 통한 Datadog 로그 공유

Google Cloud Platform과의 Datadog 통합 구성

• Datadog에서 Google Cloud Platform의 통합을 설정합니다. 자세한 내용은 Datadog Google Cloud 통합 설정을 참고하세요.

Google Cloud Storage 버킷 만들기

1. Google Cloud Console에 로그인합니다.

2. Cloud Storage 버킷 페이지로 이동합니다.

   버킷으로 이동

3. 만들기를 클릭합니다.

4. 버킷 만들기 페이지에서 버킷 정보를 입력합니다. 다음 단계를 완료할 때마다 계속을 클릭하여 다음 단계로 진행합니다.

   1. 시작하기 섹션에서 다음을 수행합니다.

      1. 버킷 이름 요구사항을 충족하는 고유한 이름을 입력합니다 (예: datadog-data).

      2. 계층적 네임스페이스를 사용 설정하려면 펼치기 화살표를 클릭하여 파일 지향 및 데이터 집약적인 워크로드에 최적화 섹션을 펼친 다음 이 버킷에서 계층적 네임스페이스 사용 설정을 선택합니다.

         참고: 기존 버킷에는 계층적 네임스페이스를 사용 설정할 수 없습니다.

      3. 버킷 라벨을 추가하려면 펼치기 화살표를 클릭하여 라벨 섹션을 펼칩니다.

      4. 라벨 추가를 클릭하고 라벨의 키와 값을 지정합니다.

   2. 데이터 저장 위치 선택 섹션에서 다음을 수행합니다.

      1. 위치 유형을 선택합니다.
      2. 위치 유형 드롭다운을 사용하여 버킷 내의 객체 데이터가 영구적으로 저장될 위치를 선택합니다.
         • 이중 리전 위치 유형을 선택하는 경우 관련 체크박스를 사용하여 터보 복제를 사용 설정할 수도 있습니다.
      3. 버킷 간 복제를 설정하려면 버킷 간 복제 설정 섹션을 펼칩니다.

   3. 데이터의 스토리지 클래스 선택 섹션에서 버킷의 기본 스토리지 클래스를 선택하거나, 버킷 데이터의 자동 스토리지 클래스 관리에 자동 클래스를 선택합니다.

   4. 객체 액세스를 제어하는 방식 선택 섹션에서 아니요를 선택하여 공개 액세스 방지를 적용하고 버킷의 객체에 대한 액세스 제어 모델을 선택합니다.

      참고: 프로젝트의 공개 액세스 방지가 프로젝트의 조직 정책에 의해 이미 시행된 경우 공개 액세스 방지 체크박스가 잠겨 있습니다.

   5. 객체 데이터 보호 방법 선택 섹션에서 다음을 수행합니다.

      1. 데이터 보호에서 버킷에 설정할 옵션을 선택합니다.
      2. 객체 데이터를 암호화하는 방법을 선택하려면 데이터 암호화라는 펼치기 화살표를 클릭하고 데이터 암호화 방법을 선택합니다.

5. 만들기를 클릭합니다.

참고: 제한 시간 초과 시 최신 데이터를 다시 작성해야 하므로 보관 정책을 추가하지 마세요.

Google Cloud 서비스 계정 만들기

1. IAM 및 관리자 > 서비스 계정으로 이동합니다.
2. 새 서비스 계정 만들기
3. 설명이 포함된 이름을 지정합니다 (예: datadog-user).
4. 이전 단계에서 만든 Cloud Storage 버킷에 대한 스토리지 객체 관리자 역할을 서비스 계정에 부여합니다.
5. 서비스 계정의 SSH 키를 만듭니다.
6. 서비스 계정의 JSON 키 파일을 다운로드합니다. 이 파일을 안전하게 보관하세요.

Cloud Storage로 로그를 전송하도록 Datadog 구성

1. 권한이 부여된 계정으로 Datadog에 로그인합니다.
2. 로그 > 로그 전달로 이동합니다.
3. + 새 보관 파일 만들기를 클릭합니다.
4. Google Cloud Storage를 선택합니다.
5. 필요한 매개변수를 입력하고 저장을 클릭합니다.

옵션 2: Webhook 구성을 통한 Datadog 로그 공유

Datadog 로그를 수집하도록 Google SecOps에서 피드 구성

1. SIEM 설정 > 피드로 이동합니다.
2. 새로 추가를 클릭합니다.
3. 피드 이름 필드에 피드 이름을 입력합니다 (예: Datadog Logs).
4. 소스 유형으로 Webhook을 선택합니다.
5. 로그 유형으로 Datadog을 선택합니다.
6. 다음을 클릭합니다.
7. 선택사항: 다음 입력 파라미터의 값을 지정합니다.
   • 분할 구분 기호: 로그 줄을 구분하는 데 사용되는 구분 기호입니다(예: \n).
   • 애셋 네임스페이스: 애셋 네임스페이스입니다.
   • 수집 라벨: 이 피드의 이벤트에 적용된 라벨입니다.
8. 다음을 클릭합니다.
9. 확정 화면에서 피드 구성을 검토한 다음 제출을 클릭합니다.
10. 보안 비밀 키 생성을 클릭하여 이 피드를 인증하기 위한 보안 비밀 키를 생성합니다.
11. 비밀 키를 복사하여 저장합니다. 이 보안 비밀 키는 다시 볼 수 없습니다. 필요한 경우 새 보안 비밀 키를 재생성할 수 있지만 이 작업을 하면 이전 보안 비밀 키는 더 이상 사용할 수 없게 됩니다.
12. 세부정보 탭의 엔드포인트 정보 필드에서 피드 엔드포인트 URL을 복사합니다. 클라이언트 애플리케이션에서 이 엔드포인트 URL을 지정해야 합니다.
13. 완료를 클릭합니다.

웹훅 피드에 대한 API 키 만들기

1. Google Cloud 콘솔 > 사용자 인증 정보로 이동합니다.

   사용자 인증 정보로 이동

2. 사용자 인증 정보 만들기를 클릭한 후 API 키를 선택합니다.

3. Chronicle API에 대한 API 키 액세스를 제한합니다.

엔드포인트 URL 지정

1. 클라이언트 애플리케이션에서 웹훅 피드에 제공된 HTTPS 엔드포인트 URL을 지정합니다.

2. 다음 형식의 커스텀 헤더의 일부로 API 키와 보안 비밀 키를 지정하여 인증을 사용 설정합니다.

   X-goog-api-key = API_KEY
   X-Webhook-Access-Key = SECRET
   

   권장사항: API 키를 URL에 지정하는 대신 헤더로 지정하세요.

3. 웹훅 클라이언트가 커스텀 헤더를 지원하지 않는 경우 다음 형식의 쿼리 매개변수를 사용하여 API 키와 보안 비밀 키를 지정할 수 있습니다.

   ENDPOINT_URL?key=API_KEY&secret=SECRET
   

   다음을 바꿉니다.

   • ENDPOINT_URL: 피드 엔드포인트 URL입니다.
   • API_KEY: Google SecOps에 인증하기 위한 API 키입니다.
   • SECRET: 피드를 인증하기 위해 생성한 보안 비밀 키입니다.

웹훅으로 로그를 전송하도록 Datadog 구성

1. 권한이 부여된 계정으로 Datadog에 로그인합니다.
2. 로그 > 로그 전달로 이동합니다.
3. 맞춤 대상을 선택합니다.
4. + 새 대상 만들기를 클릭합니다.
5. 다음 입력 매개변수의 값을 지정합니다.
   1. 대상 유형 선택: HTTP를 선택합니다.
   2. 대상 이름 지정: 웹훅을 설명하는 이름을 입력합니다 (예: Google SecOps Webhook).
   3. 대상 구성: ENDPOINT_URL을 입력한 다음 API_KEY 및 SECRET을 입력합니다.
   4. 인증 설정 구성: 다음과 같은 일반 헤더를 추가합니다. 이렇게 하면 HTTP 요청이 잘못 형성되지 않고 Datadog에서 웹훅 생성을 완료할 수 있습니다.
      • 헤더 이름: Accept.
      • 헤더 값: application/json.
   5. 저장을 클릭합니다.

참조 링크

• Cloud Storage에 로그 공유
• 로그를 웹훅으로 전달

UDM 매핑 표

로그 필드	UDM 매핑	논리
_id	read_only_udm.metadata.product_log_id	_id 필드에서 직접 매핑됩니다.
alert	read_only_udm.security_result.about.resource.attribute.labels	alert 필드에서 추출되어 security_result 객체 내에 라벨로 추가되었습니다.
attributes.@timestamp	read_only_udm.metadata.event_timestamp	이벤트 타임스탬프는 attributes.@timestamp 필드에서 추출되어 초 및 나노초로 변환됩니다.
attributes.@version	read_only_udm.metadata.product_version	attributes.@version 필드에서 직접 매핑됩니다.
attributes.level_value	read_only_udm.security_result.about.resource.attribute.labels	attributes.level_value 필드에서 추출되어 security_result 객체 내에 라벨로 추가되었습니다.
attributes.logger_name	read_only_udm.principal.application	attributes.logger_name 필드에서 직접 매핑됩니다.
attributes._trace.baggage._sli_service	read_only_udm.additional.fields	attributes._trace.baggage._sli_service 필드에서 직접 매핑되고 추가 필드로 추가됩니다.
attributes._trace.baggage.device_id	read_only_udm.principal.asset.asset_id	attributes._trace.baggage.device_id 필드에서 직접 매핑되며 '기기 ID:' 접두사가 붙습니다.
attributes._trace.origin.operation	read_only_udm.metadata.product_event_type	attributes._trace.origin.operation 필드에서 직접 매핑됩니다.
caller	read_only_udm.security_result.about.resource.attribute.labels	caller 필드에서 추출되어 security_result 객체 내에 라벨로 추가되었습니다.
component	read_only_udm.security_result.about.resource.attribute.labels	component 필드에서 추출되어 security_result 객체 내에 라벨로 추가되었습니다.
context.AlertName	read_only_udm.security_result.threat_name	context.AlertName 필드에서 직접 매핑됩니다.
context.BusArch	read_only_udm.security_result.about.resource.attribute.labels	context.BusArch 필드에서 추출되어 security_result 객체 내에 라벨로 추가되었습니다.
context.CANDBVersion	read_only_udm.security_result.about.resource.attribute.labels	context.CANDBVersion 필드에서 추출되어 security_result 객체 내에 라벨로 추가되었습니다.
context.esn	read_only_udm.security_result.about.resource.attribute.labels	context.esn 필드에서 추출되어 security_result 객체 내에 라벨로 추가되었습니다.
context.ftcpVersion	read_only_udm.security_result.about.resource.attribute.labels	context.ftcpVersion 필드에서 추출되어 security_result 객체 내에 라벨로 추가되었습니다.
context.ingestMessageId	read_only_udm.security_result.about.resource.attribute.labels	context.ingestMessageId 필드에서 추출되어 security_result 객체 내에 라벨로 추가되었습니다.
context.redactedVin	read_only_udm.security_result.about.resource.attribute.labels	context.redactedVin 필드에서 추출되어 security_result 객체 내에 라벨로 추가되었습니다.
context.vehicleId	read_only_udm.security_result.about.resource.attribute.labels	context.vehicleId 필드에서 추출되어 security_result 객체 내에 라벨로 추가되었습니다.
date	read_only_udm.metadata.collected_timestamp	수집된 타임스탬프는 date 필드 (파서에서 date1로 이름이 변경됨)에서 추출되고 초 및 나노초로 변환됩니다.
host	read_only_udm.principal.hostname	host 필드에서 직접 매핑됩니다.
message	read_only_udm.security_result.about.resource.attribute.labels	message 필드가 파싱되고 일부는 summary 및 json_data 필드를 채우는 데 사용됩니다. 나머지 부분은 키-값 쌍으로 처리되어 security_result 객체 내에 라벨로 추가됩니다.
msg	read_only_udm.security_result.about.resource.attribute.labels	msg 필드에서 추출되어 security_result 객체 내에 라벨로 추가되었습니다.
service	read_only_udm.metadata.product_name	service 필드에서 직접 매핑됩니다.
status	read_only_udm.security_result.severity	심각도는 status 필드를 기준으로 결정됩니다. 'INFO', 'DEBUG', 'debug', 'info'는 'LOW'에 매핑되고, 'WARN'은 'MEDIUM'에 매핑되며, 다른 값은 제공된 코드 스니펫에 명시적으로 매핑되지 않습니다.
tags	read_only_udm.additional.fields	tags 배열의 각 태그는 키-값 쌍으로 파싱되고 추가 필드로 추가됩니다.
해당 사항 없음	read_only_udm.metadata.event_type	host 필드가 있는 경우 'STATUS_UPDATE'로, 그렇지 않은 경우에는 'GENERIC_EVENT'로 설정합니다.

변경사항

2023-07-21

• 파서가 생성되었습니다.