전달자 구성 파일 수동 관리

다음에서 지원:

이 페이지에서는 Google Security Operations 전달자 구성 파일을 수동으로 만들고 수정하는 방법을 설명합니다. UI를 통해 전달자를 구성하려면 (권장) Google SecOps UI를 통해 전달자 구성 관리를 참고하세요.

배포된 각 Google SecOps 전달자에는 전달자 구성 파일이 필요합니다. 전달자 구성 파일은 데이터를 Google SecOps 인스턴스로 전송하는 설정을 지정합니다.

Google SecOps 전달자를 설치하고 구성하는 방법, 시스템 요구사항, 구성 설정에 관한 자세한 내용은 전달자 설치 및 구성을 참고하세요.

시작하기 전에

구성 파일을 만들기 전에 처리할 수 있는 데이터 유형과 구성 파일 내에 정의해야 하는 주요 속성을 파악하여 구현을 계획합니다.

구성 파일 만들기

구성 파일을 수동으로 만들려면 다음 단계를 따르세요.

  1. UI를 통해 구성 파일을 다운로드합니다.

  2. 다음 이름 지정 규칙에 따라 두 파일을 같은 디렉터리에 저장합니다.

    FORWARDER_NAME.conf - 이 파일을 사용하여 로그 수집과 관련된 구성 설정을 정의합니다.

    FORWARDER_NAME_auth.conf - 이 파일을 사용하여 승인 사용자 인증 정보를 정의합니다.

  3. 전달자 인스턴스의 구성이 포함되도록 파일을 수정합니다.

    Splunk 또는 Syslog와 같은 각 유형의 처리 메커니즘 설정에 관한 자세한 내용은 구성 파일에서 데이터 유형 정의를 참고하세요. 데이터 압축 또는 디스크 버퍼링과 같은 각 속성 맞춤설정에 관한 자세한 내용은 구성 파일에서 키 속성 구성을 참고하세요.

  4. 입력에 해당하는 인증 세부정보가 없더라도 FORWARDER_NAME_auth.conf 파일의 각 입력에 항목이 존재해야 합니다. 이는 데이터를 올바르게 매핑하는 데 필요합니다.

구성 파일의 모든 변경사항은 5분 이내에 전달자에 의해 자동으로 적용됩니다.

샘플 구성

다음 구성 파일을 템플릿으로 참조하여 나만의 구성 파일을 만들 수 있습니다.

파일 샘플 구성 2개

이 두 파일 시스템은 보안 강화를 위해 인증 사용자 인증 정보를 별도의 파일에 저장합니다. FORWARDER_NAME.conf 파일을 버전 제어 저장소 또는 모든 공개 구성 관리 시스템에 저장할 수 있습니다. 전달자가 실행되는 물리적 또는 가상 머신에 FORWARDER_NAME_auth.conf 파일을 직접 저장할 수 있습니다.

다음 코드 샘플은 전달자의 구성 파일 형식을 보여줍니다.

FORWARDER_NAME.conf 파일

output:
  url: malachiteingestion-pa.googleapis.com:443
  identity:
    identity:
    collector_id: COLLECTOR_ID \
    customer_id: CUSTOMER_ID \

collectors:
  - syslog:
      common:
        enabled: true
        data_type: "WINDOWS_DHCP"
        data_hint:
        batch_n_seconds: 10
        batch_n_bytes: 1048576
      tcp_address: 0.0.0.0:10514
      udp_address: 0.0.0.0:10514
      connection_timeout_sec: 60
      tcp_buffer_size: 524288
  - syslog:
      common:
        enabled: true
        data_type: "WINDOWS_DNS"
        data_hint:
        batch_n_seconds: 10
        batch_n_bytes: 1048576
      tcp_address: 0.0.0.0:10515
      connection_timeout_sec: 60
      tcp_buffer_size: 524288

FORWARDER_NAME_auth.conf 파일

output:
  identity:
    secret_key: |
      {
        "type": "service_account",
        "project_id": "PROJECT_ID" \,
        "private_key_id": "PRIVATE_KEY_ID" \,
        "private_key": "-----BEGIN PRIVATE KEY-----\\"PRIVATE_KEY" \n-----END PRIVATE KEY-----\n",
        "client_email": "CLIENT_EMAIL" \,
        "client_id": "CLIENT_ID" \,
        "auth_uri": "https://accounts.google.com/o/oauth2/auth",
        "token_uri": "https://oauth2.googleapis.com/token",
        "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
        "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/example-account-1%40example-account.iam.gserviceaccount.com"
      }

collectors:
  - syslog:
  - syslog:
      certificate: "../forwarder/inputs/testdata/localhost.pem"
      certificate_key: "../forwarder/inputs/testdata/localhost.key"

단일 파일 샘플 구성

output:
  url: malachiteingestion-pa.googleapis.com:443
  identity:
    identity:
    collector_id: "COLLECTOR_ID" \
    customer_id: "CUSTOMER_ID" \
    secret_key: |
      {
        "type": "service_account",
        "project_id": "PROJECT_ID" \,
        "private_key_id": "PRIVATE_KEY_ID" \,
        "private_key": "-----BEGIN PRIVATE KEY-----\ "PRIVATE_KEY" \n-----END PRIVATE KEY-----\n",
        "client_email": "CLIENT_EMAIL" \,
        "client_id": "CLIENT_ID" \,
        "auth_uri": "https://accounts.google.com/o/oauth2/auth",
        "token_uri": "https://oauth2.googleapis.com/token",
        "auth_provider_x509_cert_url": "https://www.googleapis.com/oauth2/v1/certs",
        "client_x509_cert_url": "https://www.googleapis.com/robot/v1/metadata/x509/malachite-test-1%40malachite-test.iam.gserviceaccount.com"
      }

collectors:
  - syslog:
      common:
        enabled: true
        data_type: "WINDOWS_DHCP"
        data_hint:
        batch_n_seconds: 10
        batch_n_bytes: 1048576
      tcp_address: 0.0.0.0:10514
      udp_address: 0.0.0.0:10514
      connection_timeout_sec: 60
      tcp_buffer_size: 524288
  - syslog:
      common:
        enabled: true
        data_type: "WINDOWS_DNS"
        data_hint:
        batch_n_seconds: 10
        batch_n_bytes: 1048576
      tcp_address: 0.0.0.0:10515
      connection_timeout_sec: 60
      certificate: "../forwarder/inputs/testdata/localhost.pem"
      certificate_key: "../forwarder/inputs/testdata/localhost.key"
      tcp_buffer_size: 524288

단일 파일에서 두 파일 시스템으로 변환

단일 구성 파일을 사용 중이고 두 파일 시스템으로 이전하려는 경우 다음을 수행합니다.

  1. 기존 구성 파일의 사본을 만듭니다.

  2. 한 파일을 FORWARDER_NAME.conf 파일로 저장하고 파일에서 승인 사용자 인증 정보를 삭제합니다.

  3. 다른 파일을 FORWARDER_NAME_auth.conf 파일로 저장하고 파일에서 승인되지 않은 모든 데이터를 삭제합니다. 샘플 구성을 참고로 사용할 수 있습니다. 구성 맞춤설정 섹션에 설명된 이름 지정 규칙과 기타 가이드라인을 따라야 합니다.

구성 파일에서 데이터 유형 정의

다음 섹션에서는 Google SecOps 인스턴스로 전달되는 여러 유형의 데이터를 수집하도록 Google SecOps 전달자를 구성하는 방법을 설명합니다.

Splunk 데이터

Google SecOps 전달자를 구성하여 Splunk 데이터를 Google SecOps로 전달할 수 있습니다. Google Cloud는 Splunk의 데이터가 전달되도록 다음 정보를 사용하여 Google SecOps 전달자를 구성합니다.

  • Splunk REST API의 URL (예: https://10.0.113.15:8089).

  • 필요한 각 데이터 유형에 대해 데이터를 생성하기 위한 Splunk 쿼리(예: index=dns).

FORWARDER_NAME.conf
output:
collectors:
  - splunk:
      common:
        enabled: true
        data_type: WINDOWS_DNS
        data_hint: "#fields ts      uid     id.orig_h       id.orig_p       id.resp_h         id.resp_p       proto   trans_id        query   qclass  qclass_name"
        batch_n_seconds: 10
        batch_n_bytes: 819200
      url: https://127.0.0.1:8089
      is_ignore_cert: true
      minimum_window_size: 10s
      maximum_window_size: 30s
      query_string: search index=* sourcetype=dns
      query_mode: realtime
  • Google SecOps 전달자에 Splunk 계정 사용자 인증 정보를 사용할 수 있도록 설정합니다. 이를 위해서는 creds.txt 파일을 만들면 됩니다.

creds.txt 파일을 사용하려면 다음 안내를 따르세요.

  1. Splunk 사용자 인증 정보에 대한 로컬 파일을 만들고 이름을 creds.txt로 지정합니다.

  2. 첫 번째 줄에 사용자 이름을 입력하고 두 번째 줄에 비밀번호를 입력합니다.

    cat creds.txt

myusername
mypassword

  3. Google SecOps 전달자를 사용하여 Splunk 인스턴스에 액세스하려면 creds.txt 파일을 구성 디렉터리 (구성 파일이 있는 디렉터리)에 복사합니다.

    Linux

    cp creds.txt /opt/chronicle/config/creds.txt

    Windows

    cp creds.txt c:/opt/chronicle/config/creds.txt

  4. creds.txt 파일이 원하는 디렉터리에 있는지 확인합니다.

    Linux

      ls /opt/chronicle/config

    Windows

    ls c:/opt/chronicle/config

Syslog 데이터

전달자는 시스템로그 서버로 작동할 수 있습니다. 데이터가 Google SecOps 전달자에 전달되도록 TCP 또는 UDP 연결을 통한 syslog 데이터 전송을 지원하는 서버를 구성할 수 있습니다. 서버가 전달자에게 전송하는 데이터를 제어할 수 있으며 전달자는 데이터를 Google SecOps로 전달할 수 있습니다.

FORWARDER_NAME.conf 구성 파일(Google Cloud에서 제공)은 전달되는 각 데이터 유형에 대해 모니터링할 포트(예: 포트 10514)를 지정합니다. 기본적으로 Google SecOps 전달자는 TCP 및 UDP 연결을 모두 허용합니다.

TCP 버퍼 크기를 맞춤설정할 수 있습니다. 기본 TCP 버퍼 크기는 64KB입니다. connection_timeout의 기본값 및 권장값은 60초입니다. 연결이 60초 이상 비활성 상태이면 TCP 연결이 종료됩니다.

rsyslog 구성

rsyslog를 구성하려면 각 포트의 대상(예: 각 데이터 유형)을 지정해야 합니다. 다음 예에서는 rsyslog 대상 구성을 보여줍니다.

  • TCP 로그 트래픽: dns.* @@192.168.0.12:10514

  • UDP 로그 트래픽: dns.* @192.168.0.12:10514

자세한 내용은 시스템 문서를 참고하세요.

Syslog 구성에 TLS 사용 설정

Google SecOps 전달자에 대한 Syslog 연결에 TLS를 사용 설정할 수 있습니다. 전달자 구성 파일(FORWARDER_NAME.conf)에서 다음 예와 같이 직접 생성한 인증서와 인증서 키의 위치를 지정합니다. configuration 디렉터리 아래에 certs 디렉터리를 만들고 여기에 인증서 파일을 저장할 수 있습니다.

Linux:

자격증 /opt/chronicle/external/certs/client_generated_cert.pem
certificate_key /opt/chronicle/external/certs/client_generated_cert.key

Windows:

자격증 c:/opt/chronicle/external/certs/client_generated_cert.pem
certificate_key c:/opt/chronicle/external/certs/client_generated_cert.key

표시된 예시에 따라 전달자 구성 파일 (FORWARDER_NAME.conf)을 다음과 같이 수정합니다.

Linux:

 collectors:
- syslog:
   common:
     enabled: true
     data_type: WINDOWS_DNS
     data_hint:
     batch_n_seconds: 10
     batch_n_bytes: 1048576
   tcp_address: 0.0.0.0:10515
   tcp_buffer_size: 65536
   connection_timeout_sec: 60
   certificate: "/opt/chronicle/external/certs/client_generated_cert.pem"
   certificate_key: "/opt/chronicle/external/certs/client_generated_cert.key"
   minimum_tls_version: "TLSv1_3"

Windows:

  collectors:
- syslog:
    common:
      enabled: true
      data_type: WINDOWS_DNS
      data_hint:
      batch_n_seconds: 10
      batch_n_bytes: 1048576
    tcp_address: 0.0.0.0:10515
    tcp_buffer_size: 65536
    connection_timeout_sec: 60
    certificate: "c:/opt/chronicle/external/certs/client_generated_cert.pem"
    certificate_key: "c:/opt/chronicle/external/certs/client_generated_cert.key"
    minimum_tls_version: "TLSv1_3"

입력 요청의 TLS 버전이 최소 TLS 버전보다 커야 합니다. 최소 TLS 버전은 TLSv1_0, TLSv1_1, TLSv1_2, TLSv1_3 값 중 하나여야 합니다.

파일 데이터

파일 수집기는 Docker 컨테이너에 바인딩된 파일에서 로그를 가져오도록 설계되었습니다. 단일 로그 파일에서 수동으로 로그를 업로드하려면 이를 사용합니다.

Docker 컨테이너에서 Google SecOps 전달자를 시작하여 로드 볼륨을 컨테이너에 매핑합니다.

Linux

     docker run 

       --detach 

       --name cfps 

       --log-opt max-size=100m 

       --log-opt max-file=10 

       --net=host 

       -v /opt/chronicle/config:/opt/chronicle/external 

       -v /var/log/crowdstrike/falconhostclient:/opt/chronicle/edr 

       gcr.io/chronicle-container/cf_production_stable

Windows

  docker run `
    --name cfps `
    --log-opt max-size=100m `
    --log-opt max-file=10 `
    -p 10514:10514 `
    -v c:/opt/chronicle/config:c:/opt/chronicle/external `
    -v c:/var/log/crowdstrike/falconhostclient:c:/opt/chronicle/edr `
     gcr.io/chronicle-container/cf_production_stable_windows

여러 옵션 또는 여러 범위를 사용하여 여러 포트를 추가할 수 있습니다. 예를 들면 -p 3001:3000 -p 2023:2022 또는 -p 7000-8000:7000-8000입니다. 샘플 코드에 제공된 포트 번호는 예시입니다. 요구사항에 따라 포트 번호를 바꿉니다.

이 예시를 기반으로 Google SecOps 전달자 구성 (FORWARDER_NAME.conf 파일)을 다음과 같이 수정할 수 있습니다.

Linux

collectors:
 - file:
      common:
        enabled: true
        data_type: CS_EDR
        data_hint:
        batch_n_seconds: 10
        batch_n_bytes: 1048576
      file_path: /opt/chronicle/edr/sample.txt
      filter:

Windows

 collectors:
  - file:
       common:
         enabled: true
         data_type: CS_EDR
         data_hint:
         batch_n_seconds: 10
         batch_n_bytes: 1048576
       file_path: c:/opt/chronicle/edr/sample.txt
       filter:

sample.txt 파일이 /var/log/crowdstrike/falconhostclient 폴더에 있어야 합니다.

플래그 구성

skip_seek_to_end(부울): 이 플래그는 기본적으로 false로 설정되며 파일 입력에서 입력으로 새 로그 줄만 보냅니다. true로 설정하면 전달자 재시작 중에 모든 이전 로그 줄이 다시 전송됩니다. 이로 인해 로그 중복이 발생합니다. 이 플래그를 true로 설정하면 서비스 중단과 같은 특정 상황에서 유용합니다. 전달자를 다시 시작하면 누락된 로그 줄이 다시 전송되기 때문입니다.

poll(부울): 파일 수집기는 Tail 라이브러리를 사용하여 파일 시스템의 변경사항을 확인합니다. 이 플래그를 true로 설정하면 Tail 라이브러리에서 기본 알림 메서드 대신 폴링 메서드를 사용합니다.

패킷 데이터

Google SecOps 전달자는 네트워크 인터페이스에서 직접 로그 항목 대신 패킷을 캡처할 수 있습니다.

Linux 시스템

Google SecOps 전달자는 Linux에서 libcap을 사용하여 패킷을 캡처할 수 있습니다. libcap에 대한 자세한 내용은 libcap - Linux 매뉴얼 페이지를 참조하세요.

로그 항목 대신 원시 네트워크 패킷이 캡처되어 Google Cloud로 전송됩니다. 이 캡처는 로컬 인터페이스로 제한됩니다. 시스템에 패킷 캡처를 사용 설정하려면 Google SecOps 지원팀에 문의하세요.

Google Cloud는 패킷을 캡처할 때 사용되는 Berkeley Packet Filter (BPF) 표현식을 사용하여 Google SecOps 전달자를 구성합니다 (예: 포트 53, localhost 제외). 자세한 내용은 Berkeley 패킷 필터를 참조하세요.

Windows 시스템

Google SecOps 전달자는 Windows 시스템에서 Npcap을 사용하여 패킷을 캡처할 수 있습니다.

로그 항목 대신 원시 네트워크 패킷이 캡처되어 Google Cloud로 전송됩니다. 이 캡처는 로컬 인터페이스로 제한됩니다. 패킷 캡처를 위해 Google SecOps 전달자를 구성하려면 Google SecOps 지원팀에 문의하세요.

패킷 캡처 PCAP 전달자의 요구사항:

  • Microsoft Windows 호스트에 Npcap을 설치합니다.

  • Google SecOps 전달자에 네트워크 인터페이스를 모니터링할 수 있는 루트 또는 관리자 권한을 부여합니다.

  • Npcap 설치에서 WinPcap 호환성 모드를 사용 설정합니다.

PCAP 전달자를 구성하려면 Google Cloud에서 패킷 캡처에 사용되는 인터페이스에 대해 GUID가 필요합니다. Google SecOps 전달자를 설치할 머신(서버 또는 스팬 포트에서 리슨하는 머신)에서 getmac.exe를 실행하고 출력을 Google SecOps로 전송합니다.

또는 구성 파일을 수정할 수 있습니다. PCAP 섹션을 찾고 기존 GUID 값을 getmac.exe 실행에서 가져온 GUID로 바꿉니다.

예를 들어 원본 PCAP 섹션은 다음과 같습니다.

- pcap:
      common:
        enabled: true
        data_type: PCAP_DNS
        batch_n_seconds: 10
        batch_n_bytes: 1048576
      interface: \Device\NPF_{1A7E7C8B-DD7B-4E13-9637-0437AB1A12FE}
      bpf: udp port 53

getmac.exe 실행 출력:

C:\>getmac.exe
  Physical Address    Transport Name
  ===========================================================================
  A4-73-9F-ED-E1-82   \Device\Tcpip_{2E0E9440-ABFF-4E5B-B43C-E188FCAD1234}

새 GUID가 포함된 수정된 PCAP 섹션:

- pcap:
      common:
        enabled: true
        data_type: PCAP_DNS
        batch_n_seconds: 10
        batch_n_bytes: 1048576
      interface: \Device\NPF_{2E0E9440-ABFF-4E5B-B43C-E188FCAD9734}
      bpf: udp port 53

전송 이름에 대한 getmac.exe 출력은 \Device\Tcpip로 시작하지만 비슷한 pcap 섹션은 \Device\NPF로 시작합니다.

Kafka 주제의 데이터

Google Security Operations 전달자는 Kafka 주제에서 직접 데이터를 수집하는 기능을 지원합니다. 효율적인 병렬 처리를 위해 소비자 그룹 개념을 활용하여 최대 3개의 전달자를 배포하고 동일한 Kafka 주제에서 데이터를 가져올 수 있습니다. 자세한 내용은 Kafka를 참고하세요. Kafka 소비자 그룹에 대한 자세한 내용은 Kafka 소비자를 참고하세요.

다음 전달자 구성은 Kafka 주제에서 데이터를 수집하도록 전달자를 설정하는 방법을 보여줍니다.

Linux

FORWARDER_NAME.conf 파일

   collectors:
   - kafka:
         common:
           batch_n_bytes: 1048576
           batch_n_seconds: 10
           data_hint: null
           data_type: NIX_SYSTEM
           enabled: true
         topic: example-topic
         group_id: chronicle-forwarder
         timeout: 60s
         brokers: ["broker-1:9092", "broker-2:9093"]
         tls:
           insecureSkipVerify: true
           certificate: "/path/to/cert.pem"
           certificate_key: "/path/to/cert.key"
   - syslog:
         common:
           batch_n_bytes: 1048576
           batch_n_seconds: 10
           data_hint: null
           data_type: WINEVTLOG
           enabled: true
         tcp_address: 0.0.0.0:30001
         connection_timeout_sec: 60

FORWARDER_NAME_auth.conf 파일

   collectors:
   - kafka:
         username: user
         password: password
   - syslog:

Windows

FORWARDER_NAME.conf 파일

collectors:
- kafka:
      common:
        batch_n_bytes: 1048576
        batch_n_seconds: 10
        data_hint: null
        data_type: NIX_SYSTEM
        enabled: true
      topic: example-topic
      group_id: chronicle-forwarder
      timeout: 60s
      brokers: ["broker-1:9092", "broker-2:9093"]
      tls:
        insecureSkipVerify: true
        certificate: "c:/path/to/cert.pem"
        certificate_key: "c:/path/to/cert.key"
- syslog:
      common:
        batch_n_bytes: 1048576
        batch_n_seconds: 10
        data_hint: null
        data_type: WINEVTLOG
        enabled: true
      tcp_address: 0.0.0.0:30001
      connection_timeout_sec: 60

FORWARDER_NAME_auth.conf 파일

collectors:
- kafka:
      username: user
      password: password
- syslog:

WebProxy 데이터

Google SecOps 전달자는 네트워크 인터페이스에서 직접 WebProxy 데이터를 캡처할 수 있습니다.

Linux

Google SecOps 전달자는 Linux에서 libcap을 사용하여 WebProxy 데이터를 캡처할 수 있습니다. libcap에 대한 자세한 내용은 libcap - Linux 매뉴얼 페이지를 참조하세요. 시스템에서 WebProxy 데이터 캡처를 사용 설정하려면 Google SecOps 지원팀에 문의하세요.

Google SecOps 전달자 구성 (FORWARDER_NAME.conf 파일)을 다음과 같이 수정합니다.

   - webproxy:
         common:
           enabled : true
           data_type: <Your LogType>
           batch_n_seconds: 10
           batch_n_bytes: 1048576
         interface: any
         bpf: tcp and dst port 80

Windows

전달자는 Npcap을 사용하여 WebProxy 데이터를 캡처하여 Google Cloud로 전송할 수 있습니다.

시스템에서 WebProxy 데이터 캡처를 사용 설정하려면 Google SecOps 지원팀에 문의하세요.

WebProxy 전달자를 실행하기 전에 다음 단계를 따르세요.

  1. Microsoft Windows 호스트에 Npcap을 설치합니다. 설치 중에 WinPcap 호환성 모드를 사용 설정합니다.

  2. 전달자에 네트워크 인터페이스를 모니터링할 수 있는 루트 또는 관리자 권한을 부여합니다.

  3. WebProxy 패킷을 캡처하는 데 사용되는 인터페이스의 GUID를 가져옵니다.

    Google SecOps 전달자를 설치할 머신에서 getmac.exe를 실행하고 출력을 Google SecOps로 전송합니다. 또는 구성 파일을 수정할 수 있습니다. WebProxy 섹션을 찾고 getmac.exe를 실행한 후 인터페이스 옆에 표시된 GUID를 표시된 GUID로 바꿉니다.

    Google SecOps 전달자 구성(FORWARDER_NAME.conf) 파일을 다음과 같이 수정합니다.

      - webproxy:
    common:
        enabled : true
        data_type: <Your LogType>
        batch_n_seconds: 10
        batch_n_bytes: 1048576
      interface: \Device\NPF_{2E0E9440-ABFF-4E5B-B43C-E188FCAD9734}
      bpf: tcp and dst port 80

구성 파일에서 키 속성 구성

다음 표에는 전달자 구성 파일에 사용되는 중요한 매개변수가 나열되어 있습니다.

매개변수 설명
data_type 수집기가 수집하고 처리할 수 있는 로그 데이터 유형입니다.
metadata 전역 메타데이터를 재정의하는 메타데이터입니다.
max_file_buffer_bytes 디스크 또는 파일 버퍼에 누적될 수 있는 최대 바이트 수입니다. 기본값은 1073741824로, 1GB입니다.
max_memory_buffer_bytes 메모리 버퍼에 누적될 수 있는 최대 바이트 수입니다. 기본값은 1073741824로, 1GB입니다.
write_to_disk_dir_path 파일 또는 디스크 버퍼에 사용할 경로입니다.
write_to_disk_buffer_enabled true인 경우 메모리 버퍼 대신 디스크 버퍼가 사용됩니다. 기본값은 false입니다.
batch_n_bytes 수집기에서 누적할 수 있는 최대 바이트 수로, 이 후 데이터가 일괄 처리됩니다. 기본값은 1048576로, 1MB입니다.
batch_n_seconds 수집기로 수집된 데이터가 일괄 처리된 후 경과된 시간(초)입니다. 기본값은 11초입니다.
data_hint 수집기가 수신할 수 있는 데이터 형식입니다 (일반적으로 형식을 설명하는 로그 파일 헤더).

구성 파일에 사용되는 자세한 매개변수 목록은 전달자 구성 필드 및 수집기 구성 필드를 참조하세요.

데이터 압축

기본적으로 로그 압축은 중지되어 있습니다. 로그 압축을 사용 설정하면 대역폭 소비가 줄어들 수 있습니다. 하지만 로그 압축을 사용 설정하면 CPU 사용량이 증가할 수도 있습니다. 환경 및 로그 데이터를 기반으로 절충점을 평가합니다.

로그 압축을 사용 설정하려면 다음 예와 같이 Google SecOps 전달자 구성 파일에서 compression 필드를 true로 설정합니다.

FORWARDER_NAME.conf 파일

output:
  compression: true
    url: malachiteingestion-pa.googleapis.com:443
    identity:
      identity:
      collector_id: 10479925-878c-11e7-9421-10604b7cb5c1
      customer_id: ebdc4bb9-878b-11e7-8455-10604b7cb5c1
...

FORWARDER_NAME_auth.conf 파일

output:
  identity:
    secret_key: |
    {
     "type": "service_account",
...
    }

디스크 버퍼링

디스크 버퍼링을 사용하면 메모리와 달리 디스크를 사용하여 백로그된 메시지를 버퍼링할 수 있습니다.

수집기에서 동적으로 공유된 버퍼를 사용하도록 자동 메모리 버퍼링을 구성하면 트래픽 급증을 더 효과적으로 처리할 수 있습니다. 동적으로 공유된 버퍼를 사용 설정하려면 전달자 구성에 다음을 추가합니다.

auto_buffer:
  enabled: true
  target_memory_utilization: 80

자동 디스크 버퍼링이 사용 설정되었지만 target_memory_utilization이 정의되지 않은 경우 기본값 70이 사용됩니다.

Docker를 사용하여 전달자를 실행하는 경우에는 격리 목적으로 구성 볼륨과 다른 볼륨을 마운트하는 것이 좋습니다. 또한 충돌을 방지하기 위해 각 입력을 자체 디렉터리 또는 볼륨으로 격리해야 합니다.

샘플 구성

다음 구성에는 디스크 버퍼링을 사용 설정하기 위한 문법이 포함되어 있습니다.

collectors:
- syslog:
    common:
      write_to_disk_buffer_enabled: true
      # /buffers/NIX_SYSTEM is part of the external mounted volume for the
forwarder
      write_to_disk_dir_path: /buffers/NIX_SYSTEM
      max_file_buffer_bytes: 1073741824
      batch_n_bytes: 1048576
      batch_n_seconds: 10
      data_hint: null
      data_type: NIX_SYSTEM
      enabled: true
    tcp_address: 0.0.0.0:30000
    connection_timeout_sec: 60
- syslog:
    common:
      batch_n_bytes: 1048576
      batch_n_seconds: 10
      data_hint: null
      data_type: WINEVTLOG
      enabled: true
    tcp_address: 0.0.0.0:30001
    connection_timeout_sec: 60

정규 표현식 필터

정규 표현식 필터를 사용하면 원시 로그 데이터와 패턴을 일치시켜 로그를 필터링할 수 있습니다. 필터는 RE2 구문을 사용합니다. 필터는 정규 표현식을 포함해야 하며, 선택적으로 일치 항목이 있을 때의 동작을 정의할 수 있습니다.

일치 항목이 있을 때의 기본 동작은 block입니다. allow 동작으로 필터를 지정할 수 있습니다. allow 필터를 지정하는 경우 하나 이상의 allow 필터와 일치하지 않는 모든 로그가 전달자에서 차단됩니다.

필터는 원하는 만큼 정의할 수 있습니다. Block 필터는 allow 필터보다 우선 적용됩니다.

필터를 정의할 때는 여기에 이름을 지정해야 합니다. 활성 필터 이름은 전달자 상태 측정항목을 통해 Google SecOps에 보고됩니다. 구성 루트에 정의된 필터는 수집기 수준에서 정의된 필터와 병합됩니다. 이름이 충돌하는 경우 수집기 수준 필터가 우선 적용됩니다. 루트 또는 수집기 수준에 정의된 필터가 없으면 모든 로그가 허용됩니다.

샘플 구성

다음 전달자 구성에서 루트 필터 (allow_filter)와 일치하지 않는 WINEVTLOG 로그는 차단됩니다. 이 정규 표현식을 사용할 때 필터는 우선순위가 0~99 사이인 로그만 허용합니다. 하지만 'foo' 또는 'bar'가 포함된 모든 NIX_SYSTEM 로그는 allow_filter에도 불구하고 차단됩니다. 이것은 필터에 논리적 OR이 사용되기 때문입니다. 필터가 트리거될 때까지 모든 로그가 처리됩니다.

regex_filters:
  allow_filter:
    regexp: ^<[1-9][0-9]?$>.*$
    behavior_on_match: allow
collectors:
- syslog:
    common:
      regex_filters:
        block_filter_1:
          regexp: ^.*foo.*$
          behavior_on_match: block
        block_filter_2:
          regexp: ^.*bar.*$
      batch_n_bytes: 1048576
      batch_n_seconds: 10
      data_hint: null
      data_type: NIX_SYSTEM
      enabled: true
    tcp_address: 0.0.0.0:30000
    connection_timeout_sec: 60
- syslog:
    common:
      batch_n_bytes: 1048576
      batch_n_seconds: 10
      data_hint: null
      data_type: WINEVTLOG
      enabled: true
    tcp_address: 0.0.0.0:30001
    connection_timeout_sec: 60

임의 라벨

라벨은 키-값 쌍을 사용하여 로그에 커스텀 메타데이터를 연결하는 데 사용됩니다. 전체 전달자에 또는 전달자의 특정 수집기 내에서 라벨을 구성할 수 있습니다. 둘 다 있는 경우 키가 겹치면 수집기 수준 라벨이 전달자 수준 라벨보다 우선시됩니다.

샘플 구성

다음 전달자 구성에서 'foo=bar' 및 'meow=mix' 키와 값 쌍은 모두 WINEVTLOG 로그에 연결되고 'foo=baz' 및 'meow=mix' 키와 값 쌍은 NIX_SYSTEM 로그에 연결됩니다.

metadata:
  labels:
    foo: bar
    meow: mix
collectors:
syslog:
    common:
      metadata:
        labels:
          foo: baz
          meow: mix
      batch_n_bytes: 1048576
      batch_n_seconds: 10
      data_hint: null
      data_type: NIX_SYSTEM
      enabled: true
    tcp_address: 0.0.0.0:30000
    connection_timeout_sec: 60
syslog:
    common:
      batch_n_bytes: 1048576
      batch_n_seconds: 10
      data_hint: null
      data_type: WINEVTLOG
      enabled: true
    tcp_address: 0.0.0.0:30001
    connection_timeout_sec: 60

네임스페이스

네임스페이스 라벨을 사용하면 고유한 네트워크 세그먼트에서 로그를 식별하고 중복 IP 주소의 충돌을 해결할 수 있습니다. 전달자용으로 구성된 모든 네임스페이스는 Google SecOps 사용자 인터페이스의 연관된 애셋과 함께 표시됩니다. Google SecOps 검색 기능을 사용하여 네임스페이스를 검색할 수도 있습니다.

Google SecOps 사용자 인터페이스에서 네임스페이스를 보는 방법은 애셋 네임스페이스를 참고하세요.

샘플 구성

다음 전달자 구성에서 WINEVTLOG 로그는 FORWARDER 네임스페이스에 연결되고 NIX_SYSTEM 로그는 CORPORATE 네임스페이스에 연결됩니다.

metadata:
  namespace: FORWARDER
collectors:
- syslog:
      common:
        metadata:
          namespace: CORPORATE
        batch_n_bytes: 1048576
        batch_n_seconds: 10
        data_hint: null
        data_type: NIX_SYSTEM
        enabled: true
      tcp_address: 0.0.0.0:30000
      connection_timeout_sec: 60
- syslog:
      common:
        batch_n_bytes: 1048576
        batch_n_seconds: 10
        data_hint: null
        data_type: WINEVTLOG
        enabled: true
      tcp_address: 0.0.0.0:30001
      connection_timeout_sec: 60

부하 분산 및 고가용성 옵션

전달자 구성 파일의 서버 섹션에서 HTTP 서버, 부하 분산, 고가용성 옵션을 구성할 수 있습니다. 이러한 옵션에서 컨테이너 스케줄러, 조정 기반 배포 및 부하 분산기에서 수신된 상태 점검에 대한 응답으로 반환되는 제한 시간 기간과 상태 코드를 설정할 수 있습니다.

상태, 준비, 활성 확인에 다음 URL 경로를 사용합니다. <host:port> 값은 전달자 구성에서 정의됩니다.

  • http://<host:port>/meta/available: 컨테이너 스케줄러 또는 조정자의 활성 확인
  • http://<host:port>/meta/ready: 준비 확인 및 부하 분산기 상태 점검

다음 전달자 구성은 부하 분산과 고가용성의 예시입니다.

collectors:
- syslog:
    common:
      batch_n_bytes: 1048576
      batch_n_seconds: 10
      data_hint: null
      data_type: NIX_SYSTEM
      enabled: true
    tcp_address: 0.0.0.0:30000
    connection_timeout_sec: 60
- syslog:
    common:
      batch_n_bytes: 1048576
      batch_n_seconds: 10
      data_hint: null
      data_type: WINEVTLOG
      enabled: true
    tcp_address: 0.0.0.0:30001
    connection_timeout_sec: 60
server:
  graceful_timeout: 15s
  drain_timeout: 10s
  http:
    port: 8080
    host: 0.0.0.0
    read_timeout: 3s
    read_header_timeout: 3s
    write_timeout: 3s
    idle_timeout: 3s
    routes:
    - meta:
        available_status: 204
        ready_status: 204
        unready_status: 503
구성 경로 설명
server : graceful_timeout 전달자가 잘못된 준비/상태 확인을 반환하고 새 연결을 수락하는 시간입니다. 또한 중지 신호를 수신하고 실제로 서버 자체의 종료를 시작하기까지 기다리는 시간입니다. 이렇게 하면 부하 분산기 시간이 풀에서 전달자를 삭제할 수 있습니다.
server : drain_timeout 전달자가 서버에서 연결을 닫기 전에 활성 연결이 성공적으로 종료될 때까지 대기하는 시간입니다.
server : http : port HTTP 서버가 부하 분산기에서 상태 점검을 리슨하는 포트 번호입니다. 1,024에서 65,535 사이여야 합니다.
server : http : host 서버가 리슨할 IP 주소 또는 IP 주소로 변환할 수 있는 호스트 이름입니다. 비워 두면 기본값은 로컬 시스템(0.0.0.0)입니다.
server : http : read_timeout HTTP 서버를 조정하는 데 사용됩니다. 일반적으로 기본 설정에서 변경할 필요가 없습니다. 헤더와 본문 등 전체 요청을 읽을 수 있는 최대 시간입니다. read_timeout과 read_header_timeout 모두 설정할 수 있습니다.
server : http : read_header_timeout HTTP 서버를 조정하는 데 사용됩니다. 일반적으로 기본 설정에서 변경할 필요가 없습니다. 요청 헤더를 읽을 수 있는 최대 시간입니다. 헤더를 읽으면 연결의 읽기 기한이 재설정됩니다.
server : http : write_timeout HTTP 서버를 조정하는 데 사용됩니다. 일반적으로 기본 설정에서 변경할 필요가 없습니다. 응답을 보낼 수 있는 최대 시간입니다. 새 요청 헤더를 읽으면 재설정됩니다.
server : http : idle_timeout HTTP 서버를 조정하는 데 사용됩니다. 일반적으로 기본 설정에서 변경할 필요가 없습니다. 유휴 연결이 사용 설정된 경우 다음 요청을 기다리는 최대 시간입니다. idle_timeout이 0인 경우 read_timeout의 값이 사용됩니다. 둘 다 0이면 read_header_timeout이 사용됩니다.
routes : meta : ready_status 다음 상황 중 하나에서 트래픽을 허용할 수 있는 경우에 전달자가 반환하는 상태 코드입니다.
  • 준비 확인은 컨테이너 스케줄러 또는 조정자에서 수신됩니다.
  • 상태 점검은 기존 부하 분산기에서 수신합니다.
routes : meta : unready_status 트래픽을 허용할 수 없는 경우에 전달자가 반환하는 상태 코드입니다.
routes : meta : available_status 활성 확인이 수신되고 전달자를 사용할 수 있는 경우에 전달자가 반환하는 상태 코드입니다. 컨테이너 스케줄러 또는 조정자가 활성 확인을 보내는 경우가 많습니다.