데이터 처리 파이프라인 설정 및 관리

다음에서 지원:

데이터 처리 파이프라인 기능은 Google Security Operations 데이터 수집을 강력하게 제어합니다. 데이터 처리 파이프라인을 사용하면 Google Security Operations에서 파싱하기 전에 수신 데이터를 조작할 수 있습니다. 예를 들어 이벤트를 필터링 및 변환하거나 민감한 값을 수정합니다. 이 프로세스를 통해 Google SecOps용 데이터를 최적화하고, 비용을 절감하고, 민감한 정보를 보호하고, 호환성을 개선할 수 있습니다.

이 문서에서는 Bindplane 콘솔을 사용하여 Google SecOps 대상 인스턴스에 대한 연결을 구성하고, 새 스트림을 만들고, 데이터 처리 파이프라인 (소스 및 프로세서)을 설정하고, 데이터 처리를 시작하기 위해 이를 출시하고, Google SecOps 콘솔에서 파이프라인 소스와 프로세서를 확인하는 방법을 보여줍니다. 사용 사례의 예를 들면 다음과 같습니다.

  • 원시 로그에서 빈 키-값 쌍을 삭제합니다.
  • 민감한 정보를 수정합니다.
  • 원시 로그 콘텐츠에서 수집 라벨을 추가합니다.
  • 다중 인스턴스 환경에서는 직접 수집 로그 데이터에 수집 라벨을 적용하여 데이터가 제공된 소스 인스턴스(예: Google Cloud, Workspace)를 나타냅니다.
  • 필드 값으로 Palo Alto Cortex 데이터를 필터링합니다.
  • 카테고리별로 SentinelOne 데이터를 줄입니다.
  • 피드 및 직접 수집 로그에서 호스트를 파싱하여 Cloud Monitoring의 ingestion_source 필드로 변환

Bindplane 관리 콘솔을 사용하거나 공개 Google SecOps 데이터 파이프라인 API를 직접 사용하여 온프레미스 및 클라우드 데이터 소스 모두에 대해 데이터 처리 파이프라인을 구성할 수 있습니다.

데이터 처리 파이프라인은 다음 요소로 구성됩니다.

  • 소스: 하나 이상의 데이터 소스가 데이터 처리 파이프라인에 데이터를 제공하며, 각 데이터 소스는 서로 다른 데이터 소스 유형에 맞게 구성됩니다.
  • 프로세서 노드: 데이터 처리 파이프라인에는 하나 이상의 프로세서가 포함된 프로세서 노드가 하나 있습니다. 각 프로세서는 데이터가 파이프라인을 통과할 때 데이터에 실행할 작업 (예: 필터링, 변환, 수정)을 지정합니다.
  • 대상: 처리된 데이터가 전송되는 Google SecOps 대상 인스턴스입니다.

기본 요건

Bindplane 콘솔을 사용하여 Google SecOps 데이터 처리 파이프라인을 관리하려면 다음 단계를 따르세요.

  1. Google Security Operations 콘솔에서 설치 프로그램에 필요한 사전 정의된 관리자 역할을 부여합니다. 자세한 내용은 전용 프로젝트에서 프로젝트 IAM 관리자 역할 할당을 참고하세요. 역할 할당에서 다음 사전 정의된 Identity and Access Management 역할을 선택합니다.
    • Chronicle API 관리자 (roles/chronicle.admin)
    • Chronicle 서비스 관리자 (roles/chroniclesm.admin)
    • Chronicle SOAR 관리자 베타 (roles/chronicle.soarAdmin)
    • 프로젝트 IAM 관리자(roles/resourcemanager.projectIamAdmin)
  2. Bindplane 서버 콘솔을 설치합니다. SaaS 또는 온프레미스의 경우 Bindplane 서버 콘솔 설치를 참고하세요.
  3. Bindplane 콘솔에서 Google SecOps 대상 인스턴스를 Bindplane 조직에 연결합니다. 자세한 내용은 Google SecOps 인스턴스에 연결을 참고하세요.

소량 스트림의 승인 시간이 늘어날 수 있음

자체 에이전트를 구성하는 수집 API 사용자는 데이터 처리 파이프라인에서 볼륨이 낮은 스트림의 승인 시간이 늘어날 수 있습니다. 평균 예상 승인 시간이 700ms에서 최대 2초로 증가할 수 있습니다. 이 경우 제한 시간과 메모리를 적절히 늘려야 할 수 있습니다. 데이터 처리량이 4MBps 이상으로 증가하면 확인 시간이 줄어듭니다.

Google SecOps 인스턴스에 연결

데이터 처리 파이프라인의 출력 대상 역할을 하는 Google SecOps 인스턴스에 연결합니다.

Bindplane 콘솔을 사용하여 Google SecOps 인스턴스에 연결하려면 다음 단계를 따르세요.

  1. Bindplane 콘솔에서 조직 관리 페이지로 이동합니다.
  2. 통합 카드로 이동하여 Google SecOps에 연결을 클릭합니다.

  3. 열리는 통합 수정 창에서 데이터 처리 파이프라인의 출력을 수집할 Google SecOps 대상 인스턴스의 세부정보를 다음과 같이 입력합니다.

    필드 설명
    리전 Google SecOps 인스턴스의 리전입니다. 인스턴스를 찾으려면 Google Cloud 콘솔로 이동하여 Google Security Operations 페이지로 이동하고 인스턴스 세부정보를 클릭합니다.
    고객 ID Google SecOps 인스턴스의 고객 ID입니다. Google SecOps 콘솔에서 설정 > 프로필 > 조직 세부정보로 이동합니다.
    Google Cloud 프로젝트 번호 Google SecOps 인스턴스의 Google Cloud 프로젝트 번호입니다.
    Google SecOps 콘솔에서 프로젝트 번호를 찾으려면 설정 > 프로필 > 조직 세부정보로 이동하세요.
    사용자 인증 정보 Google SecOps 데이터 파이프라인 API에 액세스할 서비스 계정의 사용자 인증 정보입니다.
    Google 서비스 계정 사용자 인증 정보 파일에서 사용할 수 있는 JSON 값입니다. 서비스 계정은 Google SecOps 인스턴스와 동일한 프로젝트에 있어야 합니다. 서비스 계정을 만들고 JSON 파일을 다운로드하는 방법은 서비스 계정 키 만들기 및 삭제를 참고하세요.

  4. 연결을 클릭합니다. 연결 세부정보가 올바르고 Google SecOps에 성공적으로 연결되면 다음이 예상됩니다.

    • Google SecOps 인스턴스 세부정보 (암호화됨)는 조직 객체에 저장됩니다.
    • Google SecOps 인스턴스에 대한 연결이 열립니다.
    • 처음 연결하면 Bindplane 콘솔에 스트림 탭이 표시됩니다.
    • 이제 Bindplane 콘솔에 API를 사용하여 이 인스턴스에 대해 이전에 설정한 데이터 처리 파이프라인이 표시됩니다. 시스템은 API를 사용하여 구성한 일부 프로세서를 Bindplane 프로세서로 변환하고 다른 프로세서는 원시 OpenTelemetry 변환 언어(OTTL) 형식으로 표시합니다. Bindplane 콘솔을 사용하여 API를 통해 이전에 설정한 파이프라인과 프로세서를 수정할 수 있습니다.

  5. Google SecOps 인스턴스에 대한 연결을 성공적으로 만든 후 스트림을 만들고 데이터 처리 파이프라인을 설정할 수 있습니다. 자세한 내용은 Bindplane 콘솔을 사용하여 데이터 처리 파이프라인 설정을 참고하세요.

Bindplane 콘솔을 사용하여 데이터 처리 파이프라인 설정

Bindplane 콘솔을 사용하면 API를 사용하여 설정된 파이프라인을 비롯한 Google SecOps 데이터 처리 파이프라인을 관리할 수 있습니다.

다음 단계에 따라 새 스트림을 만들고 데이터 처리 파이프라인을 설정하고, 데이터 처리 파이프라인 소스와 프로세서를 구성하고, 데이터 처리 파이프라인을 출시하여 데이터 처리를 시작하세요.

  1. 새 스트림 만들기
  2. 데이터 처리 파이프라인 구성
    1. 소스 구성
    2. 프로세서 구성
  3. 데이터 처리 파이프라인 출시

새 스트림 만들기

스트림은 데이터 처리 파이프라인 하나를 구성하는 컨테이너입니다.
새 스트림을 만들려면 다음 단계를 따르세요.

  1. Bindplane 콘솔에서 스트림 탭을 클릭하여 스트림 페이지를 엽니다.
  2. 스트림 만들기를 클릭합니다.
  3. 새 스트림 만들기 창에서 스트림 유형을 Google SecOps (기본값)로 설정합니다.
  4. 스트림 이름과 설명을 입력합니다.
  5. 만들기를 클릭합니다.
    • 새 스트림의 세부정보가 스트림 페이지에 표시됩니다.
    • 새 스트림에서 데이터 처리 파이프라인을 구성하려면 데이터 처리 파이프라인 구성을 참고하세요.

데이터 처리 파이프라인 구성

데이터 처리 파이프라인은 수집할 데이터 소스와 Google SecOps 대상 인스턴스로 흐르는 데이터를 조작할 프로세서(예: 필터링, 변환, 수정)를 지정합니다.

파이프라인 구성 카드는 데이터 소스와 프로세서 노드를 구성할 수 있는 데이터 처리 파이프라인의 시각화입니다. 프로세서 노드는 데이터가 Google SecOps 대상 인스턴스로 흐를 때 데이터를 조작하는 프로세서로 구성됩니다.

데이터 처리 파이프라인을 구성하려면 먼저 새 스트림을 만드세요. 그런 다음 다음 단계를 따르세요.

  1. Bindplane 콘솔에서 스트림 탭을 클릭하여 스트림 페이지를 엽니다.
  2. 새 데이터 처리 파이프라인을 구성할 스트림을 선택합니다. 파이프라인 구성 카드가 열립니다.

  3. 다음과 같이 구성합니다.

    1. 소스입니다. 자세한 내용은 소스 구성을 참고하세요.

    2. 프로세서 노드:

      • Bindplane 콘솔을 사용하여 프로세서를 추가하려면 프로세서 구성을 참고하세요.
      • 일부 맞춤 프로세서를 사용하면 원시 OTTL 코드를 직접 수정할 수 있습니다.

  4. 이러한 구성을 완료한 후 데이터 처리 파이프라인 출시를 참고하여 데이터 처리를 시작하세요.

소스 구성

소스는 구성된 사양에 따라 데이터를 수집하고 파이프라인에 제공합니다. 데이터 처리 파이프라인에는 하나 이상의 소스가 있을 수 있으며, 각 소스는 서로 다른 데이터 소스에 맞게 구성됩니다.

소스를 추가하려면 다음 단계를 따르세요.

  1. 파이프라인 구성 카드에서 추가 소스 추가를 클릭하여 SecOps 데이터 소스 만들기 창을 엽니다.

  2. SecOps 데이터 소스 만들기 창에서 다음 필드의 세부정보를 입력합니다.

    필드 설명
    로그 유형 수집할 데이터의 로그 유형입니다.
    수집할 로그 유형을 선택합니다. 예를 들면 'CrowdStrike Falcon (CS_EDR)'입니다.

    참고: 경고 경고 아이콘이 있는 로그 유형은 선택할 수 없습니다.
    경고 아이콘은 로그 유형이 이미 다른 소스 (이 파이프라인 또는 Google SecOps 인스턴스의 다른 파이프라인)에 구성되어 있음을 나타냅니다.
    이러한 로그 유형을 사용하려면 먼저 다른 소스 구성에서 삭제해야 합니다.
    로그 유형이 구성된 다른 소스 구성을 찾으려면 스트림 (파이프라인) 구성 필터링을 참고하세요.
    수집 방법 선택한 로그 유형의 데이터를 수집하는 데 사용할 수집 방법입니다.
    이러한 수집 방법은 이전에 Google SecOps 인스턴스에 정의되었습니다.
    다음 중 하나를 선택합니다.
    • 모든 수집 방법

      참고:이 옵션을 선택하면 다음 소스를 추가할 때 선택사항이 좁아집니다.
      모든 수집 방법을 선택하면 이 로그 유형에 대해 특정 수집 방법의 다른 소스를 추가할 수 없습니다.
    • 특정 수집 방법을 선택합니다.
      예를 들어 'Bindplane Agent', 'Cloud Native Ingestion', 'Feed', 'Ingestion API' 또는 'Workspace' 중 하나입니다.
      • 참고:이 옵션을 선택하면 다음 소스를 추가할 때 선택사항이 좁아집니다.
        특정 수집 방법을 선택하면 이 로그 유형에 대해 '모든 수집 방법'을 사용하여 다른 소스를 추가할 수 없습니다.
        이 로그 유형에 대해 구성되지 않은 다른 특정 수집 방법을 선택할 수는 있습니다.
      • 피드를 선택한 경우 다음 필드에 피드 목록이 표시되며, 여기에서 수집 소스를 선택할 수 있습니다. (다음 입력란을 참고하세요.)
    피드 소스 데이터를 수집하는 데 사용할 피드입니다.
    수집 방법 필드에서 피드를 선택하면 피드 필드에 선택한 로그 유형에 대해 Google SecOps 인스턴스에 이전에 정의된 피드 이름 목록이 표시됩니다.
    목록에서 특정 피드를 선택합니다.

    참고: Google SecOps 콘솔에서 피드 목록을 보려면 설정 > 피드 표로 이동하세요.

  3. 소스 추가를 클릭하여 새 데이터 소스를 저장합니다.

    • 이제 새 데이터 소스가 파이프라인 구성 카드에 있는 데이터 처리 파이프라인에 표시됩니다.
    • 프로세서 노드 및 Google SecOps 대상에 자동으로 연결됩니다.
스트림 (파이프라인) 구성 필터링

스트림 페이지의 검색창을 사용하면 로그 유형, 수집 방법, 피드 이름 등 여러 구성 요소를 기반으로 스트림 (데이터 처리 파이프라인)을 필터링할 수 있습니다. logtype:value, ingestionmethod:value, feed:value를 필터링하는 데 다음 구문을 사용할 수 있습니다.

예를 들어 검색창을 사용하여 특정 로그 유형이 포함된 소스 구성을 식별하려면 검색창에 logtype:를 입력하고 목록에서 로그 유형을 선택합니다.

프로세서 구성

데이터 처리 파이프라인에는 하나 이상의 프로세서가 포함된 하나의 프로세서 노드가 있습니다. 각 프로세서는 프로세서가 프로세서 창에 표시되는 순서대로 파이프라인을 통과하는 소스 데이터를 조작합니다. 첫 번째 프로세서가 소스 데이터를 처리하면 결과 출력이 다음 프로세서에 의해 처리되고, 이후 프로세서에 의해 처리됩니다.

하나 이상의 프로세서를 추가, 삭제 또는 순서를 변경하여 프로세서 노드를 구성합니다.

프로세서를 추가하려면 다음 단계를 따르세요.

  1. 파이프라인 구성 카드에서 프로세서 노드를 클릭하여 프로세서 수정 창을 엽니다.
    프로세서 수정 창은 세 개의 창으로 구성됩니다.

    • 왼쪽 창: 최근 수신된 소스 로그 데이터 (처리 전)
    • 중간 창: 프로세서 및 해당 구성
    • 오른쪽 창: 최근 아웃바운드 결과 로그 데이터 (처리 후)

    이전에 파이프라인이 출시된 적이 있다면 시스템에 최근 수신 로그 데이터 (처리 전)와 최근 발신 로그 데이터 (처리 후)가 창에 표시됩니다.

  2. 프로세서를 추가하려면 프로세서 추가를 클릭하여 프로세서 목록을 표시합니다. 편의를 위해 프로세서 목록은 프로세서 유형별로 그룹화되어 있습니다.
    (프로세서 목록을 정리하려면 하나 이상의 프로세서를 선택하고 새 프로세서 번들 추가를 클릭하여 자체 번들을 추가하면 됩니다.)

  3. 목록에서 추가할 프로세서를 선택합니다.

  4. 필요에 따라 프로세서를 구성합니다.

  5. 저장을 클릭하여 프로세서 노드에 프로세서 구성을 저장합니다.

시스템은 수신되는 소스 로그 데이터 (왼쪽 창)의 새로운 샘플을 처리하여 새 프로세서 구성을 테스트하고 발신 결과 데이터 (오른쪽 창)를 표시합니다.

데이터 처리 파이프라인 출시

소스 및 프로세서 구성이 완료되면 파이프라인을 출시하여 데이터 처리를 시작합니다.

데이터 처리 파이프라인을 출시하려면 출시 시작을 클릭합니다. 이렇게 하면 데이터 처리 파이프라인이 활성화되고 Google의 보안 인프라가 데이터 처리 파이프라인 구성에 따라 데이터 처리를 시작할 수 있습니다.

롤아웃이 성공하면 데이터 처리 파이프라인 구성 버전 번호가 증가하고 데이터 처리 파이프라인 이름 옆에 표시됩니다.

구성 기록을 보려면 데이터 처리 파이프라인 이름 옆에 있는 기록 링크를 클릭합니다. 각 데이터 처리 파이프라인 버전 간의 구성 변경사항이 표시됩니다.

다음 단계

Google SecOps 내에서 보기 전용 모드로 활성 데이터 스트림을 볼 수 있습니다. 자세한 내용은 Google SecOps 콘솔에서 데이터 처리 파이프라인 정보 보기를 참고하세요.

Google SecOps 콘솔에서 데이터 처리 파이프라인 정보 보기

다음 섹션에서는 Google SecOps 콘솔에서 데이터 처리 파이프라인 정보를 보는 방법을 설명합니다.

구성된 피드 보기

피드 페이지에는 구성한 모든 피드가 표시됩니다.

  1. Google SecOps 콘솔에서 설정 > 피드로 이동합니다. 기본 페이지에 구성된 모든 피드가 표시됩니다.
  2. 각 행 위로 마우스 포인터를 가져가면 ⋮ 더보기 메뉴가 표시됩니다. 메뉴에서 피드 세부정보를 확인하고 피드를 수정, 사용 중지 또는 삭제할 수 있습니다.
  3. 세부정보 보기를 클릭하여 세부정보 창을 확인합니다.
  4. Bindplane에서 열기를 클릭하여 Bindplane 콘솔에서 해당 피드의 소스 구성을 엽니다.

로그 유형 페이지에서 데이터 처리 파이프라인 정보 보기

Logtypes 페이지에는 사용 가능한 모든 로그 유형이 표시됩니다. 데이터 처리 파이프라인 세부정보를 보려면 다음 단계를 따르세요.

  1. Google SecOps 콘솔에서 설정 > 로그 유형으로 이동합니다. 기본 페이지에는 모든 로그 유형이 표시됩니다.
  2. 각 행 위로 마우스 포인터를 가져가면 ⋮ 더보기 메뉴가 표시됩니다. 메뉴에서 logtype 세부정보를 확인할 수 있습니다.
  3. 데이터 처리 보기를 클릭하여 세부정보 창을 확인합니다.
  4. Bindplane에서 열기를 클릭하여 Bindplane 콘솔에서 해당 프로세서의 프로세서 구성을 엽니다.

Google SecOps Data Pipeline API 사용

Google SecOps 데이터 파이프라인 API를 사용하면 데이터 처리 파이프라인을 관리할 수 있습니다. API는 파이프라인 및 파이프라인 내의 연결된 피드와 로그 유형을 생성, 업데이트, 삭제, 나열하는 등 모든 데이터 파이프라인 기능을 지원합니다.

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가로부터 답변을 받으세요.