BigQuery의 Google Security Operations 데이터

Google Security Operations는 BigQuery로 데이터 내보내기를 통해 정규화된 데이터 및 위협 인텔리전스로 강화된 원격 분석 데이터가 포함된 관리형 데이터 레이크를 제공합니다. 이를 통해 다음을 수행할 할 수 있습니다.

  • BigQuery에서 직접 임시 쿼리를 실행합니다.
  • Looker 또는 Microsoft Power BI와 같은 자체 비즈니스 인텔리전스 도구를 사용해서 대시보드, 보고서, 분석을 만듭니다.
  • Google Security Operations 데이터를 타사 데이터 세트와 조인합니다.
  • 데이터 과학 또는 머신러닝 도구를 사용해서 분석을 실행합니다.
  • 사전 정의된 기본 대시보드 및 커스텀 대시보드를 사용해서 보고서를 실행합니다.

Google Security Operations는 다음 데이터 카테고리를 BigQuery로 내보냅니다.

  • UDM 이벤트 레코드: 고객이 수집한 로그 데이터로부터 생성된 UDM 레코드입니다. 이러한 레코드는 별칭 정보로 보강됩니다.
  • 규칙 일치(감지): 규칙이 하나 이상의 이벤트와 일치하는 인스턴스입니다.
  • IoC 일치: 침해 지표(IoC) 피드와 일치하는 이벤트의 아티팩트(예: 도메인, IP 주소)입니다. 여기에는 전역 피드 및 고객 특정 피드에 대한 일치가 포함됩니다.
  • 수집 측정항목: 수집된 로그 줄 수, 로그에서 생성된 이벤트 수, 로그를 파싱할 수 없음을 나타내는 로그 오류 수, Google Security Operations 전달자 상태와 같은 통계가 포함됩니다. 자세한 내용은 수집 측정항목 BigQuery 스키마를 참조하세요.
  • 항목 그래프 및 항목 관계: 항목 설명 및 다른 항목과의 관계가 저장됩니다.

데이터 내보내기 흐름

데이터 내보내기 흐름은 다음과 같습니다.

  1. 사용 사례와 관련된 Google Security Operations 데이터 집합을 고객 특정 Google Cloud 프로젝트에 있고 Google에서 관리되는 BigQuery 인스턴스로 내보냅니다. 각 사용 사례에 대한 데이터는 개별 테이블로 내보내기가 수행됩니다. Google Security Operations에서 고객 특정 프로젝트의 BigQuery로 데이터를 내보냅니다.
  2. 내보내기 수행 중에 Google Security Operations는 각 사용 사례에 대해 사전 정의된 Looker 데이터 모델을 만듭니다.
  3. Google Security Operations 기본 대시보드는 사전 정의된 Looker 데이터 모델을 사용하여 빌드됩니다. 사전 정의된 Looker 데이터 모델을 사용하여 Google Security Operations에서 커스텀 대시보드를 만들 수 있습니다.
  4. 고객은 BigQuery 테이블에 저장된 Google Security Operations 데이터에 대해 임시 쿼리를 작성할 수 있습니다.

  5. 고객은 또한 BigQuery와 통합되는 다른 타사 도구를 사용해서 보다 고급스러운 분석을 만들 수 있습니다.

    BigQuery에 대한 프로세스로 데이터 내보내기

BigQuery 인스턴스는 Google Security Operations 테넌트와 동일한 리전에 생성됩니다. 각 고객 ID에 대해 하나의 BigQuery 인스턴스가 생성됩니다. 원시 로그는 BigQuery에서 Google Security Operations 데이터 레이크로 내보내기가 수행되지 않습니다. 데이터는 신규 또는 업데이트된 정보만 전송되는 방식으로 내보내기가 수행됩니다. 데이터가 Google Security Operations에서 수집 및 정규화될 때 BigQuery로 내보내기가 수행됩니다. 이전에 수집한 데이터는 백필할 수 없습니다. 모든 BigQuery 테이블에서 데이터 보관 기간은 180일입니다.

BigQuery에서 Google Security Operations로 Looker 연결을 설정하려면 Google Security Operations 담당자에게 연락하여 Looker 인스턴스 연결에 필요한 서비스 계정 사용자 인증 정보를 요청하세요. 서비스 계정에는 읽기 전용 권한이 포함됩니다.

테이블 개요

Google Security Operations는 BigQuery 및 다음 테이블에 datalake 데이터 세트를 만듭니다.

  • entity_enum_value_to_name_mapping: entity_graph 테이블의 열거한 유형에 대해 숫자 값을 문자열 값에 매핑합니다.
  • entity_graph: UDM 항목에 대한 데이터를 저장합니다.
  • events: UDM 이벤트에 대한 데이터를 저장합니다.
  • ingestion_metrics: Google Security Operations 전달자, 피드 및 Ingestion API와 같은 특정 수집 소스로부터 데이터 수집 및 정규화와 관련된 통계를 저장합니다.
  • ioc_matches: UDM 이벤트에 대해 확인된 IOC 일치 항목을 저장합니다.
  • job_metadata: BigQuery에 대해 데이터 내보내기를 추적하는 데 사용되는 내부 테이블입니다.
  • rule_detections: Google Security Operations에서 실행된 규칙으로 반환되는 감지 항목을 저장합니다.
  • rulesets: 각 규칙 집합이 속하는 카테고리, 사용 설정되었는지 여부, 현재 알림 상태를 포함하여 Google Security Operations 선별 감지에 대한 정보가 저장됩니다.
  • udm_enum_value_to_name_mapping: 이벤트 테이블의 열거 유형에 대해 숫자 값을 문자열 값에 매핑합니다.
  • udm_events_aggregates: 정규화된 이벤트 시간에 따라 요약된 집계 데이터를 저장합니다.

BigQuery에서 데이터에 액세스

BigQuery에서 직접 쿼리를 실행하거나 Looker 또는 Microsoft Power BI와 같은 자체 비즈니스 인텔리전스 도구를 BigQuery에 연결할 수 있습니다.

BigQuery 인스턴스에 대해 액세스를 사용 설정하려면 Google Security Operations CLI 또는 Google Security Operations BigQuery Access API를 사용합니다. 소유한 사용자 또는 그룹에 대해 이메일 주소를 제공할 수 있습니다. 그룹에 대해 액세스를 구성하는 경우 해당 그룹을 사용해서 멤버가 BigQuery 인스턴스에 액세스할 수 있는 팀을 관리합니다.

Looker 또는 다른 비즈니스 인텔리전스 도구를 BigQuery에 연결하려면 Google Security Operations 담당자에게 연락하여 애플리케이션을 Google Security Operations BigQuery 데이터 세트에 연결할 수 있게 해주는 서비스 계정 사용자 인증 정보를 요청합니다. 서비스 계정에 IAM BigQuery 데이터 뷰어 역할(roles/bigquery.dataViewer) 및 BigQuery 작업 뷰어 역할(roles/bigquery.jobUser)이 포함됩니다.

다음 단계