자체 관리 Google Cloud 프로젝트에서 BigQuery로 데이터 내보내기 구성

Google Security Operations를 사용하면 통합 데이터 모델 (UDM) 데이터를 소유하고 관리하는 자체 관리 프로젝트로 내보낼 수 있습니다. 자체 Google Cloud 프로젝트를 Google SecOps 인스턴스에 연결하고 Google 관리 설정에 종속되지 않고 IAM 권한을 독립적으로 관리할 수 있습니다. SIEM 설정 > 데이터 내보내기를 선택하여 Bring Your Own BigQuery (BYOBQ) 기능을 사용 설정하고 구성할 수도 있습니다.

Google SecOps는 다음 데이터 카테고리를 BigQuery 프로젝트로 내보냅니다.

  • udm_events: UDM 스키마로 정규화된 로그 데이터입니다.
  • udm_events_aggregates: 정규화된 이벤트의 시간별로 요약된 집계 데이터입니다.
  • entity_graph: 항목 그래프에는 세 가지 측정기준 (컨텍스트 데이터, 파생 데이터, 전역 컨텍스트)이 있습니다. 모든 컨텍스트 데이터와 파생 데이터, 일부 전역 컨텍스트 데이터는 UDM으로 작성되고 저장된 데이터입니다.
  • rule_detections: Google SecOps에서 실행된 규칙으로 반환되는 감지 항목입니다.
  • ioc_matches: UDM 이벤트에 대해 확인된 IOC 일치 항목입니다.
  • ingestion_metrics: 수집 및 정규화 파이프라인과 관련된 측정항목 (기본적으로 내보냄)
  • udm_enum_value_to_name_mapping: enum 값을 UDM 필드 이름에 매핑합니다 (기본적으로 내보냄).
  • entity_enum_value_to_name_mapping: enum 값을 엔티티 필드 이름에 매핑합니다 (기본적으로 내보냄).

보관 기간

기존 고객의 경우 설정한 보관 기간에 따라 BigQuery용으로 내보낸 데이터가 Google 관리 프로젝트에 보관되는 기간이 정의됩니다.

보관 기간은 가장 오래된 내보낸 레코드의 날짜부터 시작됩니다. 각 데이터 소스에 대해 Google SecOps의 기본 로그 보관 기간과 일치하는 최대 기간까지 별도의 보관 기간을 구성할 수 있습니다.

보관 기간이 지정되지 않은 경우 기본 동작은 보관 기간을 제한하기 위해 정리나 완전 삭제 없이 데이터를 계속 내보내는 것입니다.

이 경우 보관 기간을 무제한으로 설정할 수 있습니다.

  • SIEM 설정 > 데이터 내보내기를 클릭합니다.
  • 데이터 내보내기 표의 보관 기간 열에서 관련 데이터 유형의 목록에서 무제한을 선택합니다.

그런 다음 필요에 따라 객체를 삭제하도록 Google Cloud 스토리지 버킷에서 객체 수명 주기 규칙을 설정할 수 있습니다.

기존 고객의 데이터 이전

기존 고객인 경우 기존 Google 관리 프로젝트의 데이터가 자체 관리 프로젝트로 이전되지 않습니다. 데이터가 이전되지 않으므로 데이터는 두 개의 별도 프로젝트에 있습니다. 자체 관리 프로젝트 활성화 날짜가 포함된 기간의 데이터를 쿼리하려면 다음 작업 중 하나를 완료해야 합니다.

  • 두 프로젝트의 데이터를 조인하는 단일 쿼리를 사용합니다.
  • 각 프로젝트에서 자체 관리 프로젝트 활성화 날짜 전 데이터와 활성화 날짜 후 데이터에 대해 각각 별도의 쿼리를 실행합니다. Google 관리 프로젝트의 보관 기간이 만료되면 해당 데이터가 삭제됩니다. 이 시점 이후에는 Google Cloud프로젝트 내에 있는 데이터만 쿼리할 수 있습니다.

데이터 내보내기에 필요한 권한

BigQuery 데이터에 액세스하려면 BigQuery 내에서 직접 쿼리를 실행하세요. 액세스 권한이 필요한 사용자에게 다음 IAM 역할을 할당합니다.

자체 관리 프로젝트로 BigQuery 데이터 내보내기 시작

  1. 데이터를 내보낼 Google Cloud 프로젝트를 만듭니다. 자세한 내용은 Google SecOps용 Google Cloud 프로젝트 구성을 참고하세요.

  2. 자체 관리 프로젝트를 Google SecOps 인스턴스에 연결하여 Google SecOps와 자체 관리 프로젝트 간의 연결을 설정합니다. 자세한 내용은 Google Security Operations를 Google Cloud 서비스에 연결을 참고하세요. SIEM 설정 > 데이터 내보내기를 선택하여 Bring Your Own BigQuery (BYOBQ) 기능을 사용 설정하고 구성할 수도 있습니다.

  3. 데이터가 자체 관리 프로젝트로 내보내졌는지 확인하려면 BigQuery의 datalake 데이터 세트 아래에 있는 테이블을 확인하세요.

BigQuery 테이블에 저장된 Google SecOps 데이터에 대해 임시 쿼리를 작성할 수 있습니다. BigQuery와 통합되는 다른 서드 파티 도구를 사용하여 고급 분석을 만들 수도 있습니다.

내 자체 관리 Google Cloud 프로젝트에서 내보내기를 사용 설정하기 위해 생성된 모든 리소스(Cloud Storage 버킷 및 BigQuery 테이블 포함)는 Google SecOps와 동일한 리전에 있습니다.

BigQuery를 쿼리할 때 Unrecognized name: <field_name> at [<some_number>:<some_number>]와 같은 오류가 표시되면 액세스하려는 필드가 데이터 세트에 없다는 의미입니다. 스키마는 내보내기 프로세스 중에 동적으로 생성되기 때문입니다.

BigQuery의 Google SecOps 데이터에 대한 자세한 내용은 BigQuery의 Google SecOps 데이터를 참고하세요.

도움이 더 필요하신가요? 커뮤니티 회원 및 Google SecOps 전문가로부터 답변을 받으세요.