在自行管理的 Google Cloud 專案中設定資料匯出至 BigQuery

Google Security Operations 可讓您將統一資料模型 (UDM) 資料匯出至您擁有及管理的自管專案。您可以將自己的 Google Cloud 專案連結至 Google SecOps 執行個體,並獨立管理 IAM 權限,不必依賴 Google 管理的設定。您也可以依序選取「SIEM Settings」(SIEM 設定) >「Data Export」(資料匯出),啟用及設定「自備 BigQuery」(BYOBQ) 功能。

Google SecOps 會將下列類別的資料匯出至 BigQuery 專案:

  • udm_events:已正規化為 UDM 結構定義的記錄檔資料。
  • udm_events_aggregates:以每小時的標準化事件匯總的資料摘要。
  • entity_graph:實體圖表有三個維度 (比對內容資料、衍生資料和全域比對內容)。所有脈絡資料和衍生資料,以及部分全域脈絡資料,都會以 UDM 格式寫入及儲存。
  • rule_detections:Google SecOps 中執行的規則傳回的偵測結果。
  • ioc_matches:根據 UDM 事件找到的 IOC 相符項目。
  • ingestion_metrics:與擷取和正規化管道相關的指標 (預設會匯出)。
  • udm_enum_value_to_name_mapping:將列舉值對應至 UDM 欄位名稱 (預設會匯出)。
  • entity_enum_value_to_name_mapping:將列舉值對應至實體欄位名稱 (預設會匯出)。

保留期限

如果您是現有客戶,您設定的保留期限會決定 BigQuery 匯出資料在 Google 代管專案中的保留時間。

保留期限從最早匯出記錄的日期開始計算。您可以為每個資料來源設定不同的保留期限,但不得超過 Google SecOps 的預設記錄保留期限。

如果未指定保留期限,系統預設會持續匯出資料,不會進行任何清理或清除作業,以限制保留期限。

在這種情況下,您可以將保留期限設為「無限期」

  • 依序點選「SIEM 設定」>「資料匯出」
  • 在「資料匯出」表格的「保留期限」欄中,為相關資料類型選取清單中的「無限制」

接著,您可以在 Google Cloud 儲存空間值區中設定物件生命週期規則,視需要刪除物件。

現有客戶的資料遷移

如果您是現有客戶,現有 Google 管理專案中的資料不會遷移至自行管理的專案。由於資料不會遷移,因此資料會位於兩個不同的專案中。如要查詢包含自行管理專案啟用日期在內的時間範圍資料,請完成下列其中一項操作:

  • 使用單一查詢聯結兩個專案中的資料。
  • 在個別專案中執行兩項查詢,一項查詢是自行管理專案啟用日期前的資料,另一項查詢是啟用日期後的資料。Google 管理的專案保留期限屆滿後,系統就會刪除資料。之後您只能查詢專案中的資料。 Google Cloud

匯出資料所需的權限

如要存取 BigQuery 資料,請在 BigQuery 中執行查詢。將下列 IAM 角色指派給需要存取權的使用者:

將 BigQuery 資料匯出至自行管理的專案

  1. 建立要匯出資料的 Google Cloud 專案。 詳情請參閱「設定 Google SecOps 專案」。 Google Cloud

  2. 將自行管理的專案連結至 Google SecOps 執行個體,在 Google SecOps 與自行管理的專案之間建立連線。詳情請參閱「將 Google Security Operations 連結至 Google Cloud 服務」。您也可以依序選取「SIEM 設定」>「資料匯出」,啟用及設定「自備 BigQuery」 (BYOBQ) 功能。

  3. 如要確認資料已匯出至自行管理的專案,請檢查 BigQuery 中 datalake 資料集下的資料表。

您可以針對儲存在 BigQuery 資料表中的 Google SecOps 資料,撰寫臨時查詢。您也可以使用與 BigQuery 整合的其他第三方工具,進行更進階的分析。

在您自行管理的 Google Cloud 專案中建立的所有資源 (包括 Cloud Storage 值區和 BigQuery 資料表),都與 Google SecOps 位於相同區域。

如果在查詢 BigQuery 時收到類似 Unrecognized name: <field_name> at [<some_number>:<some_number>] 的錯誤訊息,表示您嘗試存取的欄位不在資料集中,因為結構定義是在匯出程序中動態產生。

如要進一步瞭解 BigQuery 中的 Google SecOps 資料,請參閱「BigQuery 中的 Google SecOps 資料」。

還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求答案。