在自行管理的 Google Cloud 專案中設定資料匯出至 BigQuery
Google Security Operations 可讓您將統一資料模型 (UDM) 資料匯出至您擁有及管理的自管專案。您可以將自己的 Google Cloud 專案連結至 Google SecOps 執行個體,並獨立管理 IAM 權限,不必依賴 Google 管理的設定。您也可以依序選取「SIEM Settings」(SIEM 設定) >「Data Export」(資料匯出),啟用及設定「自備 BigQuery」(BYOBQ) 功能。
Google SecOps 會將下列類別的資料匯出至 BigQuery 專案:
udm_events
:已正規化為 UDM 結構定義的記錄檔資料。udm_events_aggregates
:以每小時的標準化事件匯總的資料摘要。entity_graph
:實體圖表有三個維度 (比對內容資料、衍生資料和全域比對內容)。所有脈絡資料和衍生資料,以及部分全域脈絡資料,都會以 UDM 格式寫入及儲存。rule_detections
:Google SecOps 中執行的規則傳回的偵測結果。ioc_matches
:根據 UDM 事件找到的 IOC 相符項目。ingestion_metrics
:與擷取和正規化管道相關的指標 (預設會匯出)。udm_enum_value_to_name_mapping
:將列舉值對應至 UDM 欄位名稱 (預設會匯出)。entity_enum_value_to_name_mapping
:將列舉值對應至實體欄位名稱 (預設會匯出)。
保留期限
如果您是現有客戶,您設定的保留期限會決定 BigQuery 匯出資料在 Google 代管專案中的保留時間。
保留期限從最早匯出記錄的日期開始計算。您可以為每個資料來源設定不同的保留期限,但不得超過 Google SecOps 的預設記錄保留期限。
如果未指定保留期限,系統預設會持續匯出資料,不會進行任何清理或清除作業,以限制保留期限。
在這種情況下,您可以將保留期限設為「無限期」:
- 依序點選「SIEM 設定」>「資料匯出」。
- 在「資料匯出」表格的「保留期限」欄中,為相關資料類型選取清單中的「無限制」。
接著,您可以在 Google Cloud 儲存空間值區中設定物件生命週期規則,視需要刪除物件。
現有客戶的資料遷移
如果您是現有客戶,現有 Google 管理專案中的資料不會遷移至自行管理的專案。由於資料不會遷移,因此資料會位於兩個不同的專案中。如要查詢包含自行管理專案啟用日期在內的時間範圍資料,請完成下列其中一項操作:
- 使用單一查詢聯結兩個專案中的資料。
- 在個別專案中執行兩項查詢,一項查詢是自行管理專案啟用日期前的資料,另一項查詢是啟用日期後的資料。Google 管理的專案保留期限屆滿後,系統就會刪除資料。之後您只能查詢專案中的資料。 Google Cloud
匯出資料所需的權限
如要存取 BigQuery 資料,請在 BigQuery 中執行查詢。將下列 IAM 角色指派給需要存取權的使用者:
- BigQuery 資料檢視者
(
roles/bigquery.dataViewer
) - BigQuery 工作使用者
(
roles/bigquery.jobUser
) - Storage 物件檢視者
(
roles/storage.objectViewer
) 您也可以在資料集層級指派角色。詳情請參閱「BigQuery IAM 角色和權限」。
將 BigQuery 資料匯出至自行管理的專案
建立要匯出資料的 Google Cloud 專案。 詳情請參閱「設定 Google SecOps 專案」。 Google Cloud
將自行管理的專案連結至 Google SecOps 執行個體,在 Google SecOps 與自行管理的專案之間建立連線。詳情請參閱「將 Google Security Operations 連結至 Google Cloud 服務」。您也可以依序選取「SIEM 設定」>「資料匯出」,啟用及設定「自備 BigQuery」 (BYOBQ) 功能。
如要確認資料已匯出至自行管理的專案,請檢查 BigQuery 中
datalake
資料集下的資料表。
您可以針對儲存在 BigQuery 資料表中的 Google SecOps 資料,撰寫臨時查詢。您也可以使用與 BigQuery 整合的其他第三方工具,進行更進階的分析。
在您自行管理的 Google Cloud 專案中建立的所有資源 (包括 Cloud Storage 值區和 BigQuery 資料表),都與 Google SecOps 位於相同區域。
如果在查詢 BigQuery 時收到類似 Unrecognized name: <field_name> at [<some_number>:<some_number>]
的錯誤訊息,表示您嘗試存取的欄位不在資料集中,因為結構定義是在匯出程序中動態產生。
如要進一步瞭解 BigQuery 中的 Google SecOps 資料,請參閱「BigQuery 中的 Google SecOps 資料」。
還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求答案。