在搜尋和資訊主頁中使用重複資料刪除功能

支援的國家/地區：

本文說明在 Google Security Operations 中搜尋資料時會發生什麼情況。有時結果會包含重複內容。這是因為企業基礎架構會從多個系統為同一事件產生記錄。舉例來說，驗證和安全防護系統可能會記錄單一登入事件。

如要減少重複結果，請在 YARA-L 語法的 dedup 部分使用 UDM 欄位。將 UDM 欄位新增至這個部分，即可針對每個不同的值組合傳回單一結果。。

查詢中的重複資料刪除

重複資料刪除功能適用於下列類型的搜尋和資訊主頁查詢：

  • 匯總搜尋查詢：包括「match」、「match」和「outcome」或「aggregated outcome」部分。系統會在判斷結果後進行重複資料刪除作業。

    如果是匯總搜尋查詢，請在 dedup 區段中加入下列欄位：

    • 「match」部分的欄位
    • 「outcome」部分的欄位

  • UDM 搜尋查詢：排除 match、outcome 或 aggregated outcome 區段。請注意，只要沒有任何匯總和 match 區段，UDM 搜尋查詢就能包含 outcome 區段。

    如果是 UDM 查詢，請在 dedup 區段中新增下列欄位：

    • 任何非重複、非陣列和非群組的事件欄位
    • 「events」部分的預留位置欄位
    • 「outcome」專區的結果變數

本節會顯示 YARA-L 語法，並可在「搜尋」中執行。

範例：簡單搜尋不重複的 IP 位址

以下搜尋範例會顯示事件之間的網路連線，其中企業內部的專屬 IP 位址 (principal.ip) 會連線至企業外部的專屬外部 IP 位址 (target.ip)。系統會根據 principal.ip 排除重複事件。

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
dedup:
   principal.ip

範例：不重複的 IP 位址

與上一個範例類似，下列範例搜尋會顯示具有專屬 IP 位址的網路連線事件。套用 dedup 至 principal.ip 可將結果縮小至與不重複 IP 相關聯的事件。「outcome」部分會顯示 principal.ip 和 target.ip 之間傳送的總位元組數，並依流量大小排序結果 (從最高到最低)。

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.ip != ""
   principal.ip != ""
match:
   target.ip, principal.ip
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.ip
order:
   $total_bytes desc

範例：簡單搜尋不重複的主機名稱

以下範例會搜尋貴機構存取的每個不重複主機名稱。套用 dedup 至 target.hostname 可將結果範圍縮小至與不重複的外部主機名稱相關聯的事件。

metadata.log_type != ""
dedup:
    target.hostname

以下是沒有 dedup 選項的對等範例。通常會傳回大量事件。

metadata.log_type != "" AND target.hostname != ""

範例：不重複的主機名稱

與上一個範例類似，這項搜尋會顯示具有專屬主機名稱的網路連線事件。將 dedup 選項套用至 principal.hostname ，即可將結果範圍縮小至與不重複主機相關聯的事件：

events:
   metadata.event_type = "NETWORK_CONNECTION"
   target.hostname != ""
   principal.hostname != ""
match:
   target.hostname, principal.hostname
outcome:
   $total_bytes = sum(network.sent_bytes)
dedup:
   principal.hostname
order:
   $total_bytes desc

還有其他問題嗎？向社群成員和 Google SecOps 專業人員尋求答案。