收集 Datadog 記錄
總覽
這個剖析器會從 Datadog 記錄檔中擷取欄位,執行多項變動和 Grok 比對來建構資料,並將擷取的欄位對應至 UDM。這個外掛程式會處理 message 欄位中的不同記錄格式,包括鍵/值配對和 JSON 物件,並將特定欄位轉換為符合 UDM 規範的標籤和其他欄位。
事前準備
請確認您已完成下列事前準備事項:
- Google SecOps 執行個體。
 - IAM 的特殊存取權 Google Cloud 。
 - Cloud Storage 的特殊存取權。
 logs_write_archive使用者存取 Datadog 的權限。
方法 1:透過 Cloud Storage 設定分享 Datadog 記錄
設定 Datadog 與 Google Cloud Platform 的整合
- 在 Datadog 中設定 Google Cloud Platform 的整合功能。詳情請參閱 Datadog Google Cloud 整合設定。
 
建立 Google Cloud 儲存空間 bucket
- 登入 Google Cloud 主控台。
 前往「Cloud Storage Buckets」(Cloud Storage bucket) 頁面。
點選「建立」。
在「建立 bucket」頁面中,輸入 bucket 資訊。完成下列每個步驟後,請按一下「繼續」前往下一個步驟:
在「開始使用」部分執行下列操作:
- 輸入符合值區名稱規定的專屬名稱 (例如 datadog-data)。
 如要啟用階層命名空間,請按一下展開箭頭,展開「為檔案導向和資料密集型工作負載提供最理想的儲存空間」部分,然後選取「為這個值區啟用階層結構式命名空間」。
如要新增值區標籤,請按一下展開箭頭,展開「標籤」部分。
按一下「新增標籤」,然後指定標籤的鍵和值。
在「Choose where to store your data」(選擇資料的儲存位置) 專區中執行下列操作:
- 選取「位置類型」。
 - 使用位置類型下拉式選單,選取要永久儲存 bucket 內物件資料的位置。
- 如果您選取「雙區域」位置類型,也可以勾選相關核取方塊,啟用強化型複製功能。
 
 - 如要設定跨 bucket 複製作業,請展開「設定跨 bucket 複製作業」部分。
 
在「為資料選擇儲存空間級別」部分,選取值區的預設儲存空間級別,或選取「Autoclass」,讓系統自動管理值區資料的儲存空間級別。
在「選取如何控制物件的存取權」部分,選取「否」以強制禁止公開存取,並為值區物件選取存取權控管模型。
在「選擇保護物件資料的方式」部分,執行下列操作:
- 選取「資料保護」下要為值區設定的任何選項。
 - 如要選擇物件資料的加密方式,請按一下標示為「資料加密」的展開箭頭,然後選取「資料加密方法」。
 
點選「建立」。
建立 Google Cloud 服務帳戶
- 依序前往「IAM & Admin」(IAM 與管理) >「Service Accounts」(服務帳戶)。
 - 建立新的服務帳戶。
 - 為其命名,名稱請使用描述性文字 (例如 datadog-user)。
 - 在您於上一個步驟建立的 Cloud Storage bucket 中,將「Storage 物件管理員」角色授予服務帳戶。
 - 為服務帳戶建立 SSH 金鑰。
 - 下載服務帳戶的 JSON 金鑰檔案。請妥善保管這個檔案。
 
設定 Datadog 將記錄傳送至 Cloud Storage
- 使用具備權限的帳戶登入 Datadog。
 - 依序前往「記錄」>「記錄轉送」。
 - 按一下「+ 建立新封存」。
 - 選取「Google Cloud Storage」。
 - 輸入必要參數,然後按一下「儲存」。
 
方法 2:透過 Webhook 設定共用 Datadog 記錄
設定動態饋給
如要設定動態消息,請按照下列步驟操作:
- 依序前往「SIEM 設定」>「動態消息」。
 - 按一下「新增動態消息」。
 - 在下一個頁面中,按一下「設定單一動態饋給」。
 - 在「動態饋給名稱」欄位中,輸入動態饋給的名稱 (例如「Datadog Logs」)。
 - 選取「Webhook」做為「來源類型」。
 - 選取「Datadog」做為「記錄類型」。
 - 點選「下一步」。
 - 選用:指定下列輸入參數的值:
- 分割分隔符號:用於分隔記錄行的分隔符號,例如 
\n。 
 - 分割分隔符號:用於分隔記錄行的分隔符號,例如 
 - 點選「下一步」。
 - 在「Finalize」畫面中檢查動態饋給設定,然後按一下「Submit」。
 - 按一下「產生密鑰」,產生驗證這個動態消息的密鑰。
 - 複製並儲存密鑰。您無法再次查看這個密鑰。如有需要,您可以重新產生新的密鑰,但這項操作會使先前的密鑰失效。
 - 在「詳細資料」分頁中,從「端點資訊」欄位複製動態消息端點網址。您需要在用戶端應用程式中指定這個端點網址。
 - 按一下 [完成]。
 
為 Webhook 資訊提供建立 API 金鑰
前往 Google Cloud 控制台 > 憑證。
按一下 [Create credentials] (建立憑證),然後選取 [API key] (API 金鑰)。
限制 API 金鑰對 Chronicle API 的存取權。
指定端點網址
- 在用戶端應用程式中,指定 webhook 動態饋給中提供的 HTTPS 端點網址。
 如要啟用驗證,請在自訂標頭中指定 API 金鑰和私密金鑰,格式如下:
X-goog-api-key = API_KEY X-Webhook-Access-Key = SECRET建議:請將 API 金鑰指定為標頭,而非在網址中指定。
如果 Webhook 用戶端不支援自訂標頭,您可以使用查詢參數指定 API 金鑰和密鑰,格式如下:
ENDPOINT_URL?key=API_KEY&secret=SECRET更改下列內容:
ENDPOINT_URL:動態消息端點網址。API_KEY:用於向 Google SecOps 進行驗證的 API 金鑰。SECRET:您產生的密鑰,用於驗證動態饋給。
設定 Datadog,將記錄傳送至 Webhook
- 使用具備權限的帳戶登入 Datadog。
 - 依序前往「記錄」>「記錄轉送」。
 - 選取「自訂目的地」。
 - 按一下「+ 建立新目的地」。
 - 指定下列輸入參數的值:
- 選擇目的地類型:選取「HTTP」。
 - 為目的地命名:為 Webhook 提供描述性名稱 (例如「Google SecOps Webhook」)。
 - 設定目的地:輸入 ENDPOINT_URL,然後輸入 API_KEY 和 SECRET。
 - 設定驗證設定:新增一般標頭 (如下所示),這不會造成 HTTP 要求格式錯誤,並允許 Datadog 完成 Webhook 建立作業。
- 標題名稱:
Accept。 - 標頭值:
application/json。 
 - 標題名稱:
 - 按一下 [儲存]。
 
 
參考資料連結
UDM 對應表
| 記錄欄位 | UDM 對應 | 邏輯 | 
|---|---|---|
_id | 
read_only_udm.metadata.product_log_id | 
直接對應至 _id 欄位。 | 
alert | 
read_only_udm.security_result.about.resource.attribute.labels | 
從 alert 欄位擷取,並新增為 security_result 物件中的標籤。 | 
attributes.@timestamp | 
read_only_udm.metadata.event_timestamp | 
系統會從 attributes.@timestamp 欄位擷取事件時間戳記,並轉換為秒和奈秒。 | 
attributes.@version | 
read_only_udm.metadata.product_version | 
直接對應至 attributes.@version 欄位。 | 
attributes.level_value | 
read_only_udm.security_result.about.resource.attribute.labels | 
從 attributes.level_value 欄位擷取,並新增為 security_result 物件中的標籤。 | 
attributes.logger_name | 
read_only_udm.principal.application | 
直接對應至 attributes.logger_name 欄位。 | 
attributes._trace.baggage._sli_service | 
read_only_udm.additional.fields | 
直接從 attributes._trace.baggage._sli_service 欄位對應,並新增為額外欄位。 | 
attributes._trace.baggage.device_id | 
read_only_udm.principal.asset.asset_id | 
直接從 attributes._trace.baggage.device_id 欄位對應,並加上「裝置 ID:」前置字串。 | 
attributes._trace.origin.operation | 
read_only_udm.metadata.product_event_type | 
直接對應至 attributes._trace.origin.operation 欄位。 | 
caller | 
read_only_udm.security_result.about.resource.attribute.labels | 
從 caller 欄位擷取,並新增為 security_result 物件中的標籤。 | 
component | 
read_only_udm.security_result.about.resource.attribute.labels | 
從 component 欄位擷取,並新增為 security_result 物件中的標籤。 | 
context.AlertName | 
read_only_udm.security_result.threat_name | 
直接對應至 context.AlertName 欄位。 | 
context.BusArch | 
read_only_udm.security_result.about.resource.attribute.labels | 
從 context.BusArch 欄位擷取,並新增為 security_result 物件中的標籤。 | 
context.CANDBVersion | 
read_only_udm.security_result.about.resource.attribute.labels | 
從 context.CANDBVersion 欄位擷取,並新增為 security_result 物件中的標籤。 | 
context.esn | 
read_only_udm.security_result.about.resource.attribute.labels | 
從 context.esn 欄位擷取,並新增為 security_result 物件中的標籤。 | 
context.ftcpVersion | 
read_only_udm.security_result.about.resource.attribute.labels | 
從 context.ftcpVersion 欄位擷取,並新增為 security_result 物件中的標籤。 | 
context.ingestMessageId | 
read_only_udm.security_result.about.resource.attribute.labels | 
從 context.ingestMessageId 欄位擷取,並新增為 security_result 物件中的標籤。 | 
context.redactedVin | 
read_only_udm.security_result.about.resource.attribute.labels | 
從 context.redactedVin 欄位擷取,並新增為 security_result 物件中的標籤。 | 
context.vehicleId | 
read_only_udm.security_result.about.resource.attribute.labels | 
從 context.vehicleId 欄位擷取,並新增為 security_result 物件中的標籤。 | 
date | 
read_only_udm.metadata.collected_timestamp | 
系統會從 date 欄位 (在剖析器中重新命名為 date1) 擷取收集到的時間戳記,並轉換為秒和奈秒。 | 
host | 
read_only_udm.principal.hostname | 
直接對應至 host 欄位。 | 
message | 
read_only_udm.security_result.about.resource.attribute.labels | 
系統會剖析 message 欄位,並使用部分內容填入 summary 和 json_data 欄位。其餘部分會視為鍵/值組合,並新增為 security_result 物件中的標籤。 | 
msg | 
read_only_udm.security_result.about.resource.attribute.labels | 
從 msg 欄位擷取,並新增為 security_result 物件中的標籤。 | 
service | 
read_only_udm.metadata.product_name | 
直接對應至 service 欄位。 | 
status | 
read_only_udm.security_result.severity | 
嚴重程度是依據 status 欄位而定。「INFO」、「DEBUG」、「debug」和「info」會對應至「LOW」,「WARN」會對應至「MEDIUM」,而其他值不會在提供的程式碼片段中明確對應。 | 
tags | 
read_only_udm.additional.fields | 
tags 陣列中的每個標記都會剖析為鍵/值組合,並新增為額外欄位。 | 
| 不適用 | read_only_udm.metadata.event_type | 
如果存在 host 欄位,請設為「STATUS_UPDATE」,否則設為「GENERIC_EVENT」。 | 
還有其他問題嗎?向社群成員和 Google SecOps 專業人員尋求答案。