2025 年，網路安全情勢發生變化，威脅發動者從實驗性使用 AI 轉為全面應用。攻擊者已不再單純使用大型語言模型撰寫網路釣魚內容，而是部署能重寫程式碼的適應性工具，以及在極少人為監督下瀏覽系統的 AI 代理。這些能力從根本上改變了攻擊的速度和規模，標誌著攻擊手段的顯著演變，因此防禦策略也必須隨之調整。

同時，AI 導入競賽也暴露了風險領域，這些領域的發展速度往往超過安全控管措施。最迫切的挑戰並非竊取模型等新型「AI 專屬」攻擊，而是治理和 IT 衛生方面的基本漏洞。「影子 AI」(未經監督而部署的工具) 的擴散，以及缺乏 AI 資產可見度，仍是關鍵的阻礙，需要重新關注 AI 應用程式和工具的實作安全性，而不僅僅是模型本身。如要確實保護不斷擴大的攻擊面，組織必須建立健全的 AI 使用治理機制，解決影子 AI 問題，並定期進行 AI 紅隊演練，主動對系統進行壓力測試，在安全漏洞遭人利用前找出問題。

同時，代理式 AI 的興起也為資安團隊帶來助力。AI 已證明能有效強化資安營運，加快調查和分析速度，帶來顯著效益。在接下來的一年，企業必須運用 AI 輔助資安工具，才能預先防範由 AI 技術支援的威脅，透過測試和驗證來縮小落差和修補漏洞，並確保團隊有信心應對威脅。

Google Threat Intelligence Group (GTIG) 在 2025 年初觀察到，威脅發動者主要將生成式 AI 當成提升效率的工具，例如「直覺式程式開發」、撰寫多語言網路釣魚誘餌，以及支援攻擊生命週期的不同階段，詳情請見 GTIG 2025 年 1 月的分析報告《Adversarial Misuse of Generative AI》(攻擊者的生成式 AI 濫用行為)。分析結果顯示，政府資助的組織 (包括與中華人民共和國 (PRC)、俄羅斯、北韓和伊朗有關的組織) 正在嘗試使用 Gemini 等大型語言模型 (LLM)，以排除程式碼錯誤、研究安全漏洞及開發工具。不過，這些組織大多無法成功規避安全防護機制，或開發出新的攻擊能力。

接下來幾個月的重大演變是，攻擊者不再主要仰賴靜態的人機迴圈攻擊，而是改為採用高度自主且的適應性攻擊手法。到了 2025 年底，威脅發動者已將 LLM API 直接整合至惡意軟體，以「即時」生成程式碼，可能創造出新型態的威脅，偵測和歸因難度大幅提升。

適應性惡意軟體的出現，就是這類技術轉變的例子。PROMPTFLUX 和 PROMPTSTEAL 等惡意軟體系列會使用 LLM API，在執行期間依需求生成惡意程式碼或指令。這項執行階段功能讓惡意軟體成為多型態，能不斷改變特徵和行為，規避傳統的特徵式偵測系統。LLM 會充當外部 C2，根據惡意軟體所處的環境，提供「目標導向」的指引，這是傳統硬式編碼邏輯無法實現的功能。

2025 年中：運作與整合

今年中，機構開始從使用 AI 轉為整合 AI。攻擊者開始將 LLM API 直接納入攻擊鏈，以處理社交工程和初始存取等動態工作。

• PROMPTFLUX 的發現：在 6 月，GTIG 發現一個實驗性的 VBScript 病毒植入程式惡意軟體，會使用 Gemini API 進行「即時」自我修改。該惡意軟體每小時都會查詢 LLM，重寫自己的原始碼來規避偵測。
• PROMPTSTEAL 的發現：GTIG 發現俄羅斯政府資助的威脅組織 APT28 (FROZENLAKE) 使用新惡意軟體攻擊烏克蘭。這項工具會查詢 LLM，生成一行 Windows 指令來竊取文件，是我們首次發現惡意軟體查詢已部署並實際運作的 LLM。
• 社交工程防護措施：GTIG 在 8 月觀察到，一個與中國有關的組織在網路上假冒「奪旗」(CTF) 挑戰參與者，誘騙 Gemini 提供特定軟體和電子郵件服務的漏洞攻擊建議。

攻擊者並非唯一使用 AI 取得重大進展的一方。企業持續將 AI 整合至營運作業，並透過由 AI 技術支援的解決方案，強化防禦能力。過去 12 個月，Mandiant 在全球多次進行 AI 系統評估、AI 威脅建模演練和偵測研討會。從這些活動中，我們發現了一些趨勢。

一般來說，機構的 AI 應用可分為三類：

• 消費者：嚴格按照原樣使用第三方 LLM 的機構
• 整合者：在 AI 部署作業中使用多個元件的機構，例如檢索增強生成 (RAG) 和 Model Context Protocol (MCP) 伺服器，這可能會增加整體系統的複雜性
• 訓練者：積極訓練模型及開發自動代理的機構

目前，Mandiant 發現大多數機構都屬於「消費者」和「整合者」類別。不過，「訓練者」類別的機構數量正逐漸增加。

儘管複雜程度不一，但 Mandiant 在各項活動中發現，過去 IT 創新時代的資安難題依然存在，可謂舊事重演。

令人鼓舞的是，Mandiant 發現，只要組織建立基礎管理機制並定期建立威脅模型，就能跳脫基本防護，大幅提升風險掌握能力。團隊可採取主動做法，找出因現有技術或程序限制而無法消除的風險。透過找出這些限制，主管階層可以選擇接受風險，或優先開發必要的補償性控管措施。

基礎架構落差：缺少基礎安全措施

其中一項最一致的發現是，組織在 AI 管道中遇到的安全挑戰，與整體基礎架構安全挑戰類似。

Mandiant 在近期的評估中發現，AI 計畫經常缺乏基礎安全措施。這些挑戰可分為四類：

• 資產管理：通常沒有應用程式註冊資料庫和設定管理資料庫或檔案，因此無法清楚瞭解機構 (CMDB) 使用的硬體、軟體和網路之間的關係。
• 清楚掌握供應鏈：AI 軟體物料清單 (SBOM) 不存在、未維護或未要求開發人員提供。
• 安全漏洞管理：標準安全掃描工具通常無法掌握 AI 專用構件，導致基礎框架和容器化環境未受監控，無法找出已知漏洞攻擊。AI 安全性取決於 AI 應用程式託管環境的資安態勢。因此，偵測、緩解及修復環境中的重大安全漏洞至關重要。
• 身分管理：AI 嚴重依賴資源層級的權限，而 LLM 可輕鬆搜尋內部資料，因此迅速揭露歷來的存取漏洞。這讓使用者能找到並修改原本無法存取的機密檔案。Mandiant 發現，組織急於部署 AI 工具，往往會忽略技術驗證和 AI 威脅模型建立作業，或將這些工作延後處理。

監管落差：影子 AI

為了確保 AI 環境安全無虞，機構必須區分「治理 AI」與「AI 適用的治理機制」。前者著重於技術構件，確保模型公平、安全、可靠且效能卓越。後者則著重於組織架構，包括制定政策、採購管道和核准工作流程，以確保企業採用 AI 的方式符合規定。資安團隊可能專注於監控及評估由 AI 技術支援的應用程式 (前者)，但通常沒有權限管理整個企業採購及採用這些工具的方式，也沒有相關技術能力 (後者)。

Mandiant 發現 AI 管道存在重大盲點，部分業務單位可「全權」操作，並隨意部署 AI 應用程式和工具，無須經過 IT 部門審查。在這些情況下，基礎架構和資安團隊通常難以遏止風險行為。

這種落差會導致影子 AI 滋生，也就是在未受監督的情況下，部署未經認可的 AI 工具和應用程式，略過標準安全審查，讓組織無法掌握產生的風險。

建立 AI 威脅模型：認知到的風險與實際風險的比較

Mandiant 為客戶進行 AI 威脅建模時，經常發現客戶對威脅的認知與實際情況不符。舉例來說，Mandiant 發現資安主管通常會優先處理複雜的理論風險，但實際的安全漏洞卻源自基本的實作瑕疵。

在一個涉及 API 應用程式的案例中，該應用程式會呼叫外部 LLM 平台，當時該組織的主管階層非常擔心模型遭竊和訓練資料中毒的問題。因此，他們要求資安團隊針對這些特定風險，制定緩解措施。但實際情況並非如此。由於應用程式仰賴外部 API，因此環境中沒有模型可竊取，也沒有會受汙染的訓練資料。

相較之下，實際的資安漏洞通常是產品設計缺陷。在某個案例中，資安人員發現了一項安全性缺陷，是因為開發人員直接在瀏覽器記錄中快取 AI 聊天機器人記錄。因此，即使未發生入侵後端基礎架構的事件，使用者端點也可能發生資料竊取和資料汙染。

偵測與應變：起跑點

Mandiant 在多場研討會和偵測開發活動中發現了常見趨勢。資安團隊根本不知道 AI 安全性該從何著手。他們通常缺乏 AI 元件的基本知識，以及要監控的特定行為。

資安團隊必須擴大監控範圍，瞭解代理應用程式如何取得資料存取權，以及這些代理應用程式如何透過 Model Context Protocol (MCP) 伺服器整合至企業工具。團隊必須根據機構的特定用途，建立策略基準。如果沒有這些背景資訊，團隊通常會將時間浪費在理論、已知的風險，而非其特定架構所面臨的實際威脅。

此外，在動態環境中，單靠靜態簽章並不夠。Mandiant 建議團隊從入侵指標 (IOC) 轉為活動指標 (IOA)，也就是尋找行為異常狀況，而非已知的惡意檔案雜湊。為此，資安團隊必須向開發人員索取特定遙測資料，例如：

• 工具執行順序：監控不合邏輯的工具使用順序 (例如代理存取資料庫後，立即呼叫外部 API)
• 詞元用量異常：如果輸入/輸出比例突然大幅增加，系統會發出警告，這可能表示有人嘗試發動提示詞注入或阻斷服務攻擊

將這些行為對應至實際用途後，資安團隊就能從已知事實轉為根據事實進行偵測。

將 AI 整合至應用程式可能會產生新的攻擊面。保護應用程式的傳統做法仍是重要要求，但已不足以因應現今的狀況，因為現在還必須保護資料、代理的指示，以及代理獲准存取的工具。

Mandiant 的 AI 紅隊演練評估一再顯示，部分 AI 元件若未設有適當的防護機制、控管措施和強化措施，可能會遭到操縱，導致系統的預期功能反過來對付自己。對於部署 AI 應用程式的機構，這類評估至關重要，可測試 AI 實作如何影響應用程式所處理的資料和業務流程的安全性。主動定期進行進攻式安全測試，可驗證防禦機制是否能抵禦新興的相關威脅，在 AI 時代為資產安全提供最高等級的保障。

2025 年，Mandiant Consulting 根據客戶需求，在全球各地對各產業由 AI 技術支援的應用程式，進行進攻式安全性評估。測試的應用程式類型包括：

• 客戶端 AI：零售聊天機器人、情緒分析系統 (用於將顧客電子郵件分類) 等
• 企業 SaaS 解決方案：用於核心業務營運的 SaaS 應用程式，例如專案管理和開立發票/業務營運平台，以及複雜的內部 MCP 伺服器
• 代理工作流程：複雜的系統，其中 AI 代理會使用內部代理工具，並可存取用於查詢服務支援單和解答問題等的機密資源

這項工作至關重要，可協助組織瞭解 AI 應用程式可能帶來哪些新風險，包括代理的功能、攻擊面的變化，以及機密資料可能外洩的位置。

過去一年來，Mandiant 顧問觀察到，機構在日常網路防禦和資安營運中，使用 AI (包括 Gemini 等大型語言模型) 的方式出現重大轉變。AI 不再只是話題，而是從實驗階段轉為實際運作，在我們評估和防禦的環境中發揮安全作用。Mandiant 親眼見證 AI 迅速轉為實際應用，過去 12 個月來，特定網路防禦應用實例在各機構中越來越受歡迎。

回溯事件分析

Mandiant 發現，許多機構會使用 AI 對事件支援單待辦事項進行回溯分析。資安營運中心 (SOC) 團隊不再將每則警告視為獨立事件，而是指派 AI 審查過去 30 天以上的結案事件支援單，找出人類分析師在日常工作中可能忽略的模式。擷取資料後，分析師會提示 AI 找出細微的共通點，藉此判斷是否有更深層的架構和端點問題。

Mandiant 發現，分析師會提出具體的宏觀問題，例如「根據這 500 起事件的根本原因，最常失效或缺少的特定安全控管機制是什麼？」或「根據初始存取途徑將這些事件分組，並建議三項優先工程專案，以減少下個月的事件數量。」AI 模型可以識別看似不同的警告，例如帳戶遭到鎖定和可疑的 PowerShell 執行作業，這些警告實際上與相同的基礎錯誤設定或遺失的修補程式有關。資安營運中心 (SOC) 透過這種方式運用 AI，將一個月內收到的被動支援單，有效轉化為強化環境的主動藍圖。

AI 做為翻譯層

Mandiant 專家發現，SOC 與端點遙測資料的互動方式正在轉變，整合式 AI 成為人類問題與複雜 EDR 查詢語言之間的翻譯層。過去，分析師必須精通特定查詢語法 (例如 SPL 或 KQL)，才能在數千個端點中搜尋，進而判斷檔案的普及度。現在，他們只要輸入「請顯示這個惡意檔案在我們網路中的普及度」等自然語言提示詞，AI 就會立即生成並執行必要的查詢。分析師可專注於調查問題，不必受限於工具的技術限制，有效降低複雜威脅搜索的入門門檻，讓資淺分析師也能執行過去需要資深工程師支援的搜索作業。

Mandiant 發現，在為 SOC 分析師編寫說明文件時，應對手冊正從技術「使用指南」轉變為「提示詞」存放區，旨在消弭程式設計技能的落差。過去，如要使用 Jupyter 筆記本進行進階威脅搜索，必須具備 Python 和程式庫 (如 Pandas 等) 的實務知識，因此這些強大的工具實際上具有程式設計門檻。為解決這個問題，資深資安分析師現在將生成實用程式碼所需的特定自然語言提示詞，編入標準作業應對手冊。

這份應對手冊並未列出 Python 語法，而是指示分析師該向 AI 詢問什麼問題。舉例來說，只要提供標準化的提示詞結構，例如「擷取這個 CSV 檔、清理時間戳記欄，並按地理位置繪製登入異常情形的圖表」，即使分析師沒有程式設計經驗，也能透過複製貼上提示詞，執行複雜的資料分析作業。這種做法能有效將 AI 模型轉變為 SOC 的翻譯工具，但必須嚴格標準化，才能確保可靠性。這樣一來，生成程式碼時出現幻覺或邏輯錯誤的風險就會降低，整個團隊都能達到資深威脅搜索人員的作業水準。

威脅搜索技術的進步

在威脅搜索作業中，搜索人員通常會建構複雜的查詢，其中包含精密的規則運算式或特定的篩選邏輯，以篩選數 TB 的記錄資料。Mandiant 發現，如果 SOC 沒有內建 AI 輔助功能，在執行程式碼前，會先使用 AI 檢查程式碼品質，例如要求 AI 模型驗證 KQL 或 SPL 查詢的結構是否有效率，邏輯是否正確。AI 會檢查常見錯誤，例如過於嚴格的許可清單或時區不符，這些錯誤可能會不慎排除相關資料。AI 就像第二雙眼睛，能協助威脅搜索人員減少查詢建立階段的人為錯誤風險，確保搜尋字串正確無誤。

除了驗證程式碼，AI 在找出搜索假設中的概念落差方面，也展現了極高的價值。經驗豐富的威脅搜索人員會使用 AI 擴大調查範圍，例如詢問「我正在使用 WMI 搜索橫向移動，我忽略了哪些相關行為指標或獨特的記錄來源？」模型會將搜索人員目前的範圍與 MITRE ATT&CK 等框架進行交叉比對，找出遺漏的涵蓋範圍，或建議搜索人員可能未考慮到的技術變化。這能將搜索從靜態的已知指標搜尋作業，轉變為動態腦力激盪會議，AI 會提示分析師尋找細微的異常狀況或遺失的記錄，這些通常是主要攻擊向量的附帶現象。

加速鑑識分析

在事件應變的高壓環境中，AI 已成為不可或缺的工具，可加速繁瑣的鑑識時間軸建立程序。過去，分析師必須花時間手動將不同系統的時間戳記正規化，將世界標準時間伺服器記錄轉換為符合本機工作站事件的格式，並交叉比對防火牆流量。現在，AI 導向工具會擷取 SIEM 和 EDR 平台的原始遙測資料串流，立即建構出連貫的攻擊時間軸。AI 會找出看似無關的事件之間的關聯，例如將特定的 PowerShell 執行作業與幾秒前發生的可疑登入行為連結，為分析師提供預先彙整的入侵「事發經過」。這樣應變人員就能專心分析時間軸的影響，不必浪費時間輸入資料和調整格式。

生成技術和高階分析報表

Mandiant 觀察到，分析師在控制住立即威脅後，會使用 AI 簡化文件記錄階段，將原始的鑑識構件和筆記轉化為精美且結構化的成果。採用這些工具不僅能提高效率，還能大幅提升輸出內容的品質，讀者甚至開始偏好 AI 撰寫的報告，而非人類撰寫的報告。這是因為 AI 能將雜亂的資料轉化為連貫的敘事，且不會像人類應變人員在事件發生後感到疲勞。這些模型的一大優勢是能根據對象調整重點，在幾秒內為高階主管生成「內容提要」，同時為資安工程團隊草擬技術性極高的文件，確保組織內溝通順暢。

代理式 SOC 的演進

展望未來，隨著 AI 從簡單的聊天機器人轉變為互連的代理系統，組織將能發展出代理式資安營運中心 (SOC)。在代理式 SOC 中，代理會動態推論並執行工作，以達成特定目標，還能自動執行複雜的工作流程，讓分析師優先處理需要人類專業知識的策略難題和調查。舉例來說，在 Google Threat Intelligence 中，由 Gemini 啟用的代理可以對檔案進行反向工程，找出惡意軟體並搜索新威脅。同樣地，在 Google Security Operations 中，Gemini 代理會自動收集背景資訊並做出判斷，動態分類警告並進行調查。在整個過程中，人類都能透過透明的稽核記錄，瞭解代理的證據、推論和決策過程，維持人機迴圈的互動。