AI 代理的核心概念
AI 代理的核心概念
AI 代理已從被動的聊天機器人，進化為能夠推論、使用企業工具及執行複雜工作流程的自治系統。
如要充分發揮 AI 代理的巨大潛力，從實驗性用途和原型轉為穩健的企業級系統，進而提升可測量的投資報酬率，則瞭解 AI 代理的構成元素會很有幫助。以下將說明 AI 代理的核心概念，包括：
- 模型：代理用來思考的推論引擎
- 建立基準：知識庫會成為事實準確率和知識檢索的機制
- 工具：定義代理執行工作的能力，決定代理能做什麼
- 資料架構：代理儲存記憶體和資料的位置
- 自動化調度管理：代理如何規劃多步驟任務並串聯所有部分
- 執行階段：代理所在位置和大規模執行的位置
模型
模型就像是代理的大腦。模型會閱讀並理解您的要求、判斷需要執行的動作，然後生成智慧回覆。
選擇合適的模型時，必須根據用途，在功能、速度和成本之間取得平衡。目標不是追求最大原始效能，而是盡可能提高效率。最常見的錯誤是，在用途不需要的某項功能上投入過多資源，導致支出效率低落，效能也較慢。
強大的認知架構會採用多個專門的代理，動態選擇最精簡的模型來處理特定子任務。就像擁有專業團隊，並根據任務，將工作智慧地分配給不同的專家。舉例來說，複雜的規劃和推論等繁重工作會交給強大的模型處理，而分類使用者意圖等簡單、大量的工作，則會交給速度更快、更具成本效益的模型處理。這種動態模型轉送機制是提升效能和成本效益的關鍵。
開發人員可以從多種模型中選擇，並設定推論模式，靈活調整各種參數，進而實現精密的最佳化。這些工具可協助他們調整整個多代理系統的成本和效能，以滿足特定的業務和技術需求。
選定符合成本、延遲時間和品質需求的模型後，您或許可以微調模型。使用您自己的精選高品質範例資料集，根據您的特定業務需求，專門微調模型的知識和風格。如要瞭解模型是否允許及支援微調，請參閱說明文件和授權協議。
專家級提示
使用集中式平台，探索、自訂及部署基礎模型。尋找平台時，建議考量該平台是否提供精選全球頂尖模型、一鍵部署，以及從一開始就提供企業級安全性。
連結
如果代理能根據可驗證的事實，提供準確且值得信賴的答案，就能建立可信度並發揮實用價值。這時，建立基準就派上用場。這項功能可將代理轉變為真正的工作流程自動化工具，並根據您的業務資料，提供深入且準確的資訊。
在建立基準方面，有三個層面需要考慮。
1. RAG：第一個基本步驟
代理的可信度，取決於是否能根據可驗證的事實提供答案。檢索增強生成 (RAG) 技術可將代理連結至可驗證的即時資料來源，確保代理根據事實而非幻覺採取行動。
這種簡單的「檢索後生成」程序可應用於文字、圖像和其他類型的資料。這項技術可讓您以極快的速度搜尋龐大資料集，進而及時做出回應迅速的決策。
不過，RAG 雖然有助於回答問題，但對於需要深入瞭解資料點關係的複雜查詢，仍無法提供令人滿意的結果。
2. GraphRAG：以更聰明的方式建立基準
GraphRAG 會瞭解知識圖譜中資料點之間的明確關係，並擷取能更準確反映資料點與其他資料來源互連關係的比對內容資料，進而充實基準。因此，代理不僅能比對相似詞組，還能理解概念之間的關聯。
重要的是，知識圖譜可讓您直接控管商業邏輯。標準 RAG 依賴模型生成的模式，而知識圖譜則可讓您定義及管理實體之間的特定關係，確保代理遵守貴機構獨特的分類法和規則。為了確保最高可靠性，頂尖機構採用混合做法，結合標準 RAG 的廣泛檢索能力，以及 GraphRAG 的精確度和控制力。
用途
以結構化方式查看不同來源的資料
金融服務公司使用知識圖譜，讓分析師能統一查看分析師報告、法人說明會、風險評估等內容。這個豐富的互連資料網路可協助分析師發掘先前隱藏的洞察資訊，例如複雜的供應鏈依附關係、與競爭對手有所重疊的董事會成員，以及面臨的複雜地緣政治風險。
3. 代理式 RAG：動態推論與檢索
代理式 RAG 是最強大的建立基準方法，代理不再是被動接收資訊，而是主動參與檢索程序，並進行推論。有了代理式 RAG，代理就能分析複雜的查詢、制定多步驟計畫，並依序執行多個工具呼叫，找出最佳資訊。這項技術並非取代傳統搜尋，而是將進階推論功能疊加在現有的 RAG 和知識圖譜基礎架構上，用來解決多躍點查詢。
具備感知不同的資料類型並進行推論的能力，讓代理不再只是資料處理工具，而是能以更完整的方式理解並與世界互動的解決問題工具。透過讓代理成為主動推論的參與者，開發人員可建構出能執行複雜多步驟查詢和長期任務的系統，定義新一代代理能力。
專家級提示
使用檢索與重新排名方法
使用「檢索與重新排名」方法，擴大召回範圍以檢索比所需數量更多的文件，在召回 (找出所有相關文件) 和精確度 (確保檢索到的文件具關聯性) 之間取得平衡。這個較大的集合會傳遞至 LLM 或專門的重新排名服務，以找出最相關的文件，並捨棄不相關或語意相反的文件。
注意：
微調不是建立基準。微調可調整模型的風格，並修正模型在特定工作上的知識。建立基準可讓模型連結至即時、可驗證的資料來源，確保回覆內容符合事實和準確。
工具
工具是定義好的功能，可讓代理執行超出其核心推論模型原生功能範圍的作業。工具可讓代理執行簡單的內部運算，也能透過 API 呼叫與外部系統互動，消弭代理的推論能力與行動能力之間的落差。由於建立基準是代理擷取新資訊的主要方式，因此在技術上，可說是代理工具組中最基本的工具。
前述工具包括：
- 內部函式和服務：貴團隊編寫的專屬邏輯或特殊程式碼，用於解決特定業務問題。
- 外部 API：安全連線至第三方服務，讓代理在現實世界中執行工作。
- 資料擷取和建立基準：動態查詢資料庫 (包括將自然語言轉換為 SQL 程式碼)、搜尋向量儲存庫或存取企業知識庫。無論是簡單的搜尋或複雜的資料庫查詢，這些工具都能確保代理的行動是根據可驗證的資料。
- 代理協作：在更複雜的系統中，一個代理可以與另一個專用代理協作，來解決問題。雖然代理可做為用於特定工作的「工具」，但最強大的企業系統會將代理視為協作者，在不同領域安全地協調行動。
資料架構
代理會針對不同工作，使用不同類型的記憶體。穩健的企業資料架構必須滿足三種不同的需求：長期知識檢索的永久儲存空間、短期對話脈絡的低延遲存取，以及交易稽核的持久帳本。
1. 長期知識庫 (建立基準和記憶)
長期記憶是代理的智慧、建立基準和個人化功能的基礎，與即時對話的快速短期情境不同。其架構包含三個核心元件：
- 結構化知識庫，適用於以事實為基礎的檢索增強生成 (RAG)
- 永久儲存空間，適用於經過彙整的使用者記憶。代理不會儲存所有歷史互動，而是生成並儲存使用者、團隊或工作的顯著事實，以提供持續的個人化體驗
- 作業資料湖泊，適用於對話轉錄稿和工作流程狀態等原始資料，以執行更複雜的認知程序和未來的數據分析
用途
取得所有相關資訊
法律代理立即擷取判例法、內部政策文件和訓練手冊，生成符合法律規定的合約初稿。
2. 工作記憶 (對話脈絡和短期狀態)
此層會管理進行中工作或對話所需的暫時資訊 (LLM 脈絡窗口)。為了維持靈敏的使用者體驗，必須提供極低延遲的存取服務，才能執行動作和觀察的疊代序列。
用途
進行實用的對話
客服專員會記錄多步驟疑難排解流程的狀態，記住使用者先前提供的序號或診斷步驟，避免重複作業。
3. 交易記憶體 (狀態管理和動作稽核)
此層負責以同步一致且完整的方式，記錄動作和狀態變更。這項服務可做為持久的記錄系統，從安全角度來看至關重要，且能為每個代理驅動的動作，提供不可否認的稽核追蹤記錄。
用途
維持持久帳本
供應鏈代理會記錄順利執行的複雜多方採購單，確保交易在財務系統中為永久追蹤和可驗證。
自動化調度管理
自動化調度管理是作業核心，可引導代理完成多步驟工作。對於需要多個動作的程序，它會判斷需要哪些工具、執行順序，以及如何結合輸出內容來達成最終目標。
自動化調度管理是代理的執行功能，也是打造複雜系統的關鍵，能自動執行複雜的業務程序。讓您能解決過去技術上無法處理的問題，最終打造出全新類型的應用程式和使用者體驗。
ReAct (推論 + 行動) 是常見且有效的自動化調度管理模式。這個架構結合了大型語言模型的推論和行動能力，建立動態的多輪迴圈，讓模型交錯生成推論軌跡 (想法) 和特定工作動作。
ReAct 的推論功能可協助模型追蹤及更新行動計畫，而行動功能則可從外部工具收集資訊，做為推論過程的參考。運作方式如下：
- 原因：代理評估目標和目前狀態，並假設下一個最佳步驟，以及是否需要工具。
- 行動：代理選取並叫用適當的工具。
- 觀察：代理會收到工具的輸出內容。這項新資訊會整合至代理的脈絡資料，以及週期的下一個「推論」步驟中的動態饋給。
應用實例
跨部門的人資自動化
為了讓新進員工順利上手，代理會依序在多個系統中啟動動作。首先，在系統中建立員工記錄；接著觸發 API 呼叫，通知 IT 代理佈建硬體和網路憑證；最後，讓員工參加必要的區域法規遵循訓練課程。
主動修復供應鏈
為自動偵測並解決運送中斷問題，代理會按照重要步驟協調運作。首先，監控警告會觸發工具，查詢替代供應商。接著執行模擬工具，計算並比較更換供應商與延遲出貨的成本效益。最後，如果經人機迴圈審核通過，就會執行動作，向物流代理提交新的訂購單。
執行階段
如要將可運作的代理原型大規模部署至正式環境，您需要穩固的執行階段基礎架構，並整合一套完整的服務系統，以處理建立基準、工具、記憶體、工作階段等。確保您的代理能在安全、高效能的生態系統中運作，滿足全球企業成長的複雜需求。
正式等級的執行階段環境需要：
擴充性：基礎架構必須能自動調整資源配置，以處理從零到數百萬個要求的各種負載。包括以要求為依據的負載平衡，以及按資源計算的自動調度資源功能，可有效管理運算需求。
安全與控管：平台必須提供安全的執行環境，管理使用者和代理的身分、機構政策、工具和代理註冊資料庫、網路存取控管機制，以及安全的通訊管道 (例如 TLS)，保護代理和其存取的資料。
可靠性和觀測能力：系統必須包含錯誤處理和持續監控機制。如要進行複雜的偵錯作業，執行階段必須擷取高保真的執行追蹤記錄，也就是逐步記錄代理的推論過程和工具呼叫。這能完整呈現決策過程，讓團隊在發生意外失敗時，可以明確找出原因。如要進行高階監督，系統必須包含工作完成度、使用者意見回饋等指標。透過自動化模擬和評估，在部署至正式環境前後都能保有信心。
