範例商店總覽

樣本儲存庫可儲存及動態擷取少量樣本。您可透過少量樣本向 LLM 展示預期的回覆模式,提升對類似查詢的回覆品質、準確率和一致性。

什麼是少樣本範例?

少樣本範例是指專為 LLM 用途標記的資料。當中包含輸入/輸出組合,可呈現模型要求預期的模型回覆。您可以透過範例向 LLM 展示預期的行為或回覆模式。

只要使用幾個相關範例,就能涵蓋更多可能的結果、預期行為和使用者輸入內容,而不會相應增加提示的大小或複雜度。方法包括只納入相關範例 (減少納入的範例數量),以及「展示而非說明」預期行為。

使用少量樣本範例是情境式學習的一種形式。範例會顯示清楚的輸入和輸出模式,但不會說明模型如何生成內容。您只需提供相對較少的範例,就能涵蓋更多可能的結果或使用者查詢,不必增加提示大小或程式碼複雜度。使用範例時,不需要更新預先訓練模型的參數,也不會影響 LLM 的知識廣度。因此,透過範例進行脈絡學習,是相對輕量且簡潔的方法,可自訂、修正或改善 LLM 對未見過提示的推理和回覆。

收集與使用者查詢相關的代表性範例,有助於模型維持注意力、展現預期模式,以及修正不正確或非預期的行為。這不會影響其他要求,也不會影響預期回應。

與所有提示工程策略一樣,使用少量樣本可輔助其他 LLM 最佳化技術,例如微調RAG

如何使用範例商店

以下步驟大致說明如何使用範例商店:

  1. 建立或重複使用 ExampleStore 資源,也稱為「範例商店執行個體」。

    • 每個區域和專案最多可有 50 個 Example Store 執行個體。
  2. 根據 LLM 回覆撰寫並上傳範例。可能的情境有兩種:

    • 如果 LLM 的行為和回覆模式符合預期,請根據這些回覆編寫範例,並上傳至範例商店執行個體。

    • 如果 LLM 顯示非預期的行為或回覆模式,請編寫範例,說明如何修正回覆,然後上傳至範例商店執行個體。

  3. 上傳的範例會立即提供給與範例商店執行個體相關聯的代理程式或 LLM 應用程式。

    • 如果以 Vertex AI Agent Development Kit 為基礎的代理程式已連結至 Example Store 執行個體,代理程式就會自動擷取範例,並將其納入 LLM 要求。

    • 如果是其他 LLM 應用程式,您必須搜尋並擷取範例,然後將其納入提示。

每當您發現 LLM 效能不符預期,或是遇到對抗性或非預期的使用者查詢時,都可以繼續將範例疊代新增至 Example Store 執行個體。您不需要更新程式碼或重新部署新版 LLM 應用程式。只要將範例上傳至範例商店執行個體,代理程式或應用程式就能立即使用。

此外,你還可以執行下列操作:

  • 在儲存的範例和查詢中的範例之間執行餘弦相似度搜尋,即可擷取範例。

  • 依函式名稱篩選範例,並將候選範例清單縮減為代表大型語言模型可能回應的範例。

  • 反覆改進代理程式或 LLM 應用程式。

  • 與多個代理程式或 LLM 應用程式分享範例。

撰寫少量樣本的指南

範例對模型效能的影響取決於提示中包含的範例類型和納入方式。

以下是撰寫範例時的一般建議做法:

  • 相關性和相似性:範例必須與特定工作或領域密切相關。這有助於模型專注於知識中最相關的層面、減少權杖用量,並維持甚至提升效能。如果這些範例與對話相關,您只需要較少的範例。可用的範例集必須能代表可能的使用者查詢。此外,範例必須與特定使用者查詢相關。

  • 複雜度:為協助 LLM 提升效能,請使用複雜度較低的範例,展示預期的推理過程。

  • 代表模型可能產生的結果:範例中的預期回應必須與可能結果一致。這樣一來,範例就能清楚展示與提示的 LLM 預期推理結果一致的推理過程。

  • 格式:為獲得最佳成效,請在提示中以與 LLM 訓練資料一致的方式,格式化少量樣本,並與對話記錄有所區別。提示中的範例格式會大幅影響 LLM 效能。

使用範例:函式呼叫

您可以使用少樣本範例,提升函式呼叫成效。 您可以採用一致的模式,指出使用者查詢的預期函式呼叫。範例可以模擬對要求的預期回應,包括需要呼叫的函式,以及函式呼叫中要加入的引數。假設函式 get_store_location 會傳回商店位置和說明。如果查詢未如預期叫用此函式,或顯示非預期的輸出內容,您可以提供少量範例,修正後續查詢的這類行為。

如要進一步瞭解函式呼叫,請參閱「函式呼叫」。

詳情請參閱「範例商店快速入門」。

後續步驟