本指南說明您可以在模型要求中設定的選用取樣參數。每個模型可用的參數可能不盡相同。詳情請參閱參考說明文件。 本頁面涵蓋下列主題:
「Top-P」會影響模型選取輸出符記的方式。模型會按照可能性最高到最低的順序選取符記,直到所選符記的可能性總和等於 Top-P 值。舉例來說,假設詞元 A、B 和 C 的可能性分別為 0.3、0.2 和 0.1,而「Top-P」值為 如要取得較不隨機的回覆,請指定較低的值;如要取得較隨機的回覆,請調高此值。
系統會在生成回覆時使用溫度進行取樣,也就是套用 如果模型的回覆太普通、太短或提供了備用回覆,再試試看調高 Temperature。 溫度越低,結果越可預測 (但並非完全確定)。詳情請參閱 設定 在
正值會懲罰在生成的文字中重複出現的符記,降低重複內容的機率。最小值為
正值會懲罰已出現在生成文字中的符記,提高生成更多元內容的機率。最小值為 使用這些參數可在回應中傳回更多權杖相關資訊,或控管回應的變異性。
在每個生成步驟中,傳回最有可能的候選符記的記錄機率。模型選取的符記可能與每個步驟中的最佳候選符記不同。在 詳情請參閱「Logprobs 簡介」筆記本。
如果將種子固定為特定值,模型會盡可能為重複要求提供相同的回覆。我們不保證輸出內容具有確定性。
此外,即使使用相同的種子值,如果變更模型或參數設定 (例如溫度),回覆還是有可能不同。根據預設,系統會使用隨機種子值。詳情請參閱 以下範例說明如何使用參數調整模型的回覆。
詳情請參閱
SDK 參考說明文件。
設定環境變數,透過 Vertex AI 使用 Gen AI SDK:
瞭解如何安裝或更新 Go。
詳情請參閱
SDK 參考說明文件。
設定環境變數,透過 Vertex AI 使用 Gen AI SDK:
權杖取樣參數
Top-P
0.5
,模型會依據 temperature 選擇 A 或 B 做為下一個詞元,並排除 C。topP
。
溫度參數
topP
和 topK
時。溫度參數會決定選取詞元時的隨機程度。
如果希望提示生成較不具開放性和創意性的回覆,建議調低溫度參數。另一方面,如果溫度參數較高,則可能產生較多元或有創意的結果。如果溫度參數為 0
,模型一律會選取可能性最高的詞元。在這種情況下,特定提示的回覆大多是確定性的,但仍可能出現少量差異。temperature
。停止參數
輸出詞元數量上限
maxOutputTokens
,限制回覆中生成的權杖數量。一個符記約為四個字元,因此 100 個符記大約對應 60 到 80 個字。將值設為偏低,即可限制回覆長度。停止序列
stopSequences
中定義字串,讓模型在回應中遇到其中一個字串時停止生成文字。如果字串在回應中出現多次,系統會在第一次遇到該字串的位置截斷回應。字串會區分大小寫。權杖懲處參數
頻率處罰
-2.0
。最大值為 2.0
,但不包括 2.0
。
詳情請參閱 frequencyPenalty
。標示狀態處罰
-2.0
。最大值為 2.0
,但不包括 2.0
。詳情請參閱 presencePenalty
。進階參數
輸出符記的記錄機率
1
到 20
的範圍內使用整數值,指定要傳回的候選人數。詳情請參閱 logprobs
。如要使用這項功能,您也需要將 responseLogprobs
參數設為 true
。responseLogprobs
參數會傳回模型在每個步驟中選擇的符記記錄機率。種子
seed
。範例
Python
安裝
pip install --upgrade google-genai
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
Go
# Replace the `GOOGLE_CLOUD_PROJECT` and `GOOGLE_CLOUD_LOCATION` values
# with appropriate values for your project.
export GOOGLE_CLOUD_PROJECT=GOOGLE_CLOUD_PROJECT
export GOOGLE_CLOUD_LOCATION=global
export GOOGLE_GENAI_USE_VERTEXAI=True
後續步驟
內容產生參數
除非另有註明,否則本頁面中的內容是採用創用 CC 姓名標示 4.0 授權,程式碼範例則為阿帕契 2.0 授權。詳情請參閱《Google Developers 網站政策》。Java 是 Oracle 和/或其關聯企業的註冊商標。
上次更新時間:2025-08-19 (世界標準時間)。