Vertex AI 上的 OpenAI 模型提供全代管的無伺服器模型,並以 API 形式提供。如要在 Vertex AI 上使用 OpenAI 模型,請直接將要求傳送至 Vertex AI API 端點。由於 OpenAI 模型使用受管理 API,因此不需要佈建或管理基礎架構。
您可以串流回應,減少使用者感受到的延遲時間。串流回應會使用伺服器推送事件 (SSE) 逐步串流回應。
可用的 OpenAI 模型
您可以在 Vertex AI 中使用 OpenAI 的下列模型。如要存取 OpenAI 模型,請前往 Model Garden 的模型資訊卡。
gpt-oss 120B
OpenAI gpt-oss 120B 是依據 Apache 2.0 授權發布的 120B 開放權重語言模型。非常適合用於推理和函式呼叫用途。這個模型經過最佳化處理,可部署在消費型硬體上。
120B 模型在核心推理基準方面,幾乎與 OpenAI o4-mini 相當,而且只需單一 80GB GPU 即可執行。
gpt-oss 20B
OpenAI gpt-oss 20B 是依據 Apache 2.0 授權發布的 200 億參數開放權重語言模型。非常適合用於推理和函式呼叫用途。這個模型經過最佳化處理,可部署在消費型硬體上。
20B 模型在常見基準上的結果與 OpenAI o3-mini 相似,且可在記憶體為 16 GB 的邊緣裝置上執行,因此非常適合用於裝置端情境、本機推論或快速疊代,不必使用昂貴的基礎架構。
使用 OpenAI 模型
如要瞭解如何對 OpenAI 模型發出串流和非串流呼叫,請參閱「呼叫開放模型 API」。
後續步驟
- 瞭解如何呼叫開放模型 API。