Vertex AI 上的 OpenAI 模型以 API 形式提供全托管式无服务器模型。如需使用 Vertex AI 上的 OpenAI 模型,请直接向 Vertex AI API 端点发送请求。由于 OpenAI 模型使用托管式 API,因此无需预配或管理基础设施。
您可以流式传输回答,以降低最终用户对延迟时间的感知度。流式回答使用服务器发送的事件 (SSE) 来逐步流式传输回答。
可用的 OpenAI 模型
OpenAI 提供了以下模型,可在 Vertex AI 中使用。如需访问 OpenAI 模型,请前往其 Model Garden 模型卡片。
gpt-oss 120B
OpenAI gpt-oss 120B 是一款拥有 1200 亿参数的开源权重语言模型,根据 Apache 2.0 许可发布。它尤其适合用于推理和函数调用应用场景。该模型专为在消费级硬件上进行部署而优化。
120B 模型在核心推理基准方面与 OpenAI o4-mini 几乎相当,同时可在单个 80GB GPU 上运行。
gpt-oss 20B
OpenAI gpt-oss 20B 是一款拥有 200 亿参数的开源权重语言模型,根据 Apache 2.0 许可发布。它尤其适合用于推理和函数调用应用场景。该模型专为在消费级硬件上进行部署而优化。
在通用基准测试中,这款 200 亿参数模型的表现与 OpenAI o3-mini 相当,并且可在拥有 16GB 内存的边缘设备上运行,因此非常适合无需昂贵基础设施的设备端应用场景、本地推理或快速迭代。
使用 OpenAI 模型
如需了解如何对 OpenAI 模型进行流式调用和非流式调用,请参阅调用开放模型 API。
后续步骤
- 了解如何调用开放模型 API。