调优后的模型、文本嵌入和 Vertex AI Agent Engine 配额和限制

本页面提供了经过调优的模型配额、文本嵌入限制和 Vertex AI Agent Engine 配额。

已调参模型配额

以下配额适用于给定项目和区域的 Vertex AI 上的生成式 AI 调优模型

配额	值
每个区域的受限图片训练 TPU V3 pod 核心数 *受支持的区域 - europe-west4	64
每个区域的受限图片训练 Nvidia A100 80GB GPU * 支持的区域 - us-central1 * 支持的区域 - us-east4	8 2

* 在特定区域中，调优场景具有加速器预留。支持调优配额，并且必须在特定区域中申请。

文本嵌入限制

每个文本嵌入模型请求最多可以包含 250 个输入文本（每个输入文本生成 1 个嵌入），每个请求最多可以包含 2 万个令牌。

系统仅使用每个输入文本中的前 8,192 个词元来计算嵌入。每个请求可能只包含一条输入文本。

Vertex AI Agent Engine 限制

以下限制适用于每个区域中给定项目的 Vertex AI Agent Engine。

说明	限制
每分钟创建/删除/更新的 Vertex AI Agent Engine 数量	10
每分钟的 Query/StreamQuery Vertex AI Agent Engine 数量	60
Vertex AI Agent Engine 资源数量上限	100

后续步骤

• 如需了解 Vertex AI 的配额和限制，请参阅 Vertex AI 配额和限制。
• 如需详细了解 Google Cloud 配额和限制，请参阅了解配额值和系统限制。