预配吞吐量概览

向预配吞吐量添加了预览版功能，这些功能受 Google Cloud 服务专用条款的“正式发布前产品条款”约束。我们对正式发布前产品和功能的支持可能比较有限，并且对正式发布前产品和功能的更改可能与其他正式发布前版本不兼容。如需了解详情，请参阅发布阶段说明。 此外，使用 Gemini API on Vertex AI 即表示您同意生成式 AI 预览版条款及条件（“预览版条款”）。

如需使用预览版功能，请填写并提交申请访问权限表单。

本页面介绍了预分配吞吐量是什么以及何时使用它。

预配吞吐量简介

预配置吞吐量是一种按固定费用收取的月度或周度订阅服务，可为 Vertex AI 上受支持的生成式 AI 模型预留吞吐量。如需预留吞吐量，您必须指定模型以及模型运行的可用位置。

何时使用预配吞吐量

如果您的用例符合以下任何注意事项，请考虑使用预分配吞吐量：

• 您要构建实时生成式 AI 生产应用，例如聊天机器人和代理。
• 您的关键工作负载始终需要高吞吐量。吞吐量测量取决于模型。
• 您希望为应用用户提供一致且可预测的体验。
• 您希望通过支付每月或每周固定价格来控制超额费用，从而实现确定性的生成式 AI 费用。

预配的吞吐量是使用生成式 AI 模型的两种方式之一。第二种方式是按用量付费，也称为按需付费。

后续步骤

• 使用预配吞吐量的支持模型。