プロビジョニングされたスループットの概要

このページでは、プロビジョンド スループットの概要と使用方法について説明します。

プロビジョンド スループットの概要

プロビジョンド スループットは、Vertex AI でサポートされている生成 AI モデルのスループットを予約する、固定料金の固定期間サブスクリプションです。このサブスクリプションは、複数の期間で利用できます。スループットを予約するには、モデルと、モデルが実行される利用可能なロケーションを指定する必要があります。

プロビジョンド スループットの使用が適切なケース

ユースケースで次のいずれかの事項が該当する場合は、プロビジョニングされたスループットの使用を検討してください。

• chatbot やエージェントなどのリアルタイム生成 AI 本番環境アプリケーションを構築している。
• 重要なワークロードで常に高いスループットが求められる。スループットの測定はモデルによって異なります。
• アプリのユーザーに、一貫性があり予測可能なエクスペリエンスを提供したい。
• 月額または週単位の固定料金で生成 AI の費用を管理し、超過料金を制御したい。

プロビジョンド スループットは、生成 AI モデルを消費する 2 つの方法の一つです。2 つ目は従量課金制です。これはオンデマンドとも呼ばれます。

次のステップ

• プロビジョンド スループットを使用するサポートされているモデル。