チューニング済みモデル、テキスト エンベディング、Vertex AI Agent Engine の割り当てと上限

このページでは、チューニング済みモデルの割り当て、テキスト エンベディングの上限、Vertex AI Agent Engine の割り当てについて説明します。

チューニング済みモデルの割り当て

特定のプロジェクトとリージョンに対して、Vertex AI の生成 AI のチューニング済みモデルには、次の割り当てが適用されます。

割り当て 値
リージョンごとの制限付きイメージ トレーニング TPU V3 Pod コア
* サポート対象のリージョン - europe-west4		 64
リージョンごとの制限付きイメージ トレーニング Nvidia A100 80 GB GPU
* サポート対象のリージョン - us-central1
* サポート対象のリージョン - us-east4
8
2
* チューニング シナリオでは、特定のリージョンでのアクセラレータの予約があります。チューニングの割り当てはサポートされているため、特定のリージョンでリクエストする必要があります。

テキスト エンベディングの上限

各テキスト エンベディング モデル リクエストには、最大 250 個の入力テキスト（入力テキストごとに 1 つのエンベディングを生成）と、リクエストごとに 20,000 個のトークンを指定できます。

エンベディングの計算には、各入力テキストの最初の 8,192 トークンのみが使用されます。各リクエストに含めることができる入力テキストは 1 つだけです。

Vertex AI エージェント エンジンの上限

各リージョンの特定のプロジェクトの Vertex AI Agent Engine には、次の上限が適用されます。

説明 上限
1 分あたりの Vertex AI Agent Engine の作成/削除/更新回数 10
1 分あたりの Vertex AI エージェント エンジンのクエリ/ストリーム クエリ 60
Vertex AI Agent Engine リソースの最大数 100

次のステップ