リクエスト数がリクエストの処理に割り当てられた容量を超えると、エラーコード 429
が返されます。次の表に、各タイプの割り当てフレームワークによって生成されるエラー メッセージを示します。
割り当てフレームワーク | メッセージ |
---|---|
従量課金制 | Resource exhausted, please try again later. |
プロビジョニングされたスループット | Too many requests. Exceeded the Provisioned Throughput. |
プロビジョニングされたスループットのサブスクリプションを使用すると、特定の生成 AI モデルのために一定量のスループットを予約できます。プロビジョニングされたスループットのサブスクリプションがなく、アプリケーションでリソースを使用できない場合、エラーコード 429
が返されます。予約済みの容量がない状況でも、再度リクエストを試すことはできます。ただし、この場合のリクエストは、サービスレベル契約(SLA)に記載されているエラー率にカウントされません。
プロビジョニングされたスループットを購入したプロジェクトの場合、Vertex AI はプロジェクトのスループットを測定し、その量のスループットを予約して使用できるようにします。購入したスループット量を使い切っていない場合、通常なら 429
として返されるエラーが 5XX
として返され、SLA に記載されているエラー率の一部としてカウントされます。
従量課金制
従量課金制の割り当てフレームワークでは、429
エラーを解決するために次のオプションがあります。
- 切り捨て型指数バックオフを使用して再試行方法を実装する。
- コンシューマ オーバーライドを設定して費用を管理するように構成している場合は、上限を増やす。詳細については、動的共有割り当てをご覧ください。
- より一貫したサービスレベルを実現するために、プロビジョンド スループットに登録する。詳細については、プロビジョンド スループットをご覧ください。
プロビジョニングされたスループット
プロビジョニングされたスループットによって生成された 429 エラーを修正するには、次の操作を行います。
- 予測リクエストでヘッダーを設定しないデフォルトの動作の例を使用します。超過分はオンデマンドで処理され、従量課金制で請求されます。
- プロビジョニング スループットのサブスクリプションの GSU 数を増やします。
次のステップ
- 動的共有割り当ての詳細を確認する。動的共有割り当てをご覧ください。
- プロビジョニングされたスループットの詳細については、プロビジョニングされたスループットをご覧ください。
- Vertex AI の割り当てと上限の詳細について、Vertex AI の割り当てと上限を確認する。
- Google Cloud の割り当てと上限の詳細については、割り当ての値とシステムの上限についてをご覧ください。