Jika jumlah permintaan Anda melebihi kapasitas yang dialokasikan untuk memproses permintaan, kode error 429 akan ditampilkan. Tabel berikut menampilkan pesan error yang dihasilkan oleh setiap jenis framework kuota:
| Framework kuota | Pesan |
|---|---|
| Bayar sesuai penggunaan | Resource exhausted, please try again later. |
| Throughput yang Disediakan | Too many requests. Exceeded the Provisioned Throughput. |
Dengan langganan Throughput yang Disediakan, Anda dapat mencadangkan jumlah throughput untuk model AI generatif tertentu. Jika Anda tidak memiliki langganan Throughput yang Disediakan dan resource tidak tersedia untuk aplikasi Anda, kode error 429 akan ditampilkan. Meskipun tidak memiliki kapasitas yang dicadangkan, Anda dapat mencoba permintaan lagi. Namun, permintaan
tidak dihitung terhadap rasio error Anda seperti yang dijelaskan dalam perjanjian tingkat
layanan (SLA).
Untuk project yang telah membeli Throughput yang Disediakan, Vertex AI mengukur throughput project dan mencadangkan jumlah throughput yang dibeli untuk penggunaan aktual project.
Untuk Throughput yang Disediakan standar, saat Anda menggunakan lebih sedikit dari jumlah yang dibeli, error yang mungkin berupa 429 akan ditampilkan sebagai 5XX dan dihitung dalam tingkat error SLA. Untuk Throughput yang Disediakan Zona Tunggal,
jika Anda menggunakan kurang dari jumlah yang dibeli, error 429 terkait kapasitas akan
diperlakukan sebagai 5XX, tetapi tidak dihitung dalam rasio error SLA. Jika Anda melebihi jumlah yang dibeli, permintaan tambahan akan diproses sesuai permintaan dengan model bayar sesuai penggunaan.
Bayar sesuai penggunaan
Dalam framework kuota bayar sesuai penggunaan, Anda memiliki opsi berikut untuk menyelesaikan error 429:
- Gunakan endpoint global, bukan endpoint regional jika memungkinkan.
- Terapkan strategi percobaan ulang dengan menggunakan backoff eksponensial yang dipangkas.
- Jika model Anda menggunakan kuota, Anda dapat mengirimkan Permintaan Penambahan Kuota (QIR). Jika model Anda menggunakan Kuota bersama dinamis, meratakan traffic dan mengurangi lonjakan besar dapat membantu. Untuk mengetahui informasi selengkapnya, lihat Kuota bersama dinamis (DSQ).
- Berlangganan Throughput yang Disediakan untuk tingkat layanan yang lebih konsisten. Untuk mengetahui informasi selengkapnya, lihat Throughput yang Disediakan.
Throughput yang Disediakan
Untuk memperbaiki error 429 yang dihasilkan oleh Throughput yang Disediakan, lakukan hal berikut:
- Gunakan contoh Perilaku default, yang tidak menetapkan header dalam permintaan prediksi. Semua kelebihan akan diproses on-demand dan ditagih sebagai bayar sesuai penggunaan.
- Tingkatkan jumlah GSU dalam langganan Throughput yang Disediakan.
Langkah berikutnya
- Untuk mempelajari lebih lanjut kuota bersama dinamis, lihat Kuota bersama dinamis.
- Untuk mempelajari lebih lanjut Throughput yang Disediakan, lihat Throughput yang Disediakan.
- Untuk mempelajari kuota dan batas Vertex AI, lihat Kuota dan batas Vertex AI.
- Untuk mempelajari lebih lanjut Google Cloud kuota dan batas sistem, lihat dokumentasi Cloud Quotas.
- Untuk mempelajari error API lebih lanjut, lihat Error API.