Ringkasan Throughput yang Disediakan

Halaman ini menjelaskan apa yang dimaksud dengan Provisioned Throughput dan kapan harus menggunakan Provisioned Throughput.

Pengantar Throughput yang Disediakan

Throughput yang Disediakan adalah langganan bulanan dengan biaya tetap atau layanan mingguan yang mencadangkan throughput untuk model AI generatif yang didukung di Vertex AI. Untuk mencadangkan throughput, Anda harus menentukan model dan lokasi yang tersedia tempat model dijalankan.

Kapan harus menggunakan Throughput yang Disediakan

Jika salah satu pertimbangan berikut berlaku untuk kasus penggunaan Anda, pertimbangkan untuk menggunakan Throughput yang Disediakan:

  • Anda sedang membangun aplikasi produksi AI generatif real-time, seperti chatbot dan agen.
  • Beban kerja penting Anda secara konsisten memerlukan throughput tinggi. Pengukuran throughput bergantung pada model.
  • Anda ingin memberikan pengalaman yang konsisten dan dapat diprediksi bagi pengguna aplikasi Anda.
  • Anda menginginkan biaya AI generatif deterministik dengan membayar harga bulanan atau mingguan tetap dengan kontrol kelebihan.

Throughput yang Disediakan adalah salah satu dari dua cara untuk menggunakan model AI generatif Anda. Cara kedua adalah bayar sesuai pemakaian, yang juga disebut sebagai on-demand.

Langkah berikutnya