Halaman ini memberikan detail yang perlu dipertimbangkan sebelum berlangganan Provisioned Throughput, izin yang harus Anda miliki untuk membuat atau melihat pesanan Provisioned Throughput, dan petunjuk untuk membuat dan melihat pesanan.
Hal yang harus dipertimbangkan sebelum berlangganan
Untuk membantu Anda memutuskan apakah ingin berlangganan Provisioned Throughput, tinjau daftar detail tentang langganan ini:
Anda tidak dapat membatalkan pesanan.
Pembelian Throughput yang Disediakan adalah komitmen, yang berarti Anda tidak dapat membatalkan pesanan. Namun, Anda dapat meningkatkan jumlah GSU yang dibeli. Jika Anda tidak sengaja membeli komitmen atau ada masalah dengan konfigurasi, hubungi Google Cloud perwakilan akun untuk mendapatkan bantuan.
Anda dapat memperpanjang langganan secara otomatis.
Saat mengirimkan pesanan, Anda dapat memilih untuk memperpanjang langganan secara otomatis di akhir masa berlakunya, atau membiarkan langganan berakhir masa berlakunya. Anda dapat membatalkan proses perpanjangan otomatis. Untuk membatalkan langganan sebelum diperpanjang otomatis, batalkan perpanjangan otomatis 30 hari sebelum awal periode berikutnya.
Anda dapat mengonfigurasi langganan bulanan agar diperpanjang secara otomatis setiap bulan. Jangka waktu mingguan tidak mendukung perpanjangan otomatis.
Jika Anda memerlukan bantuan terkait proses ini, hubungi Google Cloud perwakilan akun Anda.
Anda dapat mengubah versi model atau region dengan pemberitahuan.
Setelah Anda memilih project, region, model, dan versi, Throughput yang Disediakan akan diaktifkan setelah pesanan Anda disetujui. Dalam waktu 10 hari kerja setelah pesanan disetujui, Anda dapat mengubah versi model dalam penayang atau wilayah model menggunakan konsol Google Cloud untuk model Google. Untuk mengetahui informasi selengkapnya, lihat Mengubah urutan Provisioned Throughput. Anda juga dapat menghubungi Google Cloud perwakilan akun untuk mendapatkan bantuan.
Anda hanya dapat beralih antarmodel dari vendor yang sama. Misalnya, Anda dapat beralih antara model Google atau antara model partner A. Namun, Anda tidak dapat beralih antara model Google dan model partner A.
Tidak ada periode nonaktif saat Anda beralih ke Provisioned Throughput dari bayar sesuai penggunaan.
Tidak ada periode nonaktif saat Anda beralih antarmodel untuk pesanan Throughput yang Disediakan. Namun, waktu tunggu untuk memperoleh throughput diperlukan.
Secara default, kelebihan kuota akan ditagih sebagai bayar sesuai pemakaian.
Jika throughput Anda melebihi jumlah pesanan Throughput yang Disediakan, kelebihan akan diproses dan ditagih sebagai bayar sesuai pemakaian. Anda dapat mengontrol kelebihan berdasarkan per permintaan. Untuk informasi selengkapnya, lihat Menggunakan REST API.
Permintaan diprioritaskan.
Permintaan dari pelanggan Provisioned Throughput diprioritaskan dan dilayani terlebih dahulu sebelum permintaan on-demand.
Anda harus berkomitmen untuk penggunaan minimum dan pembayaran.
Penggunaan minimum bergantung pada model AI generatif yang Anda pilih. Setiap penggunaan di luar kapasitas throughput yang dibeli tidak dijamin dan diberikan layanan berdasarkan upaya yang wajar.
Throughput tidak terakumulasi.
Kapasitas yang tidak digunakan tidak akan diakumulasikan atau dialihkan ke bulan berikutnya.
Throughput yang Disediakan diukur berdasarkan karakter atau token per detik.
Throughput yang Disediakan diukur berdasarkan karakter atau token per detik, bukan kueri per menit (QPM). Akibatnya, pengukuran throughput yang disediakan bergantung pada ukuran kueri dan QPM kasus penggunaan Anda.
Throughput yang Disediakan memeriksa kuota Anda.
Kuota Throughput yang Disediakan diperiksa setiap kali Anda membuat permintaan dalam periode kuota. Untuk model
gemini-1.5-flash-002dangemini-1.5-pro-002, periode kuota adalah 30 detik. Artinya, Anda mungkin mengalami traffic dengan prioritas sementara yang melebihi jumlah kuota per detik dalam beberapa kasus, tetapi Anda tidak boleh melebihi kuota per 30 detik. Periode kuota untuk model lain adalah satu menit.Endpoint model yang di-fine-tune dan diawasi serta model dasarnya yang sesuai dihitung dalam kuota Throughput yang Disediakan yang sama. Ini adalah fitur Pratinjau. Isi dan kirimkan formulir kontrol akses Throughput yang Disediakan.
Misalnya, Throughput yang Disediakan yang dibeli untuk
gemini-1.5-pro-002untuk project tertentu memprioritaskan permintaan yang dibuat dari versigemini-1.5-pro-002yang disesuaikan dan diawasi yang dibuat dalam project tersebut. Gunakan header yang sesuai untuk mengontrol perilaku traffic.
Izin
Untuk berlangganan Throughput yang Disediakan, Anda harus memiliki salah satu izin berikut yang ditetapkan ke project, yang memungkinkan Anda mencantumkan dan melakukan pesanan baru.
aiplatform.googleapis.com/provisionedThroughputAdmin: Khusus untuk Throughput yang Disediakan.aiplatform.googleapis.com/admin: Memberikan hak administratif ke setiap resource di Vertex AI.
Peran ini memungkinkan Anda hanya mencantumkan pesanan:
aiplatform.googleapis.com/viewer
Memesan Throughput yang Disediakan
Sebelum Anda melakukan pemesanan untuk menggunakan model Imagen, kirimkan Permintaan untuk memberikan izin agar Anda diberi izin.
Sebelum Anda melakukan pemesanan untuk menggunakan MedLM-large-1.5, hubungi Google Cloud perwakilan akun untuk meminta akses. Jika Anda memperkirakan QPM akan melebihi 30.000, untuk memaksimalkan pesanan Throughput yang Disediakan, minta peningkatan pada kuota sistem Vertex AI default menggunakan informasi berikut:
- Service: Vertex AI API.
- Nama:
Online prediction requests per minute per region - Jenis layanan: Kuota.
- Dimensi: Region tempat Anda memesan Provisioned Throughput.
- Nilai: Ini adalah batas traffic prediksi online yang Anda pilih.
Ikuti langkah-langkah berikut untuk membeli Provisioned Throughput:
Konsol
- Di konsol Google Cloud, buka halaman Provisioned Throughput.
- Untuk memulai pesanan baru, klik Buat.
- Masukkan Nama pesanan.
- Pilih Model.
- Pilih Region.
- Masukkan Jumlah unit skala AI generatif (GSUs) yang harus Anda
beli. Jika Anda harus memperkirakan jumlah GSU, klik
Alat estimasi.
- Pilih Model Anda.
- Masukkan jumlah Kueri per detik.
- Masukkan jumlah Karakter input per kueri.
- Masukkan jumlah Gambar input per kueri.
- Masukkan jumlah Detik video per kueri.
- Masukkan jumlah Detik audio per kueri.
- Masukkan jumlah Karakter output per kueri.
- Jika Anda ingin menggunakan nilai yang dimasukkan ke alat estimasi, klik Gunakan yang dihitung.
- Pilih Persyaratan.
Jika memilih satu minggu, Anda memiliki opsi untuk memberikan tanggal dan waktu mulai dalam dua minggu ke depan setelah melakukan pemesanan. Jika Anda tidak memberikan tanggal dan waktu mulai, kami akan memproses pesanan segera setelah kami dapat memastikan bahwa kapasitas tersedia. Tanggal dan waktu mulai yang diminta akan diproses berdasarkan upaya terbaik, dan pesanan tidak dijamin akan dipenuhi pada tanggal ini hingga status pesanan ditetapkan ke Disetujui.
Jika tanggal mulai yang diminta terlalu dekat dengan tanggal saat ini, pesanan Anda mungkin disetujui dan diaktifkan setelah tanggal mulai yang diminta, yang berarti tanggal akhir Anda tetap tujuh hari sejak tanggal aktivasi.
- Pilih opsi Perpanjangan.
- Klik Lanjutkan.
- Di bagian Ringkasan, tinjau estimasi harga dan throughput untuk pesanan Anda. Baca persyaratan yang tercantum dan ditautkan dalam formulir.
- Untuk menyelesaikan pesanan, klik Konfirmasi.
Mengubah urutan Throughput yang Disediakan
Tabel ini menjelaskan cara mengubah pesanan Provisioned Throughput melalui Konsol Google Cloud berdasarkan status pesanan dan kondisi yang ada. Untuk meminta akses ke fitur pratinjau ini, isi dan kirimkan formulir kontrol akses Throughput Disediakan.
| Status pesanan | Tindakan | Catatan | Langkah-langkah di konsol Google Cloud |
|---|---|---|---|
| Menunggu peninjauan | Anda dapat membatalkan pesanan. |
Jika Anda memiliki perubahan tambahan pada pesanan, batalkan pesanan yang tertunda, lalu lakukan pesanan baru. Jika Anda memiliki beberapa model, setiap model hanya dapat memiliki satu revisi pesanan tertunda atau pesanan tertunda dalam satu waktu. |
Untuk membatalkan pesanan yang tertunda di konsol Google Cloud, lakukan hal berikut:
|
| Aktif |
Anda dapat meningkatkan GSU pada pesanan yang ada. Anda dapat mengaktifkan atau menonaktifkan perpanjangan otomatis. Anda dapat mengubah versi model. |
Jika kedua kondisi ini terpenuhi, Anda tidak dapat mengubah pesanan:
|
Untuk mengubah pesanan aktif di konsol Google Cloud, gunakan salah satu metode berikut:
|
Memeriksa status pesanan
Setelah Anda mengirimkan pesanan Provisioned Throughput, status pesanan mungkin muncul sebagai salah satu dari berikut:
- Menunggu peninjauan: Anda telah melakukan pemesanan. Karena persetujuan bergantung pada kapasitas yang tersedia untuk menyediakan pesanan Anda, pesanan Anda sedang menunggu peninjauan dan persetujuan. Untuk mengetahui informasi selengkapnya tentang status pesanan yang tertunda, hubungi Google Cloud perwakilan akun Anda.
- Disetujui: Google telah menyetujui pesanan Anda.
- Aktif: Google telah mengaktifkan pesanan Anda, lalu penagihan dimulai.
- Berakhir: Masa berlaku pesanan Anda telah berakhir.
Melihat pesanan Throughput yang Disediakan
Ikuti langkah-langkah berikut untuk melihat pesanan Throughput yang Disediakan:
Konsol
- Di konsol Google Cloud, buka halaman Provisioned Throughput.
- Pilih Region. Daftar pesanan Anda akan muncul.