Kebijakan kuota

AI Platform Prediction membatasi alokasi dan penggunaan resource, serta menerapkan kuota yang sesuai berdasarkan per project. Kebijakan tertentu bervariasi bergantung pada ketersediaan resource, profil pengguna, histori service usage, serta faktor lainnya, dan dapat berubah tanpa pemberitahuan.

Bagian di bawah ini menguraikan secara ringkas batasan kuota sistem saat ini.

Batasan permintaan layanan

Anda hanya dapat membuat permintaan API individual dalam jumlah terbatas per interval 60 detik. Setiap batas berlaku untuk API atau grup API tertentu seperti yang dijelaskan di bagian berikut.

Anda dapat melihat kuota permintaan project di API Manager untuk AI Platform Prediction di Google Cloud Console. Anda dapat mengajukan penambahan kuota dengan mengklik ikon edit di sebelah batas kuota, lalu mengklik Minta kuota lebih tinggi.

Permintaan tugas

Batas berikut berlaku untuk permintaan projects.jobs.create (tugas pelatihan dan prediksi batch digabungkan):

Jangka waktu Batas
60 detik 60

Permintaan prediksi online

Batas berikut berlaku untuk permintaan projects.predict:

Jangka waktu Batas
60 detik 600.000

Permintaan pengelolaan resource

Batas berikut berlaku untuk total gabungan semua permintaan yang didukung dalam daftar ini:

Jangka waktu Batas
60 detik 300

Selain itu, semua permintaan delete yang tercantum di atas dan semua versi permintaan create dibatasi maksimal 10 permintaan total gabungan serentak.

Kuota resource

Selain batas permintaan dari waktu ke waktu, berlaku juga batas penggunaan resource seperti ditunjukkan di bawah ini:

  • Jumlah maksimum model: 100.
  • Jumlah maksimum versi: 200. Batas versi ini adalah untuk jumlah total versi dalam project Anda, yang dapat didistribusikan ke semua model aktif sesuka Anda.

Batas ukuran model

Saat Anda membuat versi model, ukuran file total direktori model Anda harus 500 MB atau kurang jika Anda menggunakan jenis mesin lama (MLS1) atau 10 GB atau kurang jika Anda menggunakan jenis mesin Compute Engine (N1). Pelajari lebih lanjut jenis mesin untuk prediksi online.

Anda tidak dapat meminta peningkatan untuk batas ukuran model ini.

Batas penggunaan serentak mesin virtual

Penggunaan resource pemrosesan Google Cloud oleh project Anda diukur berdasarkan jumlah virtual machine yang digunakan. Bagian ini menjelaskan batas penggunaan serentak resource ini di seluruh project Anda.

Batas node serentak untuk prediksi batch

Sebuah project standar, ketika pertama kali menggunakan AI Platform Prediction, dikenai batasan untuk jumlah node serentak yang dapat digunakan dalam prediksi batch:

  • Jumlah node prediksi serentak: 72.

Penggunaan node untuk prediksi online

AI Platform Prediction tidak menerapkan kuota penggunaan node untuk prediksi online. Baca selengkapnya tentang node prediksi dan alokasi resource.

Batas penggunaan vCPU serentak untuk prediksi online

Sebuah project standar, ketika pertama kali menggunakan AI Platform Prediction, dibatasi jumlah vCPU serentak berikut di setiap endpoint regional saat Anda menggunakan jenis mesin Compute Engine (N1). Endpoint regional yang berbeda mungkin memiliki kuota yang berbeda, dan kuota untuk project Anda mungkin berubah seiring waktu.

Total jumlah vCPU serentak di setiap endpoint regional:

  • us-central1: 450
  • us-east1: 450
  • us-east4: 20
  • us-west1: 450
  • northamerica-northeast1: 20
  • europe-west1: 450
  • europe-west2: 20
  • europe-west3: 20
  • europe-west4: 450
  • asia-east1: 450
  • asia-northeast1: 20
  • asia-southeast1: 450
  • australia-southeast1: 20

Ini adalah kuota default, dan Anda dapat meminta peningkatan kuota.

Batas penggunaan GPU serentak untuk prediksi online

Sebuah project standar, ketika pertama kali menggunakan AI Platform Prediction, dikenai batasan sebagai berikut untuk jumlah GPU serentak di setiap endpoint regional. Endpoint regional yang berbeda mungkin memiliki kuota yang berbeda, dan kuota untuk project Anda mungkin berubah dari waktu ke waktu.

Jumlah total GPU serentak: Ini adalah jumlah maksimum GPU yang digunakan serentak, yang dibagi menurut jenis dan endpoint regional sebagai berikut:

  • Jumlah GPU Tesla P4 serentak:
    • us-central1: 2
    • us-east4: 2
    • northamerica-northeast1: 2
    • europe-west4: 2
    • asia-southeast1: 2
    • australia-southeast1: 2
  • Jumlah GPU Tesla P100 serentak:
    • us-central1: 30
    • us-east1: 30
    • us-west1: 30
    • europe-west1: 30
    • asia-southeast1: 30
  • Jumlah GPU Tesla T4 serentak:
    • us-central1: 6
    • us-east1: 6
    • us-west1: 6
    • europe-west2: 2
    • europe-west4: 6
    • asia-northeast1: 2
    • asia-southeast1: 6
  • Jumlah GPU Tesla V100 serentak:
    • us-central1: 2
    • us-west1: 2
    • europe-west4: 2

Ini adalah kuota default, dan Anda dapat meminta peningkatan kuota.

GPU yang Anda gunakan untuk prediksi tidak dihitung sebagai GPU untuk Compute Engine, dan kuota untuk AI Platform Prediction tidak memberi Anda akses ke VM Compute Engine mana pun yang menggunakan GPU. Jika ingin meningkatkan VM Compute Engine menggunakan GPU, Anda harus meminta kuota GPU Compute Engine, seperti yang dijelaskan dalam dokumentasi Compute Engine.

Untuk mengetahui informasi selengkapnya, lihat cara menggunakan GPU untuk prediksi online.

Meminta penambahan kuota

Kuota yang tercantum di halaman ini dialokasikan per project, dan dapat meningkat dari waktu ke waktu seiring penggunaan. Jika memerlukan kemampuan pemrosesan lebih besar, Anda dapat mengajukan penambahan kuota dengan salah satu cara berikut:

  • Gunakan konsol Google Cloud untuk meminta penambahan kuota yang tercantum dalam API Manager untuk AI Platform Prediction:

    1. Temukan bagian kuota yang ingin Anda tambah.

    2. Klik ikon pensil di sebelah nilai kuota di bagian bawah diagram penggunaan untuk kuota itu.

    3. Masukkan penambahan yang Anda minta:

      • Jika nilai kuota yang diinginkan berada dalam rentang yang ditampilkan pada dialog batas kuota, masukkan nilai baru Anda, lalu klik Simpan.

      • Jika Anda ingin menambah kuota melampaui nilai maksimum yang ditampilkan, klik Minta kuota lebih tinggi dan ikuti petunjuk cara kedua untuk meminta penambahan kuota.

  • Jika Anda ingin meningkatkan kuota yang tidak tercantum di konsol Google Cloud, seperti kuota GPU, gunakan formulir Permintaan Kuota Platform AI untuk meminta penambahan kuota. Permintaan ini ditangani berdasarkan upaya terbaik, yang berarti tidak ada perjanjian tingkat layanan (SLA) atau tujuan tingkat layanan (SLO) yang terlibat dalam peninjauan permintaan ini.

Langkah selanjutnya