Kebijakan kuota

AI Platform Prediction membatasi alokasi dan penggunaan resource, serta menerapkan kuota yang sesuai berdasarkan per project. Kebijakan tertentu bervariasi bergantung pada ketersediaan resource, profil pengguna, histori service usage, serta faktor lainnya, dan dapat berubah tanpa pemberitahuan.

Bagian di bawah ini menguraikan secara ringkas batasan kuota sistem saat ini.

Batasan permintaan layanan

Anda hanya dapat membuat permintaan API individual dalam jumlah terbatas per interval 60 detik. Setiap batas berlaku untuk API atau grup API tertentu seperti yang dijelaskan di bagian berikut.

Anda dapat melihat kuota permintaan project Anda di API Manager for AI Platform Prediction di Google Cloud Console. Anda dapat mengajukan penambahan kuota dengan mengklik ikon edit di sebelah batas kuota, lalu mengklik Minta kuota lebih tinggi.

Permintaan tugas

Batas berikut berlaku untuk permintaan projects.jobs.create (tugas pelatihan dan prediksi batch digabungkan):

Jangka waktu Batas
60 detik 60

Permintaan prediksi online

Batas berikut berlaku untuk permintaan projects.predict:

Jangka waktu Batas
60 detik 600.000

Permintaan pengelolaan resource

Batas berikut berlaku untuk total gabungan semua permintaan yang didukung dalam daftar ini:

Jangka waktu Batas
60 detik 300

Selain itu, semua permintaan delete yang tercantum di atas dan semua versi permintaan create dibatasi maksimal 10 permintaan total gabungan serentak.

Kuota resource

Selain batas permintaan dari waktu ke waktu, berlaku juga batas penggunaan resource seperti ditunjukkan di bawah ini:

  • Jumlah maksimum model: 100.
  • Jumlah maksimum versi: 200. Batas versi ini adalah untuk jumlah total versi dalam project Anda, yang dapat didistribusikan ke semua model aktif sesuka Anda.

Batas ukuran model

Saat Anda membuat versi model, total ukuran file direktori model Anda harus 500 MB atau kurang jika Anda menggunakan jenis mesin (MLS1) lama atau 10 GB atau kurang jika Anda menggunakan jenis mesin Compute Engine (N1). Pelajari lebih lanjut jenis mesin untuk prediksi online.

Anda tidak dapat meminta peningkatan batas ukuran model ini.

Batas penggunaan serentak mesin virtual

Penggunaan resource pemrosesan Google Cloud oleh project Anda diukur berdasarkan jumlah mesin virtual yang digunakannya. Bagian ini menjelaskan batas penggunaan serentak resource ini di seluruh project Anda.

Batas node serentak untuk prediksi batch

Pada project standar, ketika pertama kali menggunakan AI Platform Prediction, jumlah node serentak yang digunakan untuk prediksi batch dibatasi:

  • Jumlah node prediksi serentak: 72.

Penggunaan node untuk prediksi online

AI Platform Prediction tidak menerapkan kuota pada penggunaan node untuk prediksi online. Baca selengkapnya tentang node prediksi dan alokasi resource.

Batasan penggunaan vCPU serentak untuk prediksi online

Pada suatu project umum, ketika pertama kali menggunakan AI Platform Prediction, jumlah vCPU serentak berikut dibatasi pada setiap endpoint regional saat Anda menggunakan jenis mesin Compute Engine (N1). Endpoint regional yang berbeda mungkin memiliki kuota yang berbeda, dan kuota untuk project Anda dapat berubah dari waktu ke waktu.

Total jumlah vCPU serentak di setiap endpoint regional:

  • us-central1: 450
  • us-east1: 450
  • us-east4: 20
  • us-west1: 450
  • northamerica-northeast1: 20
  • europe-west1: 450
  • europe-west2: 20
  • europe-west3: 20
  • europe-west4: 450
  • asia-east1: 450
  • asia-northeast1: 20
  • asia-southeast1: 450
  • australia-southeast1: 20

Ini adalah kuota default, dan Anda dapat meminta penambahan kuota.

Batasan penggunaan GPU serentak untuk prediksi online

Saat pertama kali menggunakan AI Platform Prediction, project standar dibatasi untuk jumlah GPU serentak berikut di setiap endpoint regional. Endpoint regional yang berbeda mungkin memiliki kuota yang berbeda, dan kuota untuk project Anda dapat berubah dari waktu ke waktu.

Total jumlah GPU serentak: Ini adalah jumlah maksimum GPU yang digunakan serentak, yang dibagi menurut jenis dan endpoint regional sebagai berikut:

  • Jumlah GPU Tesla K80 serentak:
    • us-central1: 30
    • us-east1: 30
    • europe-west1: 30
    • asia-east1: 30
  • Jumlah GPU Tesla P4 serentak:
    • us-central1: 2
    • us-east4: 2
    • northamerica-northeast1: 2
    • europe-west4: 2
    • asia-southeast1: 2
    • australia-southeast1: 2
  • Jumlah GPU Tesla P100 serentak:
    • us-central1: 30
    • us-east1: 30
    • us-west1: 30
    • europe-west1: 30
    • asia-southeast1: 30
  • Jumlah GPU Tesla T4 serentak:
    • us-central1: 6
    • us-east1: 6
    • us-west1: 6
    • europe-west2: 2
    • europe-west4: 6
    • asia-northeast1: 2
    • asia-southeast1: 6
  • Jumlah GPU Tesla V100 serentak:
    • us-central1: 2
    • us-west1: 2
    • europe-west4: 2

Ini adalah kuota default, dan Anda dapat meminta penambahan kuota.

GPU yang Anda gunakan untuk prediksi tidak dihitung sebagai GPU untuk Compute Engine, dan kuota untuk AI Platform Prediction tidak memberi Anda akses ke VM Compute Engine mana pun yang menggunakan GPU. Jika ingin meningkatkan VM Compute Engine menggunakan GPU, Anda harus meminta kuota GPU Compute Engine, seperti yang dijelaskan dalam dokumentasi Compute Engine.

Untuk informasi selengkapnya, lihat cara menggunakan GPU untuk prediksi online.

Meminta peningkatan kuota

Kuota yang tercantum di halaman ini dialokasikan per project, dan dapat meningkat dari waktu ke waktu seiring penggunaan. Jika memerlukan kemampuan pemrosesan lebih besar, Anda dapat mengajukan permohonan penambahan kuota dengan salah satu cara berikut:

  • Gunakan Konsol Google Cloud untuk meminta peningkatan kuota yang tercantum dalam API Manager for AI Platform Prediction:

    1. Temukan bagian kuota yang ingin Anda tambah.

    2. Klik ikon pensil di sebelah nilai kuota di bagian bawah diagram penggunaan untuk kuota itu.

    3. Masukkan penambahan yang Anda minta:

      • Jika nilai kuota yang diinginkan berada dalam rentang yang ditampilkan pada dialog batas kuota, masukkan nilai baru Anda, lalu klik Simpan.

      • Jika Anda ingin menambah kuota melampaui nilai maksimum yang ditampilkan, klik Minta kuota lebih tinggi dan ikuti petunjuk cara kedua untuk meminta penambahan kuota.

  • Jika Anda ingin menambah kuota yang tidak tercantum di Google Cloud Console, seperti kuota GPU, gunakan formulir Permintaan Kuota AI Platform untuk meminta penambahan kuota. Permintaan ini ditangani berdasarkan upaya terbaik, yang berarti tidak ada perjanjian tingkat layanan (SLA) atau tujuan tingkat layanan (SLO) yang terlibat dalam peninjauan permintaan ini.

Langkah selanjutnya