AI Platform Prediction menyediakan dua cara untuk mendapatkan prediksi dari model yang dilatih: prediksi online (terkadang disebut prediksi HTTP), dan prediksi batch. Dalam kedua kasus tersebut, Anda meneruskan data input ke model machine learning yang dihosting di cloud dan mendapatkan inferensi untuk setiap instance data. Perbedaannya ditampilkan dalam tabel berikut:
| Prediksi online | Prediksi batch |
|---|---|
| Dioptimalkan untuk meminimalkan latensi penyajian prediksi. | Dioptimalkan untuk menangani volume instance yang tinggi dalam tugas dan menjalankan model yang lebih kompleks. |
| Dapat memproses satu atau beberapa instance per permintaan. | Dapat memproses satu atau beberapa instance per permintaan. |
| Prediksi yang ditampilkan dalam pesan respons. | Prediksi yang ditulis ke file output di lokasi Cloud Storage yang Anda tentukan. |
| Data input diteruskan langsung sebagai string JSON. | Data input yang diteruskan secara tidak langsung sebagai satu atau beberapa URI file di lokasi Cloud Storage. |
| Ditampilkan sesegera mungkin. | Permintaan asinkron. |
|
Akun dengan peran IAM berikut dapat meminta prediksi online: |
Akun dengan peran IAM berikut dapat meminta prediksi batch: |
| Berjalan pada versi runtime dan di region yang dipilih saat Anda men-deploy model. | Dapat berjalan di region mana pun yang tersedia, menggunakan runtime versi 2.1 atau yang lebih lama. Meskipun Anda harus menjalankan dengan setelan default untuk versi model yang di-deploy. |
| Menjalankan model yang di-deploy ke AI Platform Prediction. | Menjalankan model yang di-deploy ke AI Platform Prediction atau model yang disimpan di lokasi Google Cloud Storage yang dapat diakses. |
| Dapat dikonfigurasi untuk menggunakan berbagai jenis virtual machine untuk node prediksi. |
Jika menjalankan model yang di-deploy ke AI Platform Prediction, harus menggunakan
jenis mesin
mls1-c1-m2.
|
| Dapat menayangkan prediksi dari TensorFlow SavedModel atau rutinitas prediksi kustom (beta), serta model scikit-learn dan XGBoost. | Dapat menayangkan prediksi dari TensorFlow SavedModel. |
| $0,045147 hingga $0,151962 per jam node (Amerika). Harga bergantung pada pemilihan jenis mesin. | $0,0791205 per jam node (Amerika). |
Kebutuhan aplikasi Anda menentukan jenis prediksi yang harus digunakan.
Secara umum, Anda harus menggunakan prediksi online saat membuat permintaan sebagai respons terhadap input aplikasi atau dalam situasi lain yang memerlukan inferensi tepat waktu.
Prediksi batch ideal untuk memproses data yang terakumulasi jika Anda tidak memerlukan hasil langsung. Misalnya, tugas berkala yang mendapatkan prediksi untuk semua data yang dikumpulkan sejak tugas terakhir.
Anda juga harus mempertimbangkan keputusan Anda dengan potensi perbedaan dalam biaya prediksi.
Latensi prediksi batch
Jika menggunakan model sederhana dan sekumpulan kecil instance input, Anda akan mendapati bahwa ada perbedaan yang cukup besar antara waktu yang diperlukan untuk menyelesaikan permintaan prediksi yang identik menggunakan prediksi online versus batch. Mungkin perlu waktu beberapa menit untuk menyelesaikan prediksi yang ditampilkan hampir secara instan oleh permintaan online. Hal ini merupakan efek samping dari infrastruktur yang berbeda yang digunakan oleh dua metode prediksi. AI Platform Prediction mengalokasikan dan melakukan inisialisasi resource untuk tugas prediksi batch saat Anda mengirim permintaan. Prediksi online biasanya siap diproses pada saat permintaan.
Langkah selanjutnya
Baca ringkasan prediksi untuk mengetahui informasi selengkapnya tentang prediksi.
Atau, lanjutkan ke bagian membuat prediksi online atau membuat prediksi batch.