Prediksi AI Platform menyediakan dua cara untuk mendapatkan prediksi dari model terlatih: prediksi online (terkadang disebut prediksi HTTP), dan prediksi batch. Pada kedua kasus tersebut, Anda meneruskan data input ke model machine learning yang dihosting di cloud dan mendapatkan inferensi untuk setiap instance data. Perbedaannya ditampilkan dalam tabel berikut:
| Prediksi online | Prediksi batch |
|---|---|
| Dioptimalkan untuk meminimalkan latensi prediksi penayangan. | Dioptimalkan untuk menangani instance bervolume tinggi dalam suatu tugas dan untuk menjalankan model yang lebih kompleks. |
| Dapat memproses satu atau beberapa instance per permintaan. | Dapat memproses satu atau beberapa instance per permintaan. |
| Prediksi yang ditampilkan dalam pesan respons. | Prediksi yang ditulis ke file output di lokasi Cloud Storage yang Anda tentukan. |
| Data input yang diteruskan langsung sebagai string JSON. | Data input diteruskan secara tidak langsung sebagai satu atau beberapa URI file di lokasi Cloud Storage. |
| Hasilkan sesegera mungkin. | Permintaan asinkron. |
|
Akun dengan peran IAM berikut dapat meminta prediksi online: |
Akun dengan peran IAM berikut dapat meminta prediksi batch: |
| Berjalan pada versi runtime dan di region yang dipilih saat Anda men-deploy model. | Dapat berjalan di region mana pun yang tersedia, menggunakan runtime versi 2.1 atau yang lebih lama. Namun, Anda harus menjalankan setelan default untuk versi model yang di-deploy. |
| Menjalankan model yang di-deploy ke AI Platform Prediction. | Menjalankan model yang di-deploy ke AI Platform Prediction atau model yang disimpan di lokasi Google Cloud Storage yang dapat diakses. |
| Dapat dikonfigurasi agar menggunakan berbagai jenis virtual machine untuk node prediksi. |
Jika menjalankan model yang di-deploy ke AI Platform Prediction, Anda harus menggunakan jenis mesin mls1-c1-m2.
|
| Dapat menampilkan prediksi dari TensorFlowSavedModel atau rutinitas prediksi kustom (beta), serta model scikit-learn dan XGBoost. | Dapat menampilkan prediksi dari TensorFlowSavedModel. |
| $0,045147 hingga $0,151962 per jam kerja node (Amerika). Harga bergantung pada pemilihan jenis mesin. | $0,0791205 per jam kerja node (Amerika). |
Kebutuhan aplikasi Anda menentukan jenis prediksi yang harus Anda gunakan.
Secara umum, Anda harus menggunakan prediksi online saat membuat permintaan sebagai respons terhadap input aplikasi atau dalam situasi lain di mana inferensi tepat waktu diperlukan.
Prediksi batch cocok untuk memproses data yang terakumulasi saat Anda tidak memerlukan hasil langsung. Misalnya, tugas berkala yang mendapatkan prediksi untuk semua data yang dikumpulkan sejak tugas terakhir.
Anda juga harus memberi tahu keputusan Anda dengan potensi perbedaan biaya prediksi.
Latensi prediksi batch
Jika Anda menggunakan model sederhana dan serangkaian kecil instance input, Anda akan menemukan bahwa ada perbedaan besar antara waktu yang diperlukan untuk menyelesaikan permintaan prediksi identik menggunakan prediksi online versus prediksi batch. Mungkin diperlukan tugas batch beberapa menit untuk menyelesaikan prediksi yang ditampilkan hampir seketika oleh permintaan online. Hal ini adalah efek samping dari berbagai infrastruktur yang digunakan oleh kedua metode prediksi tersebut. AI Platform Prediction mengalokasikan dan menginisialisasi resource untuk tugas prediksi batch saat Anda mengirim permintaan. Prediksi online biasanya siap diproses pada saat permintaan.
Langkah selanjutnya
Baca ringkasan prediksi untuk mengetahui informasi selengkapnya tentang prediksi.
Atau, lanjutkan ke membuat prediksi online atau membuat prediksi batch.