Mendapatkan prediksi dari model terlatih kustom

Prediksi adalah output dari model machine learning yang telah dilatih. Halaman ini menyediakan ringkasan alur kerja untuk mendapatkan prediksi dari model Anda di Vertex AI.

Vertex AI menawarkan dua metode untuk mendapatkan prediksi:

  • Prediksi online adalah permintaan sinkron yang dibuat untuk model yang di-deploy ke endpoint. Oleh karena itu, sebelum mengirim permintaan, Anda harus men-deploy resource Model terlebih dahulu ke endpoint. Hal ini mengaitkan resource komputasi dengan model sehingga dapat menampilkan prediksi online dengan latensi rendah. Gunakan prediksi online saat Anda membuat permintaan sebagai respons terhadap input aplikasi atau dalam situasi yang memerlukan inferensi tepat waktu.

  • Prediksi batch adalah permintaan asinkron yang dibuat ke model yang tidak di-deploy ke endpoint. Anda mengirim permintaan (sebagai resource BatchPredictionsJob) langsung ke resource Model. Gunakan prediksi batch jika Anda tidak memerlukan respons langsung dan ingin memproses data yang terakumulasi menggunakan satu permintaan.

Menguji model Anda secara lokal

Sebelum mendapatkan prediksi, sebaiknya deploy model Anda ke endpoint lokal selama fase pengembangan dan pengujian. Hal ini memungkinkan Anda melakukan iterasi dengan lebih cepat dan menguji model tanpa men-deploy-nya ke endpoint online atau menimbulkan biaya prediksi. Deployment lokal ditujukan untuk pengembangan dan pengujian lokal, bukan untuk deployment produksi.

Untuk men-deploy model secara lokal, gunakan SDK Vertex AI untuk Python dan deploy LocalModel ke LocalEndpoint. Untuk demonstrasi, lihat notebook ini.

Meskipun klien Anda tidak ditulis dalam Python, Anda masih dapat menggunakan SDK Vertex AI untuk Python guna meluncurkan container dan server sehingga Anda dapat menguji permintaan dari klien.

Mendapatkan prediksi dari model terlatih kustom

Untuk mendapatkan prediksi, Anda harus mengimpor model terlebih dahulu. Setelah diimpor, resource tersebut menjadi resource Model yang terlihat di Vertex AI Model Registry.

Kemudian, baca dokumentasi berikut untuk mempelajari cara mendapatkan prediksi:

Langkah berikutnya