Ringkasan cara mendapatkan inferensi di Vertex AI

Inferensi adalah output dari model machine learning yang telah dilatih. Halaman ini menyediakan ringkasan alur kerja untuk mendapatkan inferensi dari model Anda di Vertex AI.

Vertex AI menawarkan dua metode untuk mendapatkan inferensi:

  • Inferensi online adalah permintaan sinkron yang dibuat untuk model yang di-deploy ke Endpoint. Oleh karena itu, sebelum mengirim permintaan, Anda harus men-deploy resource Model ke endpoint terlebih dahulu. Hal ini mengaitkan resource komputasi dengan model sehingga model dapat menyajikan inferensi online dengan latensi rendah. Gunakan inferensi online saat Anda membuat permintaan sebagai respons terhadap input aplikasi atau dalam situasi yang memerlukan inferensi tepat waktu.
  • Inferensi batch adalah permintaan asinkron yang dibuat ke model yang tidak di-deploy ke endpoint. Anda mengirim permintaan (sebagai resource BatchPredictionJob ) langsung ke resource Model. Gunakan inferensi batch jika Anda tidak memerlukan respons langsung dan ingin memproses data yang terakumulasi menggunakan satu permintaan.

Mendapatkan inferensi dari model terlatih kustom

Untuk mendapatkan inferensi, Anda harus mengimpor model terlebih dahulu. Setelah diimpor, resource tersebut menjadi resource Model yang terlihat di Vertex AI Model Registry.

Kemudian, baca dokumentasi berikut untuk mempelajari cara mendapatkan inferensi:

Mendapatkan inferensi dari model AutoML

Tidak seperti model terlatih kustom, model AutoML secara otomatis diimpor ke Vertex AI Model Registry setelah pelatihan.

Selain itu, alur kerja untuk model AutoML serupa, tetapi sedikit berbeda berdasarkan jenis data dan tujuan model Anda. Dokumentasi untuk mendapatkan inferensi AutoML terletak di samping dokumentasi AutoML lainnya. Berikut adalah link dokumentasinya:

Gambar

Pelajari cara mendapatkan inferensi dari jenis model AutoML gambar berikut:

Berbentuk tabel

Pelajari cara mendapatkan inferensi dari jenis model AutoML tabular berikut:

Mendapatkan inferensi dari model BigQuery ML

Anda bisa mendapatkan inferensi dari model BigQuery ML dengan dua cara:

  • Minta inferensi batch langsung dari model di BigQuery ML.
  • Daftarkan model secara langsung dengan Model Registry, tanpa mengekspornya dari BigQuery ML atau mengimpornya ke Model Registry.