• Pemrosesan asinkron: Prediksi dibuat berdasarkan jadwal yang telah ditentukan (misalnya, per jam, per hari) atau sesuai permintaan, bukan secara real time saat data baru masuk
• Throughput tinggi: Sistem ini dioptimalkan untuk memproses sejumlah besar titik data dalam satu kali proses, sehingga sangat efisien
• Efektivitas biaya: Dengan menjalankan tugas sesuai jadwal, Anda dapat menggunakan resource komputasi saat paling tersedia atau paling murah, sehingga menurunkan biaya operasional secara signifikan
• Toleransi latensi: Asumsi utamanya adalah aplikasi yang menggunakan prediksi tidak memerlukan jawaban segera; penundaan beberapa menit atau jam antara pengumpulan data dan pembuatan prediksi dapat diterima

Memilih antara inferensi batch dan online adalah keputusan arsitektur mendasar dalam mendesain sistem machine learning. Setiap pendekatan memiliki tujuan yang berbeda dan dioptimalkan untuk karakteristik performa yang berbeda.

Pipeline inferensi batch adalah alur kerja terstruktur dan otomatis yang memindahkan data dari status mentahnya ke prediksi yang dapat ditindaklanjuti. Proses ini dapat dipecah menjadi langkah-langkah utama berikut, yang biasanya diatur oleh pengelola alur kerja atau sistem penjadwalan.

Proses ini dimulai dengan mengakumulasi data dari waktu ke waktu. Data input ini, yang dapat mencakup log aktivitas pengguna, catatan transaksi, atau pembacaan sensor, dikumpulkan dari berbagai sumber dan ditempatkan di lokasi penyimpanan terpusat. Hal ini sering kali berupa data lake yang dibangun di layanan seperti Google Cloud Storage atau data warehouse seperti BigQuery.

Pipeline inferensi dimulai oleh pemicu. Pemicu ini dapat berupa:

• Berdasarkan waktu: Penjadwal (seperti cron job) memulai tugas pada interval reguler, misalnya setiap malam pukul 01.00.
• Berbasis peristiwa: Tugas dimulai sebagai respons terhadap peristiwa tertentu, seperti kedatangan file data baru di bucket Cloud Storage

Setelah dipicu, tugas akan memuat seluruh batch data input mentah. Kemudian, pipeline ini melakukan langkah-langkah prapemrosesan dan rekayasa fitur yang diperlukan untuk mengubah data menjadi format yang tepat seperti yang diharapkan model machine learning. Hal ini dapat mencakup tugas seperti membersihkan nilai yang hilang, menskalakan fitur numerik, dan mengodekan variabel kategoris.

Sistem mengambil model machine learning terlatih dari repositori pusat, seperti Vertex AI Model Registry. Batch data yang telah diproses sebelumnya kemudian dimasukkan ke model, yang menjalankan inferensi pada setiap pengamatan dalam set untuk menghasilkan prediksi yang sesuai.

Output model—kumpulan prediksi—kemudian ditulis ke sistem penyimpanan. Tujuan ini dipilih berdasarkan cara penggunaan prediksi. Tujuan umum mencakup pemuatan hasil ke dalam tabel BigQuery untuk analisis, database Cloud SQL untuk pencarian cepat oleh aplikasi, atau menyimpannya sebagai file di Cloud Storage.

Dengan prediksi yang kini disimpan dan siap digunakan, sistem hilir dapat menggunakannya. Alat kecerdasan bisnis dapat mengkueri hasil untuk membuat dasbor perilaku pelanggan yang diprediksi. Backend aplikasi web dapat memuat rekomendasi produk yang telah dikomputasi sebelumnya untuk ditampilkan kepada pengguna, atau platform otomatisasi pemasaran dapat menarik daftar pelanggan yang diprediksi akan melakukan churn untuk menargetkan mereka dengan kampanye baru.

Inferensi batch adalah metode yang disukai untuk banyak proses bisnis inti yang prediksinya meningkatkan kualitas produk atau layanan tanpa perlu dibuat secara real time. Pendekatan ini dapat sangat efektif di berbagai industri untuk memecahkan masalah data berskala besar.

Vertex AI adalah platform machine learning terkelola Google Cloud, dan menyediakan pendekatan serverless yang efisien untuk inferensi batch. Proses ini berfokus pada konfigurasi tugas dan membiarkan platform menangani infrastruktur yang mendasarinya.

Sebelum memulai, Anda memerlukan tiga hal penting:

• Model terlatih, yang harus diupload ke Vertex AI Model Registry
• Data input Anda, diformat sesuai kebutuhan model Anda; data ini harus berada di Google Cloud Storage (misalnya, sebagai file JSON atau CSV) atau tabel BigQuery
• Lokasi tujuan untuk output, yang juga akan menjadi bucket Cloud Storage atau tabel BigQuery

Anda dapat memulai tugas melalui konsol Google Cloud, alat command line gcloud, atau secara terprogram menggunakan Vertex AI SDK. Saat membuat tugas, Anda akan memberikan konfigurasi berikut:

• Model spesifik dari Model Registry yang ingin Anda gunakan
• Jalur ke data input Anda dan lokasi untuk hasil output Anda
• Jenis mesin dan akselerator (misalnya, GPU) yang ingin Anda gunakan untuk tugas tersebut; hal ini memungkinkan Anda menyeimbangkan biaya dan performa

Setelah Anda mengirimkan tugas, Vertex AI akan mengambil alih. Layanan ini otomatis menyediakan resource komputasi yang Anda tentukan, menjalankan data input Anda melalui model, menghasilkan prediksi, dan menyimpannya ke lokasi output yang ditentukan. Setelah tugas selesai, Vertex AI otomatis menurunkan skala semua resource menjadi nol, sehingga Anda hanya membayar waktu komputasi yang Anda gunakan. Anda dapat memantau progres tugas dan melihat log secara langsung di Konsol Google Cloud.

Setelah status tugas ditampilkan sebagai "Succeeded", prediksi Anda sudah siap. File output di Cloud Storage atau tabel baru di BigQuery kini dapat diakses oleh aplikasi downstream, alat analisis, atau dasbor BI Anda.