Pengantar Vertex AI

Vertex AI adalah platform machine learning (ML) yang memungkinkan Anda melatih dan men-deploy model ML dan aplikasi AI, serta menyesuaikan model bahasa besar (LLM) untuk digunakan dalam aplikasi yang didukung teknologi AI. Vertex AI menggabungkan data engineering, data science, dan alur kerja engineering ML sehingga tim Anda dapat berkolaborasi menggunakan kumpulan alat yang umum dan menskalakan aplikasi menggunakan manfaat Google Cloud.

Vertex AI menyediakan beberapa opsi untuk pelatihan dan deployment model:

  • AutoML memungkinkan Anda melatih data tabulasi, gambar, teks, atau video tanpa perlu menulis kode atau menyiapkan pemisahan data.

  • Pelatihan kustom memberi Anda kontrol penuh atas proses pelatihan, termasuk menggunakan framework ML pilihan Anda, menulis kode pelatihan Anda sendiri, dan memilih opsi penyesuaian hyperparameter.

  • Dengan Model Garden, Anda dapat menemukan, menguji, menyesuaikan, dan men-deploy Vertex AI serta memilih model dan aset open-source (OSS).

  • AI Generatif memberi Anda akses ke model AI generatif besar dari Google untuk berbagai modalitas (teks, kode, gambar, ucapan). Anda dapat menyesuaikan LLM Google untuk memenuhi kebutuhan, lalu men-deploy-nya untuk digunakan dalam aplikasi yang didukung teknologi AI.

Setelah Anda men-deploy model, gunakan alat MLOps menyeluruh Vertex AI untuk mengotomatiskan dan menskalakan project di seluruh siklus proses ML. Alat MLOps ini dijalankan di infrastruktur yang terkelola sepenuhnya dan dapat disesuaikan berdasarkan performa dan kebutuhan anggaran Anda.

Anda dapat menggunakan Vertex AI SDK untuk Python guna menjalankan seluruh alur kerja machine learning di Vertex AI Workbench, lingkungan pengembangan berbasis notebook Jupyter. Anda dapat berkolaborasi dengan tim untuk mengembangkan model di Colab Enterprise, sebuah versi Colaboratory yang terintegrasi dengan Vertex AI. Antarmuka yang tersedia lainnya meliputi konsol Google Cloud, alat command line gcloud, library klien, dan Terraform (dukungan terbatas).

Alur kerja Vertex AI dan machine learning (ML)

Bagian ini memberikan ringkasan tentang alur kerja machine learning dan cara menggunakan Vertex AI untuk membangun serta men-deploy model Anda.

diagram alur kerja ML

  1. Persiapan data: Setelah mengekstrak dan membersihkan set data, lakukan analisis data eksploratif (EDA) untuk memahami skema dan karakteristik data yang diharapkan oleh model ML. Terapkan transformasi data dan rekayasa fitur ke model, lalu pisahkan data menjadi set pelatihan, validasi, dan pengujian.

    • Jelajahi dan visualisasikan data menggunakan notebook Vertex AI Workbench. Vertex AI Workbench terintegrasi dengan Cloud Storage dan BigQuery untuk membantu Anda mengakses serta memproses data dengan lebih cepat.

    • Untuk set data besar, gunakan Dataproc Serverless Spark dari notebook Vertex AI Workbench untuk menjalankan workload Spark tanpa harus mengelola cluster Dataproc Anda sendiri.

  2. Pelatihan model: Pilih metode pelatihan untuk melatih model dan menyesuaikannya untuk performa.

    • Untuk melatih model tanpa menulis kode, lihat ringkasan AutoML. AutoML mendukung data tabulasi, gambar, teks, dan video.

    • Untuk menulis kode pelatihan Anda sendiri dan melatih model kustom menggunakan framework ML pilihan Anda, lihat Ringkasan pelatihan kustom.

    • Optimalkan hyperparameter untuk model yang dilatih khusus menggunakan tugas penyesuaian kustom.

    • Vertex AI Vizier menyesuaikan hyperparameter untuk Anda dalam model machine learning (ML) yang kompleks.

    • Gunakan Vertex AI Experiments untuk melatih model Anda menggunakan berbagai teknik ML dan bandingkan hasilnya.

    • Daftarkan model terlatih Anda di Vertex AI Model Registry untuk pembuatan versi dan penyerahan ke produksi. Vertex AI Model Registry terintegrasi dengan fitur validasi dan deployment seperti evaluasi dan endpoint model.

  3. Evaluasi dan iterasi model: Evaluasi model yang telah dilatih, sesuaikan data Anda berdasarkan metrik evaluasi, dan lakukan iterasi pada model Anda.

    • Gunakan metrik evaluasi model, seperti presisi dan perolehan, untuk mengevaluasi serta membandingkan performa model Anda. Buat evaluasi melalui Vertex AI Model Registry, atau sertakan evaluasi dalam alur kerja Vertex AI Pipelines Anda.

  4. Penyaluran model: Deploy model Anda ke produksi dan dapatkan prediksi.

    • Deploy model yang dilatih khusus menggunakan container prebuilt atau kustom untuk mendapatkan prediksi online secara real-time (terkadang disebut prediksi HTTP).

    • Dapatkan prediksi tumpukan asinkron, yang tidak memerlukan deployment ke endpoint.

    • Dengan runtime TensorFlow yang dioptimalkan, Anda dapat melakukan inferensi model TensorFlow dengan biaya lebih rendah dan latensi lebih rendah dibandingkan container TensorFlow Serving bawaan berbasis open source.

    • Untuk kasus inferensi online dengan model tabulasi, gunakan Vertex AI Feature Store untuk melakukan inferensi fitur dari repositori pusat dan memantau kondisi fitur.

    • Vertex Explainable AI membantu Anda memahami cara setiap fitur berkontribusi terhadap prediksi model (atribusi fitur) dan menemukan data yang salah diberi label dari set data pelatihan (penjelasan berbasis contoh).

    • Deploy dan dapatkan prediksi online untuk model yang dilatih dengan BigQuery ML.

  5. Pemantauan model: Memantau performa model yang di-deploy. Gunakan data prediksi yang masuk untuk melatih kembali model Anda agar mendapatkan performa yang lebih baik.

    • Vertex AI Model Monitoring memantau model untuk mencari diferensiasi performa pelatihan dan penayangan serta penyimpangan prediksi, lalu mengirimi Anda pemberitahuan saat data prediksi yang masuk menyimpang terlalu jauh dari dasar pengukuran pelatihan.

Langkah selanjutnya