Apa yang dimaksud dengan Kubeflow?

Kubeflow sering kali digunakan untuk berbagai tugas machine learning, termasuk:

• Membangun alur kerja ML yang portabel dan skalabel: Pengguna dapat mendefinisikan alur kerja ML mereka sebagai pipeline yang dapat dengan mudah dibagikan dan di-deploy di berbagai lingkungan, sehingga meningkatkan konsistensi dan reproduksi dalam proses machine learning.
• Melatih model ML dalam skala besar: Kubeflow membantu mendistribusikan workload pelatihan di seluruh cluster Kubernetes, sehingga pengguna dapat melatih model pada set data yang lebih besar secara lebih efisien. Skalabilitas ini dapat bermanfaat untuk menangani volume data yang terus bertambah dalam aplikasi machine learning modern.
• Men-deploy model ML untuk produksi: Men-deploy model machine learning terlatih sebagai layanan yang skalabel dan dapat diandalkan, serta menjembatani kesenjangan antara pengembangan dan deployment model, dapat dilakukan lebih mudah dengan Kubeflow. Hal ini dapat menyederhanakan transisi dari eksperimen ke model ML yang siap produksi.
• Mengelola siklus proses ML: Kubeflow sering kali menyertakan fitur untuk melacak eksperimen, mengelola versi model, dan memantau performa model, yang menyederhanakan seluruh siklus proses machine learning. Pengelolaan komprehensif ini selaras dengan prinsip MLOps untuk pemantauan dan peningkatan berkelanjutan.

Kubeflow terdiri dari beberapa komponen yang dapat bekerja sama untuk menyediakan platform yang komprehensif. Berikut beberapa komponen utama:

Dengan memanfaatkan container Docker, Kubeflow Pipelines menyediakan platform untuk membuat dan men-deploy alur kerja machine learning yang portabel dan skalabel. Setiap pipeline bertindak sebagai blueprint, yang merinci langkah-langkah alur kerja ML dan interkoneksinya. Antarmuka yang mudah digunakan dalam Kubeflow Pipelines memungkinkan pengelolaan dan pelacakan eksperimen yang efisien, visualisasi eksekusi pipeline, serta pemeriksaan mendalam terhadap log dan metrik performa.

Katib adalah sistem penyesuaian hyperparameter untuk model machine learning. Menemukan kumpulan hyperparameter terbaik untuk model bisa jadi suatu proses yang menghabiskan waktu, tetapi Katib menjadikan proses ini otomatis. Katib mendukung berbagai algoritma penelusuran, seperti penelusuran grid, penelusuran acak, dan pengoptimalan Bayesian sehingga pengguna dapat mengoptimalkan performa model mereka secara lebih efisien.

KFServing menyediakan platform inferensi serverless untuk men-deploy model machine learning terlatih. Hal ini menyederhanakan deployment dan penskalaan model terlatih. KFServing mendukung berbagai framework machine learning, seperti TensorFlow, PyTorch, dan scikit-learn, sehingga menjadikannya tidak bergantung pada framework dan dapat disesuaikan dengan berbagai ekosistem ML.

Komponen Metadata Kubeflow menyediakan pelacakan silsilah dan artefak. Komponen ini membantu data scientist melacak eksperimen, set data, dan model mereka, sehingga memudahkan pengelolaan dan reproduksi pekerjaan mereka. Pelacakan metadata ini memfasilitasi kolaborasi antaranggota tim dan memastikan hasil dapat direproduksi.

Pengguna memiliki beberapa cara untuk mulai menggunakan Kubeflow, bergantung pada kebutuhan dan tingkat pengalaman masing-masing:

• Men-deploy Kubeflow ke Google Kubernetes Engine (GKE): Opsi ini memberikan fleksibilitas dan kontrol yang lebih besar atas deployment Kubeflow. Pengguna dapat menyesuaikan penginstalan untuk memenuhi persyaratan tertentu dan memiliki akses penuh ke cluster Kubernetes yang mendasarinya. Namun, pendekatan ini mungkin memerlukan lebih banyak keahlian Kubernetes dan mungkin lebih rumit.
• Menggunakan Vertex AI Pipelines: Opsi ini merupakan layanan terkelola sepenuhnya yang dapat mempermudah deployment dan menjalankan pipeline Kubeflow di Google Cloud. Vertex AI Pipelines menangani semua pengelolaan infrastruktur, sehingga pengguna dapat berfokus pada build dan menjalankan alur kerja ML. Pendekatan ini mungkin merupakan opsi yang bagus bagi mereka yang mencari solusi terkelola yang cepat dan mudah disiapkan.
• Menjelajahi Kubeflow di platform lain: Kubeflow juga dapat di-deploy ke lingkungan Kubernetes lainnya. Petunjuk penginstalan dan dokumentasi untuk platform ini dapat ditemukan di situs Kubeflow.