Sebelum dapat menjalankan proses machine learning (ML) di AI Platform Pipelines, Anda harus menentukan proses terlebih dahulu sebagai pipeline. Anda dapat mengatur proses ML sebagai pipeline menggunakan TensorFlow Extended (TFX) atau Kubeflow Pipelines SDK.
Dokumen ini memberikan panduan untuk memilih opsi terbaik dalam membuat pipeline, dan referensi untuk memulai.
- Jika Anda mengatur proses yang melatih model TensorFlow, gunakan TFX untuk membuat pipeline.
- Jika Anda mengorkestrasi proses yang melatih model menggunakan framework seperti PyTorch, XGBoost, dan scikit-learn, gunakan Kubeflow Pipelines SDK untuk membangun pipeline Anda.
Mem-build pipeline menggunakan TFX SDK
TFX adalah project open source yang dapat Anda gunakan untuk menentukan alur kerja ML sebagai pipeline. Saat ini, komponen TFX hanya dapat melatih model berbasis TensorFlow. TFX menyediakan komponen yang dapat Anda gunakan untuk menyerap dan mengubah data, melatih dan mengevaluasi model, men-deploy model terlatih untuk inferensi, dll. Dengan menggunakan TFX SDK, Anda dapat membuat pipeline untuk proses ML dari komponen TFX.
Untuk mulai mem-build pipeline dengan template pipeline TFX:
- Ikuti tutorial tentang pipeline TFX di Google Cloud.
- Baca Panduan Pengguna TFX untuk mempelajari lebih lanjut konsep dan komponen TFX.
Mem-build pipeline menggunakan Kubeflow Pipelines SDK
Kubeflow Pipelines SDK adalah SDK open source yang dapat Anda gunakan untuk mem-build pipeline ML kustom yang kompleks berdasarkan penampung. Anda dapat menggunakan kembali komponen bawaan atau mem-build komponen pipeline kustom menggunakan Kubeflow Pipelines SDK. Pada tingkat tinggi, Anda mem-build komponen dan pipeline dengan:
- Mengembangkan kode untuk setiap langkah dalam alur kerja menggunakan bahasa dan alat yang Anda sukai
- Membuat image container Docker untuk setiap kode langkah
- Menggunakan Python untuk menentukan pipeline menggunakan Kubeflow Pipelines SDK
Untuk mulai mem-build pipeline dengan Kubeflow Pipelines SDK:
- Baca Pengantar Kubeflow Pipelines SDK.
- Pelajari lebih lanjut pipeline Kubeflow dengan menjelajahi contoh Kubeflow Pipelines.
- Gunakan kembali komponen bawaan dengan mempelajari komponen pipeline Kubeflow di GitHub.
Langkah selanjutnya
- Pelajari cara menjalankan pipeline ML.