Avant de pouvoir exécuter votre processus de machine learning (ML) sur AI Platform Pipelines, vous devez d'abord définir votre processus en tant que pipeline. Vous pouvez orchestrer votre processus de ML en tant que pipeline à l'aide de TensorFlow Extended (TFX) ou du SDK Kubeflow Pipelines.
Ce document fournit des conseils pour choisir la meilleure option pour créer votre pipeline, ainsi que des ressources pour démarrer.
- Si vous orchestrez un processus qui entraîne un modèle TensorFlow, utilisez TFX pour créer votre pipeline.
- Si vous orchestrez un processus qui entraîne un modèle à l'aide de frameworks tels que PyTorch, XGBoost et scikit-learn, utilisez le SDK Kubeflow Pipelines pour créer votre pipeline.
Créer des pipelines à l'aide du SDK TFX
TFX est un projet Open Source que vous pouvez utiliser pour définir votre processus de ML en tant que pipeline. Actuellement, les composants TFX peuvent uniquement entraîner des modèles basés sur TensorFlow. TFX fournit des composants permettant d'intégrer et de transformer des données, d'entraîner et d'évaluer un modèle, de déployer un modèle entraîné d'inférence, etc. Avec le SDK TFX, vous pouvez créer un pipeline pour votre processus de ML à partir de composants TFX.
Pour commencer à créer des pipelines avec des modèles de pipeline TFX, procédez comme suit :
- Suivez le tutoriel sur les pipelines TFX sur Google Cloud.
- Pour en savoir plus sur les concepts et les composants TFX, consultez le Guide de l'utilisateur de TFX.
Créer des pipelines à l'aide du SDK Kubeflow Pipelines
Le SDK Kubeflow Pipelines est un SDK Open Source que vous pouvez utiliser pour créer des pipelines de ML personnalisés complexes basés sur des conteneurs. Vous pouvez réutiliser des composants prédéfinis ou créer des composants de pipeline personnalisés à l'aide du SDK Kubeflow Pipelines. En règle générale, vous créez des composants et des pipelines en :
- développant le code pour chaque étape de votre workflow en utilisant votre langage et vos outils préférés ;
- créant une image de conteneur Docker pour le code de chaque étape ;
- utilisant Python pour définir votre pipeline à l'aide du SDK Kubeflow Pipelines.
Pour commencer à créer des pipelines avec le SDK Kubeflow Pipelines :
- Consultez la Présentation du SDK Kubeflow Pipelines.
- Pour en savoir plus sur les pipelines Kubeflow, parcourez les exemples Kubeflow Pipelines.
- Réutilisez des composants prédéfinis en explorant les composants Kubeflow Pipelines sur GitHub.
Étapes suivantes
- Apprenez à exécuter vos pipelines de ML.