Qu'est-ce que Kubeflow ?

Kubeflow est souvent utilisé pour différentes tâches de machine learning, dont les suivantes :

• Créer des workflows de ML portables et évolutifs : les utilisateurs peuvent définir leurs workflows de ML comme des pipelines qui peuvent être facilement partagés et déployés dans différents environnements, ce qui favorise la cohérence et la reproductibilité des processus de machine learning.
• Entraînement de modèles de ML à grande échelle : Kubeflow permet de distribuer les charges de travail d'entraînement dans un cluster Kubernetes, ce qui permet aux utilisateurs d'entraîner des modèles sur des ensembles de données plus volumineux de manière plus efficace. Cette évolutivité peut être utile pour gérer le volume croissant de données dans les applications modernes de machine learning.
• Déploiement de modèles de ML en production  : Kubeflow peut faciliter le déploiement de modèles de machine learning entraînés en tant que services évolutifs et fiables, et combler l'écart entre le développement et le déploiement de modèles. Cela permet de simplifier la transition des modèles de ML de l'expérimentation à la production.
• Gestion du cycle de vie du ML : Kubeflow inclut souvent des fonctionnalités permettant de suivre les tests, de gérer les versions des modèles et de surveiller leurs performances, ce qui simplifie l'ensemble du cycle de vie du machine learning. Cette gestion complète est conforme aux principes de MLOps de surveillance et d'amélioration continues.

Kubeflow comprend plusieurs composants qui peuvent fonctionner ensemble pour fournir une plate-forme complète. Voici quelques composants clés :

S'appuyant sur les conteneurs Docker, Kubeflow Pipelines fournit une plate-forme permettant de créer et de déployer des workflows de machine learning à la fois portables et évolutifs. Chaque pipeline agit comme un plan détaillé des étapes d'un workflow de ML et de leurs interconnexions. L'interface conviviale de Kubeflow Pipelines permet de gérer et de suivre efficacement les tests, de visualiser les exécutions de pipelines et d'examiner en détail les journaux et les métriques de performances.

Katib est un système de réglage des hyperparamètres pour les modèles de machine learning. Trouver le meilleur jeu d'hyperparamètres pour un modèle peut être un processus chronophage, mais Katib automatise cette tâche. Katib est compatible avec différents algorithmes de recherche, comme la recherche par grille, la recherche aléatoire et l'optimisation bayésienne, ce qui permet aux utilisateurs d'optimiser plus efficacement les performances de leur modèle.

KFServing fournit une plate-forme d'inférence sans serveur pour le déploiement de modèles de machine learning entraînés. Il simplifie le déploiement et le scaling des modèles entraînés. KFServing est compatible avec plusieurs frameworks de machine learning, tels que TensorFlow, PyTorch et scikit-learn. Il est donc indépendant du framework et adaptable à différents écosystèmes de ML.

Le composant Metadata de Kubeflow fournit le suivi de la généalogie et des artefacts. Ce composant aide les data scientists à suivre leurs tests, leurs ensembles de données et leurs modèles, ce qui facilite la gestion et la reproduction de leur travail. Ce suivi des métadonnées facilite la collaboration entre les membres de l'équipe et garantit la reproductibilité des résultats.

Les utilisateurs ont plusieurs possibilités pour se familiariser avec Kubeflow, en fonction de leurs besoins et de leur niveau d'expérience :

• Déploiement de Kubeflow dans Google Kubernetes Engine (GKE) : cette option offre une grande flexibilité et un contrôle important sur les déploiements Kubeflow. Les utilisateurs peuvent personnaliser l'installation pour répondre à des exigences spécifiques et avoir un accès complet au cluster Kubernetes sous-jacent. Toutefois, cette approche peut nécessiter une expertise plus poussée de Kubernetes et s'avérer plus complexe.
• Utiliser Vertex AI Pipelines : cette option est un service entièrement géré qui peut faciliter le déploiement et l'exécution de pipelines Kubeflow sur Google Cloud. Vertex AI Pipelines gère toute la gestion de l'infrastructure, ce qui permet aux utilisateurs de se concentrer sur la création et l'exécution de workflows de ML. Cette approche peut être une bonne option pour ceux qui recherchent une solution gérée facile et rapide à configurer.
• Découvrir Kubeflow sur d'autres plates-formes : Kubeflow peut également être déployé dans d'autres environnements Kubernetes. Vous trouverez les instructions d'installation et la documentation pour ces plates-formes sur le site Web de Kubeflow.