Une composante essentielle de la méthode scientifique consiste à enregistrer vos observations et les paramètres d'un test. En science des données, il est également essentiel de suivre les paramètres, les artefacts et les métriques utilisés dans un test de machine learning (ML). Ces métadonnées vous aident à:
- analyser des exécutions d'un système de ML en production pour comprendre les variations de qualité des prédictions ;
- analyser des tests de ML pour comparer l'efficacité de différents ensembles d'hyperparamètres ;
- assurer la traçabilité des artefacts de ML, tels que des ensembles de données et des modèles, pour comprendre ce qui a contribué à la création d'un artefact ou comment cet artefact a été utilisé pour créer des artefacts descendants ;
- réexécuter un workflow de ML avec les mêmes artefacts et paramètres ;
- suivre l'utilisation en aval des artefacts de ML à des fins de gouvernance.
Vertex ML Metadata vous permet d'enregistrer les métadonnées et les artefacts générés par votre système de ML et de les interroger pour faciliter l'analyse, le débogage et l'audit des performances de votre système de ML ou des artefacts qu'il crée.
Vertex ML Metadata s'appuie sur les concepts utilisés dans la bibliothèque Open Source ML Metadata (MLMD) développée par l'équipe TensorFlow Extended de Google.
Présentation de Vertex ML Metadata
Vertex ML Metadata capture les métadonnées d'un système de ML sous la forme d'un graphique.
Dans le graphique de métadonnées, les artefacts et les exécutions sont des nœuds, et les événements sont des arêtes qui associent les artefacts en tant qu'entrées ou sorties d'exécutions. Les contextes représentent des sous-graphes permettant de regrouper de manière logique des ensembles d'artefacts et d'exécutions.
Vous pouvez appliquer des métadonnées de paires clé-valeur aux artefacts, aux exécutions et au contexte. Par exemple, un modèle peut contenir des métadonnées décrivant le framework utilisé pour entraîner le modèle et générer des métriques de performances, telles que la justesse, la précision et le rappel du modèle.
Apprenez-en plus sur le suivi des métadonnées de votre système de ML. Si vous souhaitez analyser les métadonnées de Vertex AI Pipelines, consultez ce tutoriel détaillé.
Traçabilité des artefacts de ML
Pour comprendre les variations de performances de votre système de ML, vous devez pouvoir analyser les métadonnées générées par votre workflow de ML et la traçabilité de ses artefacts. La traçabilité d'un artefact inclut tous les facteurs qui ont contribué à sa création, ainsi que les artefacts et les métadonnées descendant de cet artefact.
Par exemple, la traçabilité d'un modèle peut inclure les éléments suivants :
- Données d'entraînement, de test et d'évaluation utilisées pour créer le modèle
- Hyperparamètres utilisés lors de l'entraînement du modèle
- Code utilisé pour entraîner le modèle
- Métadonnées enregistrées à partir du processus d'entraînement et d'évaluation, telles que la justesse du modèle
- Artefacts descendant de ce modèle, tels que les résultats des prédictions par lot
En suivant les métadonnées de votre système de ML à l'aide de Vertex ML Metadata, vous pouvez répondre aux questions suivantes:
- Quel ensemble de données a été utilisé pour entraîner un modèle donné ?
- Parmi les modèles de mon organisation, lesquels ont été entraînés à l'aide d'un ensemble de données spécifique ?
- Quelle exécution a produit le modèle le plus précis et quels hyperparamètres ont été utilisés pour entraîner le modèle ?
- Sur quelles cibles de déploiement un modèle donné a-t-il été déployé et à quel moment a-t-il été déployé ?
- Quelle version de votre modèle a été utilisée pour créer une prédiction à un moment donné ?
Apprenez-en plus sur l'analyse des métadonnées de votre système de ML.