Les tests Vertex AI sont un outil qui vous aide à suivre et à analyser différents hyperparamètres et environnements d'entraînement de modèles, ce qui vous permet de suivre les étapes, les entrées et les sorties d'une exécution de test. Ils peuvent également évaluer les performances de votre modèle de manière globale, par rapport aux ensembles de données de test et pendant la durée de l'entraînement. Vous pouvez alors exploiter ces informations pour sélectionner le modèle le plus adapté à votre cas d'utilisation particulier.
Les tests n'entraînent pas de frais supplémentaires. Vous ne payez que pour les ressources que vous utilisez pendant votre test, comme décrit dans les tarifs de Vertex AI.
| Que souhaitez-vous faire ? | Consultez le notebook d'exemple |
|---|---|
| suivre des métriques et des paramètres | Comparer des modèles |
| suivre la traçabilité des tests | Entraîner le modèle |
| suivre les exécutions du pipeline | Comparer les exécutions de pipeline |
Suivre les étapes, les entrées et les sorties
Les tests Vertex AI vous permettent de suivre :
- les étapes d'une exécution de test, par exemple le prétraitement et l'entraînement ;
- les entrées, par exemple l'algorithme, les paramètres, les ensembles de données ;
- les résultats de ces étapes, par exemple les modèles, les points de contrôle et les métriques.
Vous pouvez alors identifier ce qui a fonctionné et ce qui n'a pas fonctionné, puis identifier d'autres possibilités d'expérimentation.
Pour obtenir des exemples de parcours utilisateur, consultez les pages suivantes :
Analyser les performances du modèle
Les tests Vertex AI vous permettent de suivre et d'évaluer les performances des modèles associés de manière globale, par rapport aux ensembles de données de test et pendant la durée de l'entraînement. Cette capacité permet de comprendre les caractéristiques de performance des modèles, à savoir comment un modèle particulier fonctionne globalement, où il échoue et où il excelle.
Pour obtenir des exemples de parcours utilisateur, consultez les pages suivantes :
Comparer les performances des modèles
Les tests Vertex AI vous permettent de regrouper et de comparer plusieurs modèles entre plusieurs exécutions de test. Chaque modèle possède ses propres paramètres, techniques de modélisation, architectures et entrées spécifiés. Cette approche permet de sélectionner le meilleur modèle.
Pour obtenir des exemples de parcours utilisateur, consultez les pages suivantes :
Recherchez des tests
La console Google Cloud fournit une vue centralisée des tests, une vue transversale des exécutions de test, et les détails de chaque exécution. Le SDK Vertex AI pour Python fournit des API permettant d'utiliser des tests, des exécutions de test, des paramètres d'exécution de test, des métriques et des artefacts.
Les tests Vertex AI, associés à Vertex ML Metadata, permettent de localiser les artefacts suivis dans un test afin d'afficher rapidement la traçabilité des artefacts et les artefacts utilisés et générés par les étapes d'une exécution.
Étendue de l'assistance
Les tests Vertex AI permettent le développement de modèles à l'aide de l'entraînement personnalisé Vertex AI, des notebooks Vertex AI Workbench, des notebooks et de tous les frameworks de ML Python dans la plupart des frameworks de ML. Pour certains frameworks de ML tels que TensorFlow, les tests Vertex AI fournissent des intégrations avancées au framework qui rendent l'expérience utilisateur automagique. Pour les autres frameworks de ML, les tests Vertex AI fournissent un SDK Vertex AI pour Python indépendant du framework, que vous pouvez exploiter. (voir : Conteneurs prédéfinis pour TensorFlow, scikit-learn, PyTorch et XGBoost).
Modèles de données et concepts liés
Les tests Vertex AI sont un Contexte de Vertex ML Metadata dans lequel un test peut contenir n exécutions de test en plus de n exécutions de pipeline. Une exécution de test est composée de paramètres, de métriques récapitulatives, de métriques de séries temporelles et de ressources Vertex AI PipelineJob, Artifact et Execution.
Vertex AI TensorBoard, une version gérée de TensorBoard Open Source, est utilisé pour le stockage de métriques de séries temporelles. Les exécutions et les artefacts d'une exécution de pipeline sont visibles dans la console Google Cloud.
Conditions des tests Vertex AI
Test, exécution de test et exécution de pipeline
test
- Un test est un contexte pouvant contenir un ensemble de n exécutions de test en plus de n exécutions de pipeline, dans lequel un utilisateur peut examiner, de manière groupée, différentes configurations telles que des artefacts d'entrée ou des hyperparamètres.
exécution de test
- Une exécution de test peut contenir des métriques, des paramètres, des exécutions, des artefacts et des ressources Vertex (par exemple, PipelineJob) définis par l'utilisateur.
exécution de pipeline
- Un ou plusieurs PipelineJobs Vertex peuvent être associés à un test où chaque PipelineJob est représenté comme une seule exécution. Dans ce contexte, les paramètres de l'exécution sont déduits par les paramètres de la tâche PipelineJob. Les métriques sont déduits des artefacts system.Metric générés par cette tâche PipelineJob. Les artefacts de l'exécution sont déduits des artefacts produits par cette tâche PipelineJob.
PipelineJob Vertex AI peuvent être associées à une ressource ExperimentRun.
Dans ce contexte, les paramètres, les métriques et les artefacts ne sont pas déduits.
Consultez la section Associer un pipeline à un test.
Paramètres et métriques
paramètres
- Les paramètres sont des valeurs d'entrée à clé qui configurent une exécution, régulent le comportement de l'exécution et affectent les résultats de l'exécution. Exemples : taux d'apprentissage, taux d'abandon et nombre d'étapes d'entraînement.
Consultez la section Paramètres des journaux.
métriques récapitulatives
- Les métriques récapitulatives sont une valeur unique pour chaque clé de métrique lors d'une exécution de test. Par exemple, la justesse d'un test est la justesse calculée à partir d'un ensemble de données de test à la fin de l'entraînement et pouvant être capturée en tant que métrique récapitulative à valeur unique.
Consultez la section Métriques récapitulatives des journaux.
métriques de séries temporelles
- Les métriques de séries temporelles sont des valeurs de métriques longitudinales où chaque valeur représente une étape de la partie routine d'entraînement d'une exécution. Les métriques de séries temporelles sont stockées dans Vertex AI TensorBoard. Les tests Vertex AI stockent une référence à la ressource Vertex TensorBoard.
Consultez la section Métriques de séries temporelles des journaux.
Types de ressources
tâche de pipeline
- Ressource de l'API Vertex AI correspondant aux tâches Vertex Pipeline. Les utilisateurs créent une tâche PipelineJob lorsqu'ils souhaitent exécuter un pipeline de ML sur Vertex AI.
artefact
- Un artefact est une entité discrète ou une donnée produite et consommée par un workflow de machine learning. Les ensembles de données, les modèles, les fichiers d'entrée et les journaux d'entraînement sont des exemples d'artefacts.
Les tests Vertex AI vous permettent d'utiliser un schéma pour définir le type d'artefact. Par exemple, les types de schémas acceptés incluent system.Dataset, system.Model et system.Artifact. Pour en savoir plus, consultez la section Schémas système.