Présentation des tests Vertex AI

Restez organisé à l'aide des collections Enregistrez et classez les contenus selon vos préférences.

Lors du développement d'un modèle pour un problème, l'objectif est d'identifier le meilleur modèle pour ce cas d'utilisation particulier. À cette fin, les tests Vertex AI vous permettent de suivre, d'analyser, de comparer et d'effectuer des recherches dans différents frameworks de ML (par exemple, TensorFlow, PyTorch, scikit-learn) et environnements d'entraînement.

Les tests n'entraînent pas de frais supplémentaires. Vous ne payez que pour les ressources que vous utilisez pendant votre test, comme décrit dans les tarifs de Vertex AI.

Que souhaitez-vous faire ? Consultez le notebook d'exemple
suivre des métriques et des paramètres Comparer des modèles
suivre la traçabilité des tests Entraîner le modèle
suivre les exécutions du pipeline Comparer les exécutions de pipeline

Suivre les étapes, les entrées et les sorties

Les tests Vertex AI vous permettent de suivre :

  • les étapes d'une exécution de test, par exemple le prétraitement et l'entraînement ;
  • les entrées, par exemple l'algorithme, les paramètres, les ensembles de données ;
  • les résultats de ces étapes, par exemple les modèles, les points de contrôle et les métriques.

Vous pouvez alors identifier ce qui a fonctionné et ce qui n'a pas fonctionné, puis identifier d'autres possibilités d'expérimentation.

Pour obtenir des exemples de parcours utilisateur, consultez les pages suivantes :

Analyser les performances du modèle

Les tests Vertex AI vous permettent de suivre et d'évaluer les performances des modèles associés de manière globale, par rapport aux ensembles de données de test et pendant la durée de l'entraînement. Cette capacité permet de comprendre les caractéristiques de performance des modèles, à savoir comment un modèle particulier fonctionne globalement, où il échoue et où il excelle.

Pour obtenir des exemples de parcours utilisateur, consultez les pages suivantes :

Comparer les performances des modèles

Les tests Vertex AI vous permettent de regrouper et de comparer plusieurs modèles entre plusieurs exécutions de test. Chaque modèle possède ses propres paramètres, techniques de modélisation, architectures et entrées spécifiés. Cette approche permet de sélectionner le meilleur modèle.

Pour obtenir des exemples de parcours utilisateur, consultez les pages suivantes :

Recherchez des tests

La console Google Cloud fournit une vue centralisée des tests, une vue transversale des exécutions de test, et les détails de chaque exécution. Le SDK Vertex AI pour Python fournit des API permettant d'utiliser des tests, des exécutions de test, des paramètres d'exécution de test, des métriques et des artefacts.

Les tests Vertex AI et Vertex ML Metadata permettent de localiser les artefacts suivis dans un test afin d'afficher rapidement la traçabilité des artefacts et les artefacts utilisés et générés par les étapes d'une exécution.

Étendue de l'assistance

Les tests Vertex AI permettent le développement de modèles à l'aide de l'entraînement personnalisé Vertex AI, des notebooks Vertex AI Workbench, des notebooks et de tous les frameworks de ML Python dans la plupart des frameworks de ML. Pour certains frameworks de ML tels que TensorFlow, les tests Vertex AI fournissent des intégrations avancées au framework qui rendent l'expérience utilisateur automagique. Pour les autres frameworks de ML, les tests Vertex AI fournissent un SDK Vertex AI pour Python indépendant du framework, que vous pouvez exploiter. (voir : Conteneurs prédéfinis pour TensorFlow, sckikit-learn, PyTorch et XGBoost).

Modèles de données et concepts liés

Les tests Vertex AI sont un Contexte de Vertex ML Metadata dans lequel un test peut contenir n exécutions de test en plus de n exécutions de pipeline. Une exécution de test est composée de paramètres, de métriques récapitulatives, de métriques de séries temporelles, de ressources Vertex (PipelineJob), d'artefacts et d'exécutions. Vertex AI TensorBoard, une version gérée de TensorBoard Open Source, est utilisé pour le stockage de métriques de séries temporelles. Les exécutions et les artefacts d'une exécution de pipeline sont visibles dans la console Google Cloud.

Conditions des tests Vertex AI

Test, exécution de test et exécution de pipeline

test
Un test est un contexte pouvant contenir un ensemble de n exécutions de test en plus de n exécutions de pipeline, dans lequel un utilisateur peut examiner, de manière groupée, différentes configurations telles que des artefacts d'entrée ou des hyperparamètres.
Consultez la section Créer un test.

exécution de test
Une exécution de test peut contenir des métriques, des paramètres, des exécutions, des artefacts et des ressources Vertex (par exemple, PipelineJob) définis par l'utilisateur.
Consultez la section Créer et gérer des exécutions de tests.

exécution de pipeline
Un ou plusieurs PipelineJobs Vertex peuvent être associés à un test où chaque PipelineJob est représenté comme une seule exécution. Dans ce contexte, les paramètres de l'exécution sont déduits par les paramètres de la tâche PipelineJob. Les métriques sont déduits des artefacts system.Metric générés par cette tâche PipelineJob. Les artefacts de l'exécution sont déduitsdes artefacts produits par cette tâche PipelineJob.
Un ou plusieurs PipelineJobs Vertex peuvent être associés à une ressource ExperimentRun. Dans ce contexte, les paramètres, les métriques et les artefacts ne sont pas déduits.

Consultez la section Associer un pipeline à un test.

Paramètres et métriques

paramètres
Les paramètres sont des valeurs d'entrée à clé qui configurent une exécution, régulent le comportement de l'exécution et affectent les résultats de l'exécution. Exemples : taux d'apprentissage, taux d'abandon et nombre d'étapes d'entraînement.

Consultez la section Paramètres des journaux.

métriques récapitulatives
Les métriques récapitulatives sont une valeur unique pour chaque clé de métrique lors d'une exécution de test. Par exemple, la justesse d'un test est la justesse calculée à partir d'un ensemble de données de test à la fin de l'entraînement et pouvant être capturée en tant que métrique récapitulative à valeur unique.

Consultez la section Métriques récapitulatives des journaux.

métriques de séries temporelles
Les métriques de séries temporelles sont des valeurs de métriques longitudinales où chaque valeur représente une étape de la partie routine d'entraînement d'une exécution. Les métriques de séries temporelles sont stockées dans Vertex AI TensorBoard. Les tests Vertex AI stockent une référence à la ressource Vertex TensorBoard.

Consultez la section Métriques de séries temporelles des journaux.

Types de ressources

tâche de pipeline
Ressource de l'API Vertex AI correspondant aux tâches Vertex Pipeline. Les utilisateurs créent une tâche PipelineJob lorsqu'ils souhaitent exécuter un pipeline de ML sur Vertex AI.

artefact
Un artefact est une entité discrète ou une donnée produite et consommée par un workflow de machine learning. Les ensembles de données, les modèles, les fichiers d'entrée et les journaux d'entraînement sont des exemples d'artefacts.

Les tests Vertex AI vous permettent de définir le type d'artefact. Par exemple, les types compatibles incluent system.Dataset, system.Model et system.Artifact.

Étape suivante