Présentation de Vertex AI Experiments

Vertex AI Experiments est un outil qui vous aide à suivre et à analyser différents hyperparamètres et environnements d'entraînement de modèles, ce qui vous permet de suivre les étapes, les entrées et les sorties d'une exécution de test. Ils peuvent également évaluer les performances de votre modèle de manière globale, par rapport aux ensembles de données de test et pendant la durée de l'entraînement. Vous pouvez alors exploiter ces informations pour sélectionner le modèle le plus adapté à votre cas d'utilisation particulier.

Les tests n'entraînent pas de frais supplémentaires. Vous ne payez que pour les ressources que vous utilisez pendant votre test, comme décrit dans les tarifs de Vertex AI.

Que souhaitez-vous faire ? Consultez le notebook d'exemple
suivre des métriques et des paramètres Comparer des modèles
suivre la traçabilité des tests Entraîner le modèle
suivre les exécutions du pipeline Comparer les exécutions de pipeline

Suivre les étapes, les entrées et les sorties

Vertex AI Experiments vous permet de suivre :

  • les étapes d'une exécution de test, par exemple le prétraitement et l'entraînement ;
  • les entrées, par exemple l'algorithme, les paramètres, les ensembles de données ;
  • les résultats de ces étapes, par exemple les modèles, les points de contrôle et les métriques.

Vous pouvez alors identifier ce qui a fonctionné et ce qui n'a pas fonctionné, puis identifier d'autres possibilités d'expérimentation.

Pour obtenir des exemples de parcours utilisateur, consultez les pages suivantes :

Analyser les performances du modèle

Vertex AI Experiments vous permet de suivre et d'évaluer les performances des modèles associés de manière globale, par rapport aux ensembles de données de test et pendant la durée de l'entraînement. Cette capacité permet de comprendre les caractéristiques de performance des modèles, à savoir comment un modèle particulier fonctionne globalement, où il échoue et où il excelle.

Pour obtenir des exemples de parcours utilisateur, consultez les pages suivantes :

Comparer les performances des modèles

Vertex AI Experiments vous permet de regrouper et de comparer plusieurs modèles entre plusieurs exécutions de test. Chaque modèle possède ses propres paramètres, techniques de modélisation, architectures et entrées spécifiés. Cette approche permet de sélectionner le meilleur modèle.

Pour obtenir des exemples de parcours utilisateur, consultez les pages suivantes :

Recherchez des tests

La console Google Cloud fournit une vue centralisée des tests, une vue transversale des exécutions de test, et les détails de chaque exécution. Le SDK Vertex AI pour Python fournit des API permettant d'utiliser des tests, des exécutions de test, des paramètres d'exécution de test, des métriques et des artefacts.

Vertex AI Experiments, associé à Vertex ML Metadata, permet de localiser les artefacts suivis dans un test afin d'afficher rapidement la traçabilité des artefacts et les artefacts utilisés et générés par les étapes d'une exécution.

Étendue de l'assistance

Vertex AI Experiments permet le développement de modèles à l'aide de l'entraînement personnalisé Vertex AI, des notebooks Vertex AI Workbench, des notebooks et de tous les frameworks de ML Python dans la plupart des frameworks de ML. Pour certains frameworks de ML tels que TensorFlow, Vertex AI Experiments fournit des intégrations avancées au framework qui rendent l'expérience utilisateur automagique. Pour les autres frameworks de ML, Vertex AI Experiments fournit un SDK Vertex AI pour Python indépendant du framework, que vous pouvez exploiter. (voir : Conteneurs prédéfinis pour TensorFlow, scikit-learn, PyTorch et XGBoost).

Modèles de données et concepts liés

Vertex AI Experiments est un contexte de Vertex ML Metadata dans lequel un test peut contenir n exécutions de test en plus de n exécutions de pipeline. Une exécution de test est composée de paramètres, de métriques récapitulatives, de métriques de séries temporelles et de ressources Vertex AI PipelineJob, Artifact et Execution. Vertex AI TensorBoard, une version gérée de TensorBoard Open Source, est utilisé pour le stockage de métriques de séries temporelles. Les exécutions et les artefacts d'une exécution de pipeline sont visibles dans la console Google Cloud.

Termes relatifs à Vertex AI Experiments

Test, exécution de test et exécution de pipeline

test
  • Un test est un contexte pouvant contenir un ensemble de n exécutions de test en plus de n exécutions de pipeline, dans lequel un utilisateur peut examiner, de manière groupée, différentes configurations telles que des artefacts d'entrée ou des hyperparamètres.
Consultez la section Créer un test.

exécution de test
  • Une exécution de test peut contenir des métriques, des paramètres, des exécutions, des artefacts et des ressources Vertex (par exemple, PipelineJob) définis par l'utilisateur.
Consultez la section Créer et gérer des exécutions de tests.

exécution de pipeline
  • Un ou plusieurs PipelineJobs Vertex peuvent être associés à un test où chaque PipelineJob est représenté comme une seule exécution. Dans ce contexte, les paramètres de l'exécution sont déduits par les paramètres de la tâche PipelineJob. Les métriques sont déduits des artefacts system.Metric générés par cette tâche PipelineJob. Les artefacts de l'exécution sont déduits des artefacts produits par cette tâche PipelineJob.
Une ou plusieurs ressources PipelineJob Vertex AI peuvent être associées à une ressource ExperimentRun. Dans ce contexte, les paramètres, les métriques et les artefacts ne sont pas déduits.

Consultez la section Associer un pipeline à un test.

Paramètres et métriques

Consultez la section Paramètres des journaux.

métriques récapitulatives
  • Les métriques récapitulatives sont une valeur unique pour chaque clé de métrique lors d'une exécution de test. Par exemple, la justesse d'un test est la justesse calculée à partir d'un ensemble de données de test à la fin de l'entraînement et pouvant être capturée en tant que métrique récapitulative à valeur unique.

Consultez la section Métriques récapitulatives des journaux.

métriques de séries temporelles
  • Les métriques de séries temporelles sont des valeurs de métriques longitudinales où chaque valeur représente une étape de la partie routine d'entraînement d'une exécution. Les métriques de séries temporelles sont stockées dans Vertex AI TensorBoard. Vertex AI Experiments stocke une référence à la ressource Vertex TensorBoard.

Consultez la section Métriques de séries temporelles des journaux.

Types de ressources

tâche de pipeline
  • Une tâche de pipeline ou une exécution de pipeline correspond à la ressource PipelineJob dans l'API Vertex AI. Il s'agit d'une instance d'exécution de votre définition de pipeline de ML, qui est définie comme un ensemble de tâches de ML interconnectées par des dépendances d'entrée/sortie.

artefact
  • Un artefact est une entité discrète ou une donnée produite et consommée par un workflow de machine learning. Les ensembles de données, les modèles, les fichiers d'entrée et les journaux d'entraînement sont des exemples d'artefacts.

Vertex AI Experiments vous permet d'utiliser un schéma pour définir le type d'artefact. Par exemple, les types de schémas acceptés incluent system.Dataset, system.Model et system.Artifact. Pour en savoir plus, consultez la section Schémas système.

Tutoriel de notebook

Étapes suivantes