Évaluer des modèles à l'aide de Vertex AI

Cette page explique comment évaluer des modèles à l'aide de Vertex AI. Pour en savoir plus, consultez la page Évaluation de modèles dans Vertex AI.

Prérequis

  1. Suivez les étapes décrites sur la page Configurer un projet et un environnement de développement. En outre, activez les services suivants :

  2. Vertex AI peut évaluer des modèles qui sont entraînés via AutoML ou l'entraînement personnalisé. Pour le guide de la console Google Cloud, vous devez disposer d'un modèle entraîné importé dans Vertex AI Model Registry.

  3. Importez votre ensemble de données de test dans BigQuery ou Cloud Storage. L'ensemble de données de test doit contenir la vérité terrain, qui est le résultat réel attendu pour une prédiction. Obtenez le lien vers le fichier ou l'ID de l'ensemble de données.

  4. Obtenez une sortie de prédiction par lot sous la forme d'une table BigQuery ou d'un URI Cloud Storage.

  5. Assurez-vous que votre compte de service Compute Engine par défaut dispose des autorisations IAM suivantes :

    • Administrateur Vertex AI (aiplatform.admin)
    • Agent de service Vertex AI (aiplatform.serviceAgent)
    • Administrateur des objets de l'espace de stockage (storage.objectAdmin)
    • Nœud de calcul Dataflow (dataflow.worker)
    • Éditeur de données BigQuery (bigquery.dataEditor) (obligatoire seulement si vous fournissez des données sous la forme de tables BigQuery)

Créer une évaluation

Console

  1. Dans la console Google Cloud, accédez à la page Modèles de Vertex AI.

    Accéder à la page des modèles

  2. Cliquez sur le nom du modèle que vous souhaitez évaluer.

  3. Cliquez sur le numéro de version du modèle.

  4. Dans l'onglet Évaluation, cliquez sur Créer une évaluation.

  5. Saisissez un nom d'évaluation.

  6. Sélectionnez un objectif, tel que la classification ou la régression.

  7. Saisissez le nom de la colonne cible d'évaluation, qui correspond à la colonne des données d'entraînement que le modèle est entraîné à prédire.

  8. Dans le champ Sélectionner une source, sélectionnez la source de votre ensemble de données de test.

    1. Pour Table BigQuery, saisissez le chemin d'accès BigQuery.

    2. Pour Fichier sur Cloud Storage, saisissez le chemin d'accès Cloud Storage.

  9. Pour Sortie de la prédiction par lot, sélectionnez un format de sortie.

    1. Saisissez le chemin d'accès BigQuery ou l'URI Cloud Storage.

  10. Cliquez sur Démarrer l'évaluation.

Python

Pour afficher le workflow d'évaluation du modèle de l'API Vertex AI dans Vertex AI Pipelines, consultez les exemples de notebooks pour les types de modèles suivants :

SDK Python

Le SDK permettant d'évaluer des modèles avec Vertex AI est en version expérimentale. Pour vous inscrire à la version expérimentale, remplissez le formulaire d'intégration.

Vertex AI envoie automatiquement une notification par e-mail lorsqu'une tâche d'évaluation de modèle est terminée.

Afficher les métriques d'évaluation

Console

  1. Dans la console Google Cloud, accédez à la page Modèles de Vertex AI.

    Accéder à la page des modèles

  2. Accédez à la version du modèle.

  3. Affichez les métriques dans l'onglet Évaluation.

Python

Pour afficher le workflow d'évaluation du modèle de l'API Vertex AI dans Vertex AI Pipelines, consultez les exemples de notebooks pour les types de modèles suivants :

SDK Python

Le SDK permettant d'évaluer des modèles avec Vertex AI est en version expérimentale. Pour vous inscrire à la version expérimentale, remplissez le formulaire d'intégration.

Comparer les métriques d'évaluation

Vous pouvez comparer les résultats d'évaluation entre différents modèles, versions de modèle et tâches d'évaluation. Pour plus d'informations sur la gestion des versions de modèle, consultez la page Gestion des versions dans Model Registry.

Vous ne pouvez comparer que des modèles de même type, tels que la classification, la régression ou la prévision. Lorsque vous comparez différents modèles, toutes les versions de modèle doivent être du même type.

Vous ne pouvez comparer que cinq évaluations à la fois au maximum.

  1. Accédez à Vertex AI Model Registry dans la console Google Cloud :

    Accéder à la page des modèles

  2. Accédez à votre modèle ou version de modèle :

    • Pour comparer différents modèles sur la page Modèles, cochez les cases correspondant aux noms des modèles que vous souhaitez comparer.

    • Pour comparer différentes versions de modèle, procédez comme suit :

      1. Cliquez sur le nom de votre modèle sur la page Modèles pour ouvrir la liste des versions de modèle.

      2. Cochez les cases à côté des versions que vous souhaitez comparer.

    • Pour comparer les tâches d'évaluation pour la même version de modèle, procédez comme suit :

      1. Cliquez sur le nom de votre modèle sur la page Modèles pour ouvrir la liste des versions de modèle.

      2. Cliquez sur le numéro de version.

      3. Cochez les cases à côté des tâches d'évaluation que vous souhaitez comparer.

  3. Cliquez sur Comparer.

Étapes suivantes