Lorsque le service d'ajout d'étiquettes aux données exécute une tâche d'évaluation, il produit un ensemble de métriques d'évaluation qui varient en fonction des spécificités de votre modèle de machine learning. Ce guide décrit les différents types de métriques d'évaluation et explique comment les afficher.
Avant de commencer
Avant de commencer, créez une tâche d'évaluation et attendez que l'opération se termine une première fois. Par défaut, votre tâche d'évaluation s'exécute tous les jours à 10h UTC.
Lors de l'exécution de la tâche, celle-ci envoie d'abord des données aux évaluateurs manuels afin qu'ils assignent des étiquettes de vérité terrain (si vous avez activé cette option). Elle calcule ensuite les métriques d'évaluation. Étant donné que l'ajout d'étiquettes manuel prend du temps, si votre tâche traite de nombreuses données, vous devrez peut-être attendre plus d'une journée pour consulter vos premières métriques d'évaluation.
Comparer la précision moyenne des différents modèles
Dans AI Platform Prediction, plusieurs versions de modèle peuvent être regroupées dans une ressource de modèle. Chaque version de modèle dans un seul modèle doit effectuer la même tâche, mais chaque version peut être entraînée différemment.
Si vous possédez plusieurs versions de modèle dans un même modèle et que vous avez créé une tâche d'évaluation pour chaque version, vous pouvez afficher un graphique comparant la précision moyenne des versions du modèle au fil du temps :
Ouvrez la page Modèles AI Platform dans la console Google Cloud :
Cliquez sur le nom du modèle contenant les versions de modèle que vous souhaitez comparer.
Cliquez sur l'onglet Évaluation.
Le graphique de cette page compare les précisions moyennes de chaque version du modèle au fil du temps. Vous pouvez modifier l'intervalle du graphique.
Si l'une des tâches d'évaluation de la version du modèle a généré une erreur lors d'une exécution récente, celle-ci s'affiche également sur cette page.
Afficher les métriques pour une version de modèle spécifique
Pour obtenir des métriques d'évaluation plus détaillées, consultez une seule version du modèle :
Ouvrez la page Modèles AI Platform dans la console Google Cloud :
Cliquez sur le nom du modèle contenant la version de modèle qui vous intéresse.
Cliquez sur le nom de la version de modèle qui vous intéresse.
Cliquez sur l'onglet Évaluation.
À l'instar de la comparaison décrite dans la section précédente, cette page présente un graphique de précision moyenne au fil du temps. Elle affiche également les éventuelles erreurs générées par l'exécution des tâches d'évaluation récentes de la version de votre modèle.
Saisissez une date dans le champ Saisir une date pour afficher les métriques de l'exécution d'une tâche d'évaluation individuelle. Vous pouvez également cliquer sur Toutes les étiquettes et spécifier une étiquette dans la liste déroulante pour filtrer davantage les métriques. Les sections suivantes décrivent les métriques que vous pouvez afficher pour les exécution de tâche d'évaluation individuelle.
Courbe de précision/rappel
Les courbes de précision/rappel indiquent l'évolution de la précision et du rappel de votre modèle de machine learning lorsque vous ajustez le seuil de classification.
Matrice de confusion
Les matrices de confusion affichent toutes les paires d'étiquettes de prédiction et de vérité terrain. Vous pouvez donc voir comment votre modèle de machine learning confond certaines étiquettes avec d'autres.
Les matrices de confusion ne sont générées que pour les versions de modèle qui effectuent la classification.
Affichage comparatif
Si la version de votre modèle utilise la classification d'images ou la classification du texte, vous pouvez comparer les étiquettes prédites de votre modèle de machine learning et les étiquettes de vérité terrain pour chaque entrée de prédiction.
Si la version de votre modèle utilise la détection d'objets image, vous pouvez comparer les cadres de délimitation prédits de votre modèle de machine learning et à ceux de la vérité terrain. Passez la souris sur les cadres de délimitation pour afficher les étiquettes associées.
Étapes suivantes
Apprenez à mettre à jour, suspendre ou supprimer une tâche d'évaluation.