Cette page explique comment évaluer vos modèles de prévision AutoML à l'aide de métriques d'évaluation de modèle. Ces métriques fournissent des mesures quantitatives sur les performances de votre modèle avec l'ensemble de test. La manière dont vous interprétez et utilisez ces métriques dépend des besoins de votre entreprise et du problème que votre modèle est entraîné à résoudre. Par exemple, vous pouvez avoir une tolérance plus faible pour les faux positifs que pour les faux négatifs, ou inversement. Ces types de questions ont une incidence sur les métriques sur lesquelles vous devez vous concentrer.
Avant de commencer
Avant de pouvoir évaluer un modèle, vous devez l'entraîner et attendre la fin de l'entraînement.
Utilisez la console ou l'API pour vérifier l'état de votre job d'entraînement.
console Google Cloud
Dans la section Vertex AI de la console Google Cloud, accédez à la page Entraînement.
Si l'état de votre job d'entraînement est "Training" (en cours d'entraînement), vous devez attendre que le job d'entraînement se termine. Si l'état de votre job d'entraînement est "Finished" (terminée), vous êtes prêt à commencer l'évaluation du modèle.
API
Sélectionnez un onglet correspondant à votre langue ou à votre environnement :
REST
Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :
- LOCATION : région où votre modèle est stocké.
- PROJECT : l'ID de votre projet.
- TRAINING_PIPELINE_ID : ID du pipeline d'entraînement.
Méthode HTTP et URL :
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID
Pour envoyer votre requête, choisissez l'une des options suivantes :
curl
Exécutez la commande suivante :
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID"
PowerShell
Exécutez la commande suivante :
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID" | Select-Object -Expand Content
Vous devriez recevoir une réponse JSON de ce type :
Obtenir des métriques d'évaluation
Vous pouvez obtenir un ensemble agrégé de métriques d'évaluation pour votre modèle. Le contenu suivant décrit comment obtenir ces métriques à l'aide de l'API ou de la console Google Cloud.
console Google Cloud
Accédez à la page Modèles de la console Google Cloud, dans la section Vertex AI.
Dans la liste déroulante Région, sélectionnez la région dans laquelle se trouve votre modèle.
Dans la liste des modèles, sélectionnez votre modèle.
Sélectionnez le numéro de version de votre modèle.
L'onglet Évaluation vous permet d'afficher les métriques d'évaluation agrégées de votre modèle.
API
Pour afficher les métriques d'évaluation de modèle agrégées, utilisez la méthode projects.locations.models.evaluations.get.
Sélectionnez un onglet correspondant à votre langue ou à votre environnement :
REST
Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :
- LOCATION : région où votre modèle est stocké.
- PROJECT : l'ID de votre projet.
- MODEL_ID : ID de la ressource de modèle La valeur MODEL_ID apparaît dans le pipeline d'entraînement une fois l'entraînement du modèle terminé. Consultez la section Avant de commencer pour obtenir l'identifiant MODEL_ID.
Méthode HTTP et URL :
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations
Pour envoyer votre requête, choisissez l'une des options suivantes :
curl
Exécutez la commande suivante :
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"
PowerShell
Exécutez la commande suivante :
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content
Vous devriez recevoir une réponse JSON de ce type :
Métriques d'évaluation du modèle
Un fichier de schéma détermine les métriques d'évaluation fournies par Vertex AI pour chaque objectif.
Vous pouvez afficher et télécharger des fichiers de schéma à partir de l'emplacement Cloud Storage suivant :
gs://google-cloud-aiplatform/schema/modelevaluation/
Les métriques d'évaluation des modèles de prévision sont les suivantes :
- MAE : l'erreur absolue moyenne (EAM) représente l'écart absolu moyen entre les valeurs cibles et les valeurs prédites. Cette valeur varie de zéro à l'infini. Plus elle est faible, plus le modèle est de bonne qualité.
-
EAMP : l'erreur absolue moyenne en pourcentage (EAMP) représente l'écart absolu moyen en pourcentage entre les étiquettes et les valeurs prédites. Cette valeur varie de zéro à l'infini. Plus elle est faible, plus le modèle est de bonne qualité.
L'EAMP ne s'affiche pas si la colonne cible contient des valeurs nulles. Dans ce cas, l'EAMP n'est pas définie. - RMSE : la racine carrée de l'erreur quadratique moyenne est la racine carrée de la différence carrée moyenne entre les valeurs cibles et prédites. La RMSE est plus sensible aux anomalies que l'EAM. Par conséquent, si vous craignez des erreurs importantes, cette métrique est sans doute plus utile à évaluer. Comme pour l'EAM, une valeur inférieure indique un modèle de qualité supérieure (0 représentant un prédicteur parfait).
- RMSLE : la racine carrée de l'erreur logarithmique quadratique moyenne est semblable à la RMSE, à ceci près qu'elle utilise le logarithme naturel des valeurs prédictives et réelles plus 1. La RMSLE pénalise davantage la sous-prédiction que la sur-prédiction. Cette métrique est également utile si vous ne souhaitez pas pénaliser plus fortement les différences dans les grandes valeurs de prédiction par rapport aux valeurs plus petites. Cette valeur varie de zéro à l'infini. Plus elle est faible, plus le modèle est de bonne qualité. La métrique d'évaluation RMSLE ne s'affiche que si toutes les valeurs et étiquettes de prédiction sont non négatives.
- r^2 : r-carré (r^2) correspond au carré du coefficient de corrélation Pearson entre les valeurs observées et les valeurs prédites. Cette métrique est comprise entre zéro et un. Une valeur plus élevée indique une meilleure adéquation avec la ligne de régression.
-
Quantile : Quantile en pourcentage, qui indique la probabilité qu'une valeur observée soit inférieure à la valeur prédite. Par exemple, à un quantile de 0,2, les valeurs observées sont censées être inférieures aux valeurs prédites dans 20% des cas. L'IA Vertex fournit cette métrique si vous spécifiez
minimize-quantile-losspour l'objectif d'optimisation. -
quantile observé : affiche le pourcentage de valeurs réelles qui sont inférieures à la valeur prédite pour un quantile donné. Vertex AI fournit cette métrique si vous spécifiez
minimize-quantile-losspour l'objectif d'optimisation. -
Perte pinball mise à l'échelle : perte pinball mise à l'échelle à un quantile particulier.
Une valeur inférieure indique un modèle de qualité supérieure au quantile donné.
L'IA Vertex fournit cette métrique si vous spécifiez
minimize-quantile-losspour l'objectif d'optimisation. - Attributions des caractéristiques du modèle : Vertex AI indique l'impact de chaque caractéristique sur un modèle. Les valeurs sont fournies sous la forme d'un pourcentage pour chaque caractéristique : plus le pourcentage est élevé, plus l'impact de la caractéristique sur l'entraînement du modèle est important. Examinez ces informations pour vous assurer que toutes les caractéristiques les plus importantes sont pertinentes pour vos données et votre problème commercial. Pour en savoir plus, consultez la page Attributions de caractéristiques pour la prévision.