Évaluer des modèles
Une fois un modèle entraîné, la classification AutoML Video Intelligence utilise des éléments de l'ensemble de test pour évaluer la qualité et la justesse du nouveau modèle.
La classification AutoML Video Intelligence fournit un ensemble de métriques d'évaluation indiquant les performances globales du modèle, ainsi que pour chaque étiquette de catégorie, de façon à évaluer les performances du modèle pour une étiquette donnée.
AuPRC : Area under Precision/Recall Curve (aire sous la courbe de précision/rappel), également appelée "précision moyenne". Cette valeur est généralement comprise entre 0,5 et 1. Plus les valeurs sont élevées, plus les modèles sont précis.
Les courbes de seuil de confiance montrent comment différents seuils de confiance peuvent influer sur la précision, le rappel, ainsi que les taux de vrais et faux positifs. Découvrez la relation qui existe entre la précision et le rappel.
Évaluez l'état de préparation de votre modèle à l'aide de ces données. Des scores AUC bas ou des valeurs de précision et de rappel faibles peuvent indiquer que votre modèle requiert des données d'entraînement supplémentaires ou que ses libellés sont incohérents. Si vous obtenez un score AUC très élevé et des valeurs de précision et de rappel parfaites, cela peut signifier que les données sont trop simples et risquent de ne pas être correctement généralisées.
Obtenir les valeurs d'évaluation du modèle
UI Web
-
Ouvrez la page Modèles dans l'interface utilisateur d'AutoML Video.
-
Cliquez sur la ligne du modèle que vous souhaitez évaluer.
-
Cliquez sur l'onglet Évaluation.
Si le modèle est entraîné, AutoML Video affiche ses métriques d'évaluation.
- Pour afficher les métriques correspondant à une étiquette spécifique, sélectionnez le nom de l'étiquette dans la liste située dans la partie inférieure de la page.
REST
Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :
- model-name : nom complet de votre modèle, issu de la réponse obtenue lors de sa création. Il a le format suivant : projects/project-number/locations/location-id/models/model-id.
- project-number : numéro de votre projet.
Méthode HTTP et URL :
GET https://automl.googleapis.com/v1beta1/model-name:modelEvaluations
Pour envoyer votre requête, choisissez l'une des options suivantes :
curl
Exécutez la commande suivante :
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: project-number" \
" https://automl.googleapis.com/v1beta1/model-name:modelEvaluations"
PowerShell
Exécutez la commande suivante :
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "project-number" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri " https://automl.googleapis.com/v1beta1/model-name:modelEvaluations" | Select-Object -Expand Content
2308399322008336298
.
Java
Pour vous authentifier auprès d'AutoML Video, configurez les identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Pour vous authentifier auprès d'AutoML Video, configurez les identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Pour vous authentifier auprès d'AutoML Video, configurez les identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Itérer sur le modèle
Si vous n'êtes pas satisfait des niveaux de qualité, vous pouvez revenir aux étapes précédentes pour les améliorer en suivant les consignes ci-après :
- Vous devrez peut-être ajouter d'autres types de vidéos (par exemple, un angle plus large, une résolution supérieure ou inférieure, des points de vue différents).
- Supprimez totalement les étiquettes si vous ne disposez pas de suffisamment de vidéos d'entraînement.
- N'oubliez pas que les machines ne peuvent pas lire le nom de votre étiquette : pour elles, il s'agit seulement d'une chaîne de lettres aléatoire. Si vous avez une étiquette "porte" et une étiquette "porte_avec_poignée", la machine peut seulement se baser sur les vidéos que vous fournissez pour déterminer la nuance.
- Enrichissez vos données avec davantage d'exemples de vrais positifs et négatifs. Les exemples particulièrement importants sont ceux qui sont proches de la frontière de décision.
Une fois les modifications apportées, entraînez et évaluez un nouveau modèle jusqu'à ce que vous ayez atteint un niveau de qualité suffisant.