Valutazione dei modelli
Dopo aver addestrato un modello, AutoML Video Intelligence Classification utilizza gli elementi del set di TEST per valutare la qualità e l'accuratezza del nuovo modello.
AutoML Video Intelligence Classification fornisce un set aggregato di metriche di valutazione che indicano le prestazioni complessive del modello, nonché le metriche di valutazione per ogni etichetta di categoria, indicando le prestazioni del modello per l'etichetta in questione.
AuPRC : area sotto la curva di precisione/richiamo, chiamata anche "precisione media". Di solito tra 0,5 e 1,0. Valori più alti indicano modelli più accurati.
Le curve di soglia di confidenza mostrano in che modo soglie di confidenza diverse incidono sui tassi di precisione, richiamo, veri e falsi positivi. Scopri il rapporto tra precisione e richiamo.
Usa questi dati per valutare l'idoneità del modello. Punteggi AUC bassi o punteggi di precisione e richiamo bassi possono indicare che il modello ha bisogno di dati di addestramento aggiuntivi o ha etichette incoerenti. Un punteggio AUC molto elevato e una precisione e un richiamo perfetti potrebbero indicare che i dati sono troppo semplici e potrebbero non essere generalizzati.
Ottieni valori di valutazione del modello
UI web
-
Apri la pagina Modelli nell'UI di AutoML Video.
-
Fai clic sulla riga relativa al modello da valutare.
-
Fai clic sulla scheda Valuta.
Se l'addestramento del modello è stato completato, AutoML Video mostra le metriche di valutazione.
- Per visualizzare le metriche relative a un'etichetta specifica, seleziona il nome dell'etichetta dall'elenco di etichette nella parte inferiore della pagina.
REST
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- model-name: nome completo del modello, dalla risposta al momento della creazione del modello. Il nome completo ha il formato: projects/project-number/locations/location-id/models/model-id.
- project-number: il numero del progetto
Metodo HTTP e URL:
GET https://automl.googleapis.com/v1beta1/model-name:modelEvaluations
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Esegui questo comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "x-goog-user-project: project-number" \
" https://automl.googleapis.com/v1beta1/model-name:modelEvaluations"
PowerShell
Esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "project-number" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri " https://automl.googleapis.com/v1beta1/model-name:modelEvaluations" | Select-Object -Expand Content
2308399322008336298
.
Java
Per eseguire l'autenticazione su AutoML Video, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Node.js
Per eseguire l'autenticazione su AutoML Video, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Python
Per eseguire l'autenticazione su AutoML Video, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Esegui l'iterazione sul modello
Se i livelli qualitativi non sono soddisfacenti, puoi tornare ai passaggi precedenti per migliorare la qualità:
- Potrebbe essere necessario aggiungere diversi tipi di video (ad es. un'angolazione più ampia, una risoluzione più alta o più bassa, diversi punti di vista).
- Valuta la possibilità di rimuovere completamente le etichette se non hai abbastanza video di addestramento.
- Ricorda che le macchine non possono leggere il nome delle etichette, si tratta solo di una stringa casuale di lettere. Se hai un'etichetta con la scritta "door" e un'altra con "door_with_knob", la macchina non ha modo di comprenderne le sfumature se non nei video che la fornisci.
- Arricchisci i tuoi dati con un maggior numero di esempi di veri positivi e negativi. Gli esempi particolarmente importanti sono quelli vicini al confine decisionale.
Dopo aver apportato le modifiche, addestra e valuta un nuovo modello fino a raggiungere un livello qualitativo sufficientemente elevato.