Dopo aver addestrato un modello, AutoML Natural Language utilizza i documenti del set di TEST per valutare la qualità e l'accuratezza del nuovo modello.
AutoML Natural Language fornisce un set aggregato di metriche di valutazione che indicano il livello di rendimento complessivo del modello, nonché metriche di valutazione per ogni etichetta di categoria, che indicano le prestazioni del modello per quell'etichetta.
La precisione e il richiamo misurano l'efficacia con cui il modello acquisisce le informazioni e il livello di omissione. Tra tutti i documenti identificati come una particolare entità o etichetta, la precisione indica quanti avrebbero dovuto essere assegnati a tale entità o etichetta. Il richiamo indica che tra tutti i documenti che dovrebbero essere stati identificati come una determinata entità o etichetta, quanti sono stati effettivamente assegnati a quell'entità o etichetta.
La matrice di confusione (presente solo per i modelli con etichetta singola per documento) rappresenta la percentuale di volte in cui ogni etichetta è stata prevista nel set di addestramento durante la valutazione. Idealmente, l'etichetta one
verrebbe assegnata solo ai documenti classificati come etichetta one
e così via, perciò una matrice perfetta sarebbe:
100 0 0 0
0 100 0 0
0 0 100 0
0 0 0 100
Nell'esempio precedente, se un documento è stato classificato come one
, ma il modello ha previsto two
,
la prima riga sarà invece simile a:
99 1 0 0
AutoML Natural Language crea la matrice di confusione per un massimo di 10 etichette. Se hai più di 10 etichette, la matrice include le 10 con la maggiore confusione (previsioni errate).
Per i modelli di sentiment:
L'errore assoluto medio (MAE) e l'errore quadratico medio (MSE) misurano la distanza tra il valore di sentiment previsto e il valore di sentiment effettivo. Valori più bassi indicano modelli più precisi.
Kappa ponderato lineare e kappa ponderato quadratico misurano il livello di accordo tra i valori di sentiment assegnati dal modello e i valori assegnati dai classificatori umani. Valori più alti indicano modelli più accurati.
Utilizza queste metriche per valutare l'idoneità del modello. Punteggi bassi di precisione e richiamo possono indicare che il modello ha bisogno di ulteriori dati di addestramento o ha annotazioni incoerenti. Una precisione e un richiamo perfetti possono indicare che i dati sono troppo semplici e potrebbero non essere generalizzati. Consulta la Guida per principianti per ulteriori suggerimenti sulla valutazione dei modelli.
Se i livelli qualitativi non ti soddisfano, puoi tornare ai passaggi precedenti per migliorare la qualità:
- Valuta la possibilità di aggiungere altri documenti a qualsiasi etichetta di bassa qualità.
- Potresti dover aggiungere diversi tipi di documenti. Ad esempio, documenti più lunghi o più brevi, documenti di autori diversi che utilizzano parole o stili diversi.
- Puoi ripulire le etichette.
- Valuta la possibilità di rimuovere del tutto le etichette se non disponi di documenti di addestramento sufficienti.
Dopo aver apportato le modifiche, addestra e valuta un nuovo modello fino a raggiungere un livello qualitativo sufficientemente elevato.
UI web
Per rivedere le metriche di valutazione per il tuo modello:
Fai clic sull'icona della lampadina nella barra di navigazione a sinistra per visualizzare i modelli disponibili.
Per visualizzare i modelli di un altro progetto, seleziona il progetto dall'elenco a discesa in alto a destra nella barra del titolo.
Fai clic sulla riga del modello da valutare.
Se necessario, fai clic sulla scheda Valuta appena sotto la barra del titolo.
Se l'addestramento del modello è stato completato, AutoML Natural Language mostra le metriche di valutazione.
Per visualizzare le metriche relative a un'etichetta specifica, seleziona il nome dell'etichetta dall'elenco di etichette nella parte inferiore della pagina.
Esempi di codice
Gli esempi forniscono una valutazione del modello nel suo complesso. Puoi anche ottenere le metriche per un'etichetta specifica (displayName
) utilizzando un ID valutazione.
REST
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- project-id: il tuo ID progetto
- location-id: la località per la risorsa,
us-central1
per la località globale oeu
per l'Unione Europea - model-id: il tuo ID modello
Metodo HTTP e URL:
GET https://automl.googleapis.com/v1/projects/project-id/locations/location-id/models/model-id/modelEvaluations
Per inviare la richiesta, espandi una di queste opzioni:
Dovresti ricevere una risposta JSON simile alla seguente:
{ "modelEvaluation": [ { "name": "projects/434039606874/locations/us-central1/models/7537307368641647584/modelEvaluations/9009741181387603448", "annotationSpecId": "17040929661974749", "classificationMetrics": { "auPrc": 0.99772006, "baseAuPrc": 0.21706384, "evaluatedExamplesCount": 377, "confidenceMetricsEntry": [ { "recall": 1, "precision": -1.3877788e-17, "f1Score": -2.7755576e-17, "recallAt1": 0.9761273, "precisionAt1": 0.9761273, "f1ScoreAt1": 0.9761273 }, { "confidenceThreshold": 0.05, "recall": 0.997, "precision": 0.867, "f1Score": 0.92746675, "recallAt1": 0.9761273, "precisionAt1": 0.9761273, "f1ScoreAt1": 0.9761273 }, { "confidenceThreshold": 0.1, "recall": 0.995, "precision": 0.905, "f1Score": 0.9478684, "recallAt1": 0.9761273, "precisionAt1": 0.9761273, "f1ScoreAt1": 0.9761273 }, { "confidenceThreshold": 0.15, "recall": 0.992, "precision": 0.932, "f1Score": 0.96106446, "recallAt1": 0.9761273, "precisionAt1": 0.9761273, "f1ScoreAt1": 0.9761273 }, { "confidenceThreshold": 0.2, "recall": 0.989, "precision": 0.951, "f1Score": 0.96962786, "recallAt1": 0.9761273, "precisionAt1": 0.9761273, "f1ScoreAt1": 0.9761273 }, { "confidenceThreshold": 0.25, "recall": 0.987, "precision": 0.957, "f1Score": 0.9717685, "recallAt1": 0.9761273, "precisionAt1": 0.9761273, "f1ScoreAt1": 0.9761273 }, ... ], }, "createTime": "2018-04-30T23:06:14.746840Z" }, { "name": "projects/434039606874/locations/us-central1/models/7537307368641647584/modelEvaluations/9009741181387603671", "annotationSpecId": "1258823357545045636", "classificationMetrics": { "auPrc": 0.9972302, "baseAuPrc": 0.1883289, ... }, "createTime": "2018-04-30T23:06:14.649260Z" } ] }
Python
Per scoprire come installare e utilizzare la libreria client per AutoML Natural Language, consulta Librerie client di AutoML Natural Language. Per maggiori informazioni, consulta la documentazione di riferimento dell'API AutoML Natural Language Python.
Per eseguire l'autenticazione in AutoML Natural Language, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Java
Per scoprire come installare e utilizzare la libreria client per AutoML Natural Language, consulta Librerie client di AutoML Natural Language. Per maggiori informazioni, consulta la documentazione di riferimento dell'API AutoML Natural Language Java.
Per eseguire l'autenticazione in AutoML Natural Language, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Node.js
Per scoprire come installare e utilizzare la libreria client per AutoML Natural Language, consulta Librerie client di AutoML Natural Language. Per maggiori informazioni, consulta la documentazione di riferimento dell'API AutoML Natural Language Node.js.
Per eseguire l'autenticazione in AutoML Natural Language, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Go
Per scoprire come installare e utilizzare la libreria client per AutoML Natural Language, consulta Librerie client di AutoML Natural Language. Per maggiori informazioni, consulta la documentazione di riferimento dell'API AutoML Natural Language Go.
Per eseguire l'autenticazione in AutoML Natural Language, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Linguaggi aggiuntivi
C#: segui le istruzioni di configurazione di C# nella pagina delle librerie client e poi consulta la documentazione di riferimento di AutoML Natural Language per .NET.
PHP: segui le istruzioni per la configurazione dei file PHP nella pagina delle librerie client e poi consulta la documentazione di riferimento di AutoML Natural Language per PHP.
Ruby: segui le istruzioni di configurazione di Ruby nella pagina delle librerie client e consulta la documentazione di riferimento di AutoML Natural Language per Ruby.