Questa pagina mostra come valutare la classificazione del testo AutoML per eseguire l'iterazione del modello.
Vertex AI fornisce metriche di valutazione dei modelli per aiutarti a determinare le prestazioni dei tuoi modelli, ad esempio le metriche di precisione e richiamo. Vertex AI calcola le metriche di valutazione utilizzando lo strumento di test .
Come utilizzare le metriche di valutazione del modello
Le metriche di valutazione del modello forniscono misurazioni quantitative del rendimento del modello sul set di test. L'interpretazione e l'utilizzo di queste metriche dipendono dalle esigenze aziendali e dal problema che il modello è addestrato a risolvere. Ad esempio: potresti avere una tolleranza inferiore per i falsi positivi rispetto ai falsi negativi il contrario. Questo tipo di domande influisce sulle metriche su cui ti concentrerai.
Per ulteriori informazioni sull'iterazione del modello per migliorarne le prestazioni, consulta Eseguire l'iterazione del modello.
Metriche di valutazione restituite da Vertex AI
Vertex AI restituisce diverse metriche di valutazione, come precisione, richiamo e soglie di confidenza. Le metriche che Vertex AI restituisce dipendono dall'obiettivo del modello. Ad esempio: Vertex AI fornisce diverse metriche di valutazione per un'immagine di classificazione a confronto con un modello di rilevamento degli oggetti immagine.
Un file schema, scaricabile da una posizione Cloud Storage, determina le metriche di valutazione fornite da Vertex AI per ogni scopo. Le seguenti schede forniscono i link ai file dello schema e descrivono le metriche di valutazione per ogni scopo del modello.
Puoi visualizzare e scaricare i file dello schema dalla seguente posizione Cloud Storage:
gs://google-cloud-aiplatform/schema/modelevaluation/
- AuPRC: l'area sotto la curva di precisione-richiamo (PR), chiamata anche precisione mediana. Il valore va da zero a uno, dove un valore più elevato indica un modello di qualità superiore.
- Perdita logaritmica: l'entropia incrociata tra le previsioni del modello e i valori target. L'intervallo varia da zero a infinito, dove un valore più basso indica un modello di qualità superiore.
- Soglia di confidenza: un punteggio di confidenza che determina quali predizioni restituire. Un modello restituisce previsioni uguali o superiori a questo valore. Una soglia di confidenza più alta aumenta la precisione, ma riduce il richiamo. Vertex AI restituisce le metriche di affidabilità a diversi valori di soglia per mostrare in che modo la soglia influisce sulla precisione e sul richiamo.
- Richiamo: la frazione di previsioni con questa classe che sono state previste correttamente dal modello. Chiamato anche tasso di veri positivi.
- Richiamo a 1: il richiamo (tasso di veri positivi) se si considera solo l'etichetta con il punteggio di previsione più alto e non al di sotto della soglia di confidenza per ogni esempio.
- Precisione: la frazione delle previsioni di classificazione prodotte dal modello che sono risultate corrette.
- Precisione a 1: la precisione quando si considera solo l'etichetta con il punteggio di previsione più alto e non al di sotto della soglia di confidenza per ogni esempio.
- Punteggio F1: la media armonica di precisione e richiamo. F1 è un'informazione utile per trovare un equilibrio tra precisione e richiamo una distribuzione non uniforme delle classi.
- Punteggio F1 a 1: la media armonica del richiamo a 1 e la precisione a 1.
- Matrice di confusione: A confusione mostra la frequenza con cui un modello ha previsto correttamente un risultato. Per errata dei risultati previsti, la matrice mostra invece ciò che è stato previsto dal modello. La la matrice di confusione aiuta a capire dove il modello "confonde" due che consentono di analizzare i dati e visualizzare i risultati.
Recupero delle metriche di valutazione in corso...
Puoi ottenere un insieme aggregato di metriche di valutazione per il tuo modello e, per alcune obiettivi, metriche di valutazione per una determinata classe o etichetta. Le metriche di valutazione per una determinata classe o etichetta sono note anche come sezione di valutazione. Di seguito viene descritto come ottenere metriche di valutazione aggregata e le sezioni di valutazione mediante l'API o la console Google Cloud.
Console Google Cloud
Nella console Google Cloud, nella sezione Vertex AI, vai a pagina Model Registry.
Nel menu a discesa Regione, seleziona la regione in cui si trova il modello.
Nell'elenco dei modelli, fai clic sul modello per aprire la scheda Valuta.
Nella scheda Valuta puoi visualizzare la valutazione aggregata del tuo modello. come Precisione media e Richiamo.
Se lo scopo del modello ha sezioni di valutazione, la console mostra un elenco di etichette. Puoi fare clic su un'etichetta per visualizzare le relative metriche di valutazione, come mostrato nell'esempio seguente:
API
Le richieste API per ottenere le metriche di valutazione sono le stesse per ogni tipo di dati e ma gli output sono diversi. I seguenti esempi mostrano la stessa richiesta, ma risposte diverse.
Ottenere le metriche di valutazione del modello aggregate
Le metriche di valutazione del modello aggregate forniscono informazioni sul modello nel suo insieme. Per visualizzare informazioni su una sezione specifica, elenca le sezioni di valutazione del modello.
Per visualizzare le metriche di valutazione del modello aggregato, utilizza
projects.locations.models.evaluations.get
.
Vertex AI restituisce un array di metriche di affidabilità. Ogni elemento mostra le metriche di valutazione con un valore confidenceThreshold
diverso (da 0 a 1). Se visualizzi valori di soglia diversi, puoi vedere in che modo la soglia influisce su altre metriche, come precisione e richiamo.
Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:
REST
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- LOCATION: regione in cui è archiviato il modello.
- PROJECT: il tuo ID progetto.
- MODEL_ID: l'ID della risorsa del modello.
- PROJECT_NUMBER: il numero del progetto generato automaticamente.
- EVALUATION_ID: ID per la valutazione del modello (viene visualizzato nella risposta).
Metodo HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Esegui questo comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"
PowerShell
Esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di Vertex AI con librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Java di Vertex AI.
Per autenticarti in Vertex AI, configura le credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Node.js
Prima di provare questo esempio, segui le istruzioni di configurazione Node.js riportate nella guida rapida all'utilizzo delle librerie client di Vertex AI. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Node.js di Vertex AI.
Per autenticarti in Vertex AI, configura le credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python.
Elenco di tutte le sezioni di valutazione
La
projects.locations.models.evaluations.slices.list
elenca tutte le sezioni di valutazione per il tuo modello. Devi disporre dell'ID valutazione del modello, che puoi ottenere quando visualizzi le metriche di valutazione aggregate.
Puoi utilizzare le sezioni di valutazione del modello per determinare le prestazioni del modello su una
un'etichetta specifica. Il campo value
indica l'etichetta a cui si riferiscono le metriche.
Vertex AI restituisce un array di metriche di affidabilità. Ogni elemento
mostra le metriche di valutazione con un valore confidenceThreshold
diverso
(a partire da 0 fino a 1). Visualizzando diversi valori di soglia,
può vedere come la soglia influisca su altre metriche, come precisione e richiamo.
REST
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- LOCATION: regione in cui si trova il modello. Ad esempio,
us-central1
. - PROJECT: il tuo ID progetto.
- MODEL_ID: l'ID del modello.
- EVALUATION_ID: ID della valutazione del modello che contiene le sezioni di valutazione da elencare.
Metodo HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Esegui questo comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices"
PowerShell
Esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
Java
Prima di provare questo esempio, segui le istruzioni per la configurazione di Java nel Guida rapida di Vertex AI con librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Java di Vertex AI.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Node.js
Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nel Guida rapida di Vertex AI con librerie client. Per ulteriori informazioni, consulta API Node.js Vertex AI documentazione di riferimento.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per ulteriori informazioni, consulta documentazione di riferimento dell'API Python.
Ottenere le metriche per un singolo segmento
Per visualizzare le metriche di valutazione per un singolo segmento, utilizza il metodo
projects.locations.models.evaluations.slices.get
. Devi disporre dell'ID della frazione, che viene fornito quando elenchi tutte le frazioni. Il seguente esempio si applica a tutti i tipi di dati e
degli obiettivi.
REST
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- LOCATION: regione in cui si trova il modello. Ad esempio, us-central1.
- PROJECT: il tuo ID progetto.
- MODEL_ID: l'ID del modello.
- EVALUATION_ID: ID della valutazione del modello che contiene la la sezione di valutazione da recuperare.
- SLICE_ID: ID di un segmento di valutazione da ottenere.
- PROJECT_NUMBER: il numero del progetto generato automaticamente.
- EVALUATION_METRIC_SCHEMA_FILE_NAME: il nome di un file di schema
che definisce le metriche di valutazione da restituire come
classification_metrics_1.0.0
.
Metodo HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices/SLICE_ID
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Esegui questo comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices/SLICE_ID"
PowerShell
Esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices/SLICE_ID" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
Java
Prima di provare questo esempio, segui le istruzioni di configurazione Java riportate nella guida rapida all'utilizzo delle librerie client di Vertex AI. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Java di Vertex AI.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Node.js
Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nel Guida rapida di Vertex AI con librerie client. Per ulteriori informazioni, consulta API Node.js Vertex AI documentazione di riferimento.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per ulteriori informazioni, consulta documentazione di riferimento dell'API Python.
Esegui l'iterazione sul modello
Le metriche di valutazione del modello forniscono un punto di partenza per il debug del modello quando non soddisfa le tue aspettative. Ad esempio, precisione e richiamo bassi di addestramento possono indicare che il modello ha bisogno di ulteriori dati di addestramento etichette incoerenti. Precisione e un richiamo perfetti possono indicare che i dati di test sono troppo facili da prevedere e potrebbero non essere generalizzati.
Puoi eseguire l'iterazione dei dati di addestramento e creare un nuovo modello. Dopo aver creato un nuovo modello, puoi confrontare le metriche di valutazione tra il modello esistente e il nuovo modello.
I seguenti suggerimenti possono aiutarti a migliorare i modelli che etichettano elementi, come come modelli di classificazione o di rilevamento:
- Valuta la possibilità di aggiungere altri esempi o una gamma più ampia di esempi ai dati di addestramento.
- Valuta la possibilità di rimuovere le classi o le etichette che non includono molti esempi. Un numero insufficiente di esempi impedisce al modello di ottenere risultati in modo coerente e sicuro fare previsioni su quelle classi o etichette.
- Arricchisci i tuoi dati con un maggior numero di esempi di veri positivi e veri negativi soprattutto gli esempi vicini al confine decisionale per mitigare l'impatto del modello confusione.
- Specifica la suddivisione dei dati (addestramento, convalida e test). Vertex AI assegna elementi a ogni set in modo casuale. Pertanto, i duplicati possono essere assegnati nei set di addestramento e convalida, il che potrebbe portare all'overfitting e quindi prestazioni scadenti sul set di test. Per saperne di più su come impostare la suddivisione dei dati, consulta la sezione Informazioni sulle suddivisioni di dati per i modelli AutoML.
- Se le metriche di valutazione del modello includono una matrice di confusione, puoi vedere se il modello confonde due etichette, ovvero se prevede una determinata etichetta in misura molto maggiore rispetto all'etichetta vera. Esamina i dati e assicurati che gli esempi siano etichettati correttamente.
- Con un tempo di addestramento breve (numero massimo basso di ore nodo), ottenere un modello di qualità superiore, consentendo l'addestramento per un periodo di tempo più lungo (numero massimo di ore nodo più elevato).