Questa pagina mostra come valutare i modelli di classificazione e regressione AutoML.
Vertex AI fornisce metriche di valutazione dei modelli per aiutarti a determinare le prestazioni dei tuoi modelli, come metriche di precisione e richiamo. Vertex AI calcola le metriche di valutazione utilizzando il set di test.
Prima di iniziare
Prima di poter valutare il modello, devi addestrarlo.
Come utilizzare le metriche di valutazione del modello
Le metriche di valutazione del modello forniscono misurazioni quantitative delle prestazioni del modello nel set di test. Il modo in cui interpreti e utilizzi queste metriche dipende dalle esigenze aziendali e dal problema che il modello è addestrato a risolvere. Ad esempio, potresti avere una tolleranza più bassa per i falsi positivi rispetto ai falsi negativi o viceversa. Questi tipi di domande influiscono sulle metriche su cui concentrarsi.
Ottenere metriche di valutazione
Puoi ottenere un set aggregato di metriche di valutazione per il tuo modello e, per alcuni obiettivi, metriche di valutazione per una determinata classe o etichetta. Le metriche di valutazione per una determinata classe o etichetta sono note anche come sezione di valutazione. I contenuti seguenti descrivono come ottenere metriche di valutazione aggregate e sezioni di valutazione utilizzando l'API o la console Google Cloud.
Console Google Cloud
Nella sezione Vertex AI della console Google Cloud, vai alla pagina Modelli.
Nel menu a discesa Regione, seleziona la regione in cui si trova il tuo modello.
Nell'elenco dei modelli, fai clic sul modello per aprire la scheda Valuta.
Nella scheda Valuta puoi visualizzare le metriche di valutazione aggregata del modello, come Precisione media e Richiamo.
Se l'obiettivo del modello ha sezioni di valutazione, la console mostra un elenco di etichette. Puoi fare clic su un'etichetta per visualizzarne le relative metriche di valutazione, come illustrato nell'esempio seguente:
API
Le richieste API per ottenere le metriche di valutazione sono le stesse per ogni tipo di dati e obiettivo, ma gli output sono diversi. I seguenti esempi mostrano la stessa richiesta, ma risposte diverse.
Ottenere metriche di valutazione dei modelli aggregate
Le metriche di valutazione del modello aggregato forniscono informazioni sul modello nel suo complesso. Per visualizzare informazioni su una sezione specifica, elenca le sezioni di valutazione del modello.
Per visualizzare le metriche di valutazione del modello aggregate, usa il metodo projects.locations.models.evaluations.get
.
Seleziona la scheda di seguito per il tuo scopo:
Classificazione
Vertex AI restituisce un array di metriche di confidenza. Ogni elemento mostra le metriche di valutazione a un valore confidenceThreshold
diverso (a partire da 0 e fino a 1). Visualizzando diversi valori di soglia, puoi vedere in che modo la soglia influisce su altre metriche, come precisione e richiamo.
Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:
REST
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- LOCATION: regione in cui è archiviato il modello.
- PROJECT: il tuo ID progetto.
- MODEL_ID: l'ID della risorsa modello.
- PROJECT_NUMBER: il numero di progetto generato automaticamente dal progetto.
- EVALUATION_ID: ID per la valutazione del modello (visualizzato nella risposta).
Metodo HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations
Per inviare la richiesta, scegli una delle seguenti opzioni:
arricciatura
Esegui questo comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"
PowerShell
Esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java riportate nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Java Vertex AI.
Per eseguire l'autenticazione in Vertex AI, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Node.js
Prima di provare questo esempio, segui le istruzioni di configurazione di Node.js riportate nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Node.js Vertex AI.
Per eseguire l'autenticazione in Vertex AI, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python.
Regressione
Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:
REST
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- LOCATION: regione in cui è archiviato il modello.
- PROJECT: il tuo ID progetto.
- MODEL_ID: l'ID della risorsa modello.
- PROJECT_NUMBER: il numero di progetto generato automaticamente dal progetto.
- EVALUATION_ID: ID per la valutazione del modello (visualizzato nella risposta).
Metodo HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations
Per inviare la richiesta, scegli una delle seguenti opzioni:
arricciatura
Esegui questo comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"
PowerShell
Esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java riportate nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Java Vertex AI.
Per eseguire l'autenticazione in Vertex AI, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Node.js
Prima di provare questo esempio, segui le istruzioni di configurazione di Node.js riportate nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Node.js Vertex AI.
Per eseguire l'autenticazione in Vertex AI, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python.
Elenco di tutte le sezioni di valutazione (solo modelli di classificazione)
Il metodo projects.locations.models.evaluations.slices.list
elenca tutte le sezioni di valutazione per il tuo modello. Devi
avere l'ID di valutazione del modello, che puoi ottenere quando
visualizza le metriche di valutazione aggregate.
Puoi utilizzare le sezioni di valutazione del modello per determinare le prestazioni del modello su un'etichetta specifica. Il campo value
indica a quale etichetta sono utilizzate le metriche.
Vertex AI restituisce un array di metriche di confidenza. Ogni elemento mostra le metriche di valutazione a un valore confidenceThreshold
diverso (a partire da 0 e fino a 1). Visualizzando diversi valori di soglia, puoi vedere in che modo la soglia influisce su altre metriche, come precisione e richiamo.
REST
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- LOCATION: regione in cui si trova il modello. Ad esempio,
us-central1
. - PROJECT: il tuo ID progetto.
- MODEL_ID: l'ID del modello.
- EVALUATION_ID: ID della valutazione del modello che contiene le sezioni di valutazione da elencare.
Metodo HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices
Per inviare la richiesta, scegli una delle seguenti opzioni:
arricciatura
Esegui questo comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices"
PowerShell
Esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java riportate nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Java Vertex AI.
Per eseguire l'autenticazione in Vertex AI, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Node.js
Prima di provare questo esempio, segui le istruzioni di configurazione di Node.js riportate nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Node.js Vertex AI.
Per eseguire l'autenticazione in Vertex AI, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python.
Recupero delle metriche per una singola sezione
Per visualizzare le metriche di valutazione per una singola sezione, utilizza il metodo projects.locations.models.evaluations.slices.get
. Devi disporre dell'ID sezione, che viene fornito quando elenchi tutte le sezioni. Il seguente esempio si applica a tutti i tipi di dati e gli obiettivi.
REST
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- LOCATION: regione in cui si trova il modello. Ad esempio, us-central1.
- PROJECT: il tuo ID progetto.
- MODEL_ID: l'ID del modello.
- EVALUATION_ID: ID della valutazione del modello che contiene la sezione di valutazione da recuperare.
- SLICE_ID: ID di una sezione di valutazione da ottenere.
- PROJECT_NUMBER: il numero di progetto generato automaticamente dal progetto.
- EVALUATION_METRIC_SCHEMA_FILE_NAME: il nome di un file di schema che definisce le metriche di valutazione da restituire, ad esempio
classification_metrics_1.0.0
.
Metodo HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices/SLICE_ID
Per inviare la richiesta, scegli una delle seguenti opzioni:
arricciatura
Esegui questo comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices/SLICE_ID"
PowerShell
Esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices/SLICE_ID" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
Java
Prima di provare questo esempio, segui le istruzioni di configurazione di Java riportate nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Java Vertex AI.
Per eseguire l'autenticazione in Vertex AI, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Node.js
Prima di provare questo esempio, segui le istruzioni di configurazione di Node.js riportate nella guida rapida di Vertex AI sull'utilizzo delle librerie client. Per maggiori informazioni, consulta la documentazione di riferimento dell'API Node.js Vertex AI.
Per eseguire l'autenticazione in Vertex AI, configura le Credenziali predefinite dell'applicazione. Per maggiori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python.
Metriche di valutazione del modello
Vertex AI restituisce diverse metriche di valutazione, come precisione, richiamo e soglie di affidabilità. Le metriche restituite da Vertex AI dipendono dall'obiettivo del modello. Ad esempio, Vertex AI fornisce metriche di valutazione diverse per un modello di classificazione delle immagini rispetto a un modello di rilevamento di oggetti immagine.
Un file di schema determina quali metriche di valutazione vengono fornite da Vertex AI per ogni obiettivo.
Puoi visualizzare e scaricare i file di schema dalla seguente posizione di Cloud Storage:
gs://google-cloud-aiplatform/schema/modelevaluation/
Le metriche di valutazione sono:
Classificazione
- AuPRC: l'area sotto la curva di precisione-richiamo (PR), detta anche precisione media. Questo valore va da zero a uno, dove un valore più elevato indica un modello di qualità superiore.
- AuROC: l'area sotto la curva della caratteristica operativa del ricevitore. L'intervallo varia da zero a uno, dove un valore più elevato indica un modello di qualità superiore.
- Perdita di log: entropia incrociata tra le previsioni del modello e i valori target. L'intervallo va da zero a infinito, dove un valore più basso indica un modello di qualità migliore.
- Soglia di affidabilità: un punteggio di confidenza che determina quali previsioni restituire. Un modello restituisce previsioni con questo valore o con un valore superiore. Una soglia di confidenza più alta aumenta la precisione, ma riduce l'identificazione. Vertex AI restituisce le metriche di affidabilità a valori di soglia diversi per mostrare in che modo la soglia influisce su precisione e richiamo.
- Richiamo: la frazione di previsioni con questa classe che il modello ha previsto correttamente. Chiamato anche tasso di veri positivi.
- Richiamo a 1: il richiamo (tasso di veri positivi) quando si considera solo l'etichetta con il punteggio di previsione più alto e non al di sotto della soglia di confidenza per ogni esempio.
- Precisione: la frazione di previsioni di classificazione prodotte dal modello che sono state corrette.
- Precisione a 1: la precisione quando si considera solo l'etichetta con il punteggio di previsione più alto e non inferiore alla soglia di affidabilità per ogni esempio.
- Punteggio F1: la media armonica di precisione e richiamo. F1 è una metrica utile per trovare un equilibrio tra precisione e richiamo qualora esista una distribuzione non uniforme delle classi.
- Punteggio F1 a 1: la media armonica del richiamo a 1 e la precisione a 1.
- Conteggio effettivo negativo: il numero di volte in cui un modello ha previsto correttamente una classe negativa.
- Conteggio veri positivi: il numero di volte in cui un modello ha previsto correttamente una classe positiva.
- Conteggio falsi negativi: il numero di volte in cui un modello ha previsto per errore una classe negativa.
- Conteggio falsi positivi: il numero di volte in cui un modello ha previsto per errore una classe positiva.
- Percentuale di falsi positivi: la frazione di risultati previsti in modo errato tra tutti i risultati previsti.
- Percentuale di falsi positivi a 1: la percentuale di falsi positivi quando si considera solo l'etichetta con il punteggio di previsione più alto e non inferiore alla soglia di confidenza per ogni esempio.
- Matrice di confusione: una matrice di confusione mostra la frequenza con cui un modello ha previsto correttamente un risultato. Per i risultati previsti in modo errato, la matrice mostra ciò che il modello ha previsto invece. La matrice di confusione ti aiuta a capire dove il tuo modello "confonde" due risultati.
- Attribuzioni delle funzionalità del modello: Vertex AI mostra in che misura ogni caratteristica influisce su un modello. I valori vengono forniti come percentuale per ogni caratteristica: maggiore è la percentuale, maggiore è l'impatto della caratteristica sull'addestramento del modello. Esamina queste informazioni per assicurarti che tutte le funzionalità più importanti siano adatte ai tuoi dati e ai tuoi problemi aziendali. Per scoprire di più, consulta Attribuzioni delle funzionalità per classificazione e regressione.
Regressione
- MAE: l'errore medio assoluto (MAE) è la differenza media assoluta tra i valori target e i valori previsti. Questa metrica va da zero a infinito; un valore più basso indica un modello di qualità migliore.
- RMSE: l'errore quadratico medio è la radice quadrata della differenza media quadrata tra il target e i valori previsti. RMSE è più sensibile ai valori anomali rispetto al MAE, quindi, se ti preoccupano gli errori di grandi dimensioni, RMSE può essere una metrica più utile da valutare. Analogamente al MAE, un valore minore indica un modello di qualità superiore (0 rappresenta un predittore perfetto).
- RMSLE: la metrica dell'errore logaritmico del quadrato medio della radice è simile all'errore logaritmico RMSE, tranne per il fatto che utilizza il logaritmo naturale dei valori previsti ed effettivi più 1. L'errore logaritmico quadratico medio (RMSLE) penalizza molto di più la sottoprevisione rispetto alla sovraprevisione. Può essere una buona metrica anche quando non vuoi penalizzare più pesantemente le differenze per valori di previsione elevati rispetto a valori di previsione ridotti. Questa metrica va da zero a infinito; un valore più basso indica un modello di qualità migliore. La metrica di valutazione RMSLE viene restituita solo se tutte le etichette e i valori previsti non sono negativi.
- r^2: r al quadrato (r^2) è il quadrato del coefficiente di correlazione Pearson tra le etichette e i valori previsti. Questa metrica va da zero a uno. Un valore più alto indica un adattamento più prossimo alla retta di regressione.
-
MAPE: l'errore percentuale assoluto medio (MAPE) è la differenza percentuale media assoluta tra le etichette e i valori previsti. Questa metrica è compresa tra zero e infinito; un valore più basso indica un modello di qualità migliore.
Il MAPE non viene visualizzato se la colonna di destinazione contiene valori pari a 0. In questo caso, MAPE non è definito. - Attribuzioni delle funzionalità del modello: Vertex AI mostra l'impatto di ogni caratteristica su un modello. I valori vengono forniti come percentuale per ogni caratteristica: più alta è la percentuale, maggiore è l'impatto della caratteristica sull'addestramento del modello. Esamina queste informazioni per assicurarti che tutte le funzionalità più importanti siano adatte ai tuoi dati e ai tuoi problemi aziendali. Per scoprire di più, consulta Attribuzioni delle funzionalità per classificazione e regressione.
Passaggi successivi
Quando è tutto pronto per fare previsioni con il tuo modello di classificazione o regressione, hai due opzioni:
- Realizzare previsioni online (in tempo reale) utilizzando il modello.
- Ottieni previsioni batch direttamente dal modello.
Inoltre puoi:
- Visualizza l'architettura del modello.
- Scopri come esportare il modello.