Questa pagina mostra come valutare i modelli di classificazione e regressione AutoML.
Vertex AI fornisce metriche di valutazione del modello per aiutarti a determinare delle prestazioni dei tuoi modelli, come le metriche di precisione e richiamo. Vertex AI calcola le metriche di valutazione utilizzando set di test.
Prima di iniziare
Prima di poter valutare il modello, devi addestrarlo.
Come utilizzare le metriche di valutazione del modello
Le metriche di valutazione del modello forniscono misurazioni quantitative del modo in cui il modello eseguita sul set di test. L'interpretazione e l'utilizzo di queste metriche dipendono dalle esigenze aziendali e dal problema che il modello è addestrato a risolvere. Ad esempio: potresti avere una tolleranza inferiore per i falsi positivi rispetto ai falsi negativi il contrario. Questo tipo di domande influisce sulle metriche su cui ti concentrerai.
Ottenere le metriche di valutazione
Puoi ottenere un insieme aggregato di metriche di valutazione per il tuo modello e, per alcuni scopi, le metriche di valutazione per una determinata classe o etichetta. Valutazione per una determinata classe o etichetta è nota anche come sezione di valutazione. I seguenti contenuti descrivono come ottenere metriche di valutazione aggregate e segmenti di valutazione utilizzando la console o l'API Google Cloud.
Console Google Cloud
Nella console Google Cloud, nella sezione Vertex AI, vai a la pagina Modelli.
Nel menu a discesa Regione, seleziona la regione in cui si trova il modello.
Nell'elenco dei modelli, fai clic sul modello per aprire la scheda Valuta.
Nella scheda Valuta puoi visualizzare la valutazione aggregata del tuo modello. come Precisione media e Richiamo.
Se lo scopo del modello ha sezioni di valutazione, la console mostra un elenco di etichette. Puoi fare clic su un'etichetta per visualizzare le relative metriche di valutazione, come mostrato nell'esempio seguente:
API
Le richieste API per ottenere le metriche di valutazione sono le stesse per ogni tipo di dati e scopo, ma gli output sono diversi. I seguenti esempi mostrano la stessa richiesta, ma risposte diverse.
Recupero delle metriche di valutazione del modello aggregato
Le metriche di valutazione del modello aggregato forniscono informazioni sul modello un insieme. Per visualizzare le informazioni su una sezione specifica, elenca sezioni di valutazione del modello.
Per visualizzare le metriche di valutazione del modello aggregate, utilizza il metodo
projects.locations.models.evaluations.get
.
Seleziona la scheda di seguito per il tuo scopo:
Classificazione
Vertex AI restituisce un array di metriche di affidabilità. Ogni elemento
mostra le metriche di valutazione con un valore confidenceThreshold
diverso
(a partire da 0 fino a 1). Visualizzando diversi valori di soglia,
può vedere come la soglia influisca su altre metriche, come precisione e richiamo.
Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:
REST
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- LOCATION: regione in cui è archiviato il modello.
- PROJECT: il tuo ID progetto.
- MODEL_ID: l'ID della risorsa modello.
- PROJECT_NUMBER: il numero del progetto generato automaticamente.
- EVALUATION_ID: ID per la valutazione del modello (viene visualizzato nella risposta).
Metodo HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Esegui questo comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"
PowerShell
Esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
Java
Prima di provare questo esempio, segui le istruzioni di configurazione Java riportate nella guida rapida all'utilizzo delle librerie client di Vertex AI. Per ulteriori informazioni, consulta API Java Vertex AI documentazione di riferimento.
Per autenticarti in Vertex AI, configura le credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Node.js
Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nel Guida rapida di Vertex AI con librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Node.js di Vertex AI.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, vedi Installare l'SDK Vertex AI per Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python.
Regressione
Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:
REST
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- LOCATION: regione in cui è archiviato il modello.
- PROJECT: il tuo ID progetto.
- MODEL_ID: l'ID della risorsa modello.
- PROJECT_NUMBER: il numero del progetto generato automaticamente.
- EVALUATION_ID: ID per la valutazione del modello (viene visualizzato nella risposta).
Metodo HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Esegui questo comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"
PowerShell
Esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
Java
Prima di provare questo esempio, segui le istruzioni di configurazione Java riportate nella guida rapida all'utilizzo delle librerie client di Vertex AI. Per ulteriori informazioni, consulta API Java Vertex AI documentazione di riferimento.
Per autenticarti in Vertex AI, configura le credenziali predefinite dell'applicazione. Per ulteriori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Node.js
Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nel Guida rapida di Vertex AI con librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Node.js di Vertex AI.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, consulta Configurare l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python.
Elenca tutte le sezioni di valutazione (solo modelli di classificazione)
Il metodo
projects.locations.models.evaluations.slices.list
elenca tutte le sezioni di valutazione per il modello. Devi
avere l'ID valutazione del modello, che puoi ottenere
visualizzare le metriche di valutazione aggregate.
Puoi utilizzare le sezioni di valutazione del modello per determinare le prestazioni del modello su una
un'etichetta specifica. Il campo value
indica l'etichetta a cui si riferiscono le metriche.
Vertex AI restituisce un array di metriche di affidabilità. Ogni elemento mostra le metriche di valutazione con un valore confidenceThreshold
diverso (da 0 a 1). Visualizzando diversi valori di soglia,
può vedere come la soglia influisca su altre metriche, come precisione e richiamo.
REST
Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:
- LOCATION: regione in cui si trova il modello. Ad esempio,
us-central1
. - PROJECT: il tuo ID progetto.
- MODEL_ID: l'ID del modello.
- EVALUATION_ID: ID della valutazione del modello che contiene la le sezioni di valutazione da elencare.
Metodo HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Esegui questo comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices"
PowerShell
Esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
Java
Prima di provare questo esempio, segui le istruzioni di configurazione Java riportate nella guida rapida all'utilizzo delle librerie client di Vertex AI. Per ulteriori informazioni, consulta API Java Vertex AI documentazione di riferimento.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Node.js
Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nel Guida rapida di Vertex AI con librerie client. Per ulteriori informazioni, consulta API Node.js Vertex AI documentazione di riferimento.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, vedi Installare l'SDK Vertex AI per Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python.
Ottenere le metriche per un singolo segmento
Per visualizzare le metriche di valutazione per un singolo segmento, utilizza il metodo
projects.locations.models.evaluations.slices.get
. Devi disporre dell'ID della frazione, che viene fornito quando elenchi tutte le frazioni. Il seguente esempio si applica a tutti i tipi di dati e scopi.
REST
Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:
- LOCATION: regione in cui si trova il modello. Ad esempio: us-central1.
- PROJECT: il tuo ID progetto.
- MODEL_ID: l'ID del modello.
- EVALUATION_ID: ID della valutazione del modello che contiene la la sezione di valutazione da recuperare.
- SLICE_ID: ID di un segmento di valutazione da ottenere.
- PROJECT_NUMBER: il numero di progetto generato automaticamente per il tuo progetto.
- EVALUATION_METRIC_SCHEMA_FILE_NAME: il nome di un file schema
che definisce le metriche di valutazione da restituire, ad esempio
classification_metrics_1.0.0
.
Metodo HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices/SLICE_ID
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Esegui questo comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices/SLICE_ID"
PowerShell
Esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID/slices/SLICE_ID" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
Java
Prima di provare questo esempio, segui le istruzioni di configurazione Java riportate nella guida rapida all'utilizzo delle librerie client di Vertex AI. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Java di Vertex AI.
Per autenticarti in Vertex AI, configura le credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Node.js
Prima di provare questo esempio, segui le istruzioni per la configurazione di Node.js nel Guida rapida di Vertex AI con librerie client. Per ulteriori informazioni, consulta la documentazione di riferimento dell'API Node.js di Vertex AI.
Per eseguire l'autenticazione su Vertex AI, configura Credenziali predefinite dell'applicazione. Per ulteriori informazioni, vedi Configura l'autenticazione per un ambiente di sviluppo locale.
Python
Per scoprire come installare o aggiornare l'SDK Vertex AI per Python, consulta Installare l'SDK Vertex AI per Python. Per saperne di più, consulta la documentazione di riferimento dell'API Python.
Metriche di valutazione del modello
Vertex AI restituisce diverse metriche di valutazione, soglie di precisione, richiamo e affidabilità. Le metriche che I resi di Vertex AI dipendono dall'obiettivo del modello. Ad esempio: Vertex AI fornisce diverse metriche di valutazione per un'immagine di classificazione a confronto con un modello di rilevamento degli oggetti immagine.
Un file schema determina le metriche di valutazione fornite da Vertex AI per ogni scopo.
Puoi visualizzare e scaricare i file dello schema dalla seguente posizione Cloud Storage:
gs://google-cloud-aiplatform/schema/modelevaluation/
Le metriche di valutazione sono:
Classificazione
- AuPRC: area sotto la curva di precisione-richiamo (PR), chiamata anche media la precisione. Il valore va da zero a uno, dove un valore più elevato indica un modello di qualità superiore.
- AuROC: l'area sotto la curva della caratteristica operativa del ricevitore. L'intervallo varia da zero a uno, dove un valore più elevato indica un modello di qualità superiore.
- Perdita logaritmica: entropia incrociata tra le previsioni del modello e il target e i relativi valori. L'intervallo varia da zero a infinito, dove un valore più basso indica un modello di qualità superiore.
- Soglia di confidenza: un punteggio di confidenza che determina quali le previsioni da restituire. Un modello restituisce previsioni uguali o superiori a questo valore. Una soglia di confidenza più alta aumenta la precisione, ma riduce il richiamo. Vertex AI restituisce le metriche di affidabilità a diversi valori di soglia per mostrare in che modo la soglia influisce sulla precisione e sul richiamo.
- Richiamo: la frazione delle previsioni con questa classe che il modello previsto correttamente. Chiamato anche tasso di veri positivi.
- Richiamo a 1: il richiamo (tasso di veri positivi) quando si considera solo l'etichetta con il punteggio di previsione più alto e non inferiore al livello di confidenza per ogni esempio.
- Precisione: la frazione delle previsioni di classificazione prodotte dalla corretto.
- Precisione a 1: la precisione quando si considera solo l'etichetta con il punteggio di previsione più alto e non al di sotto della soglia di confidenza per ogni esempio.
- Punteggio F1: la media armonica di precisione e richiamo. F1 è una metrica utile per trovare un equilibrio tra precisione e richiamo qualora esista una distribuzione non uniforme delle classi.
- Punteggio F1 a 1: la media armonica del richiamo a 1 e la precisione a 1.
- Conteggio veri negativi: il numero di volte in cui un modello ha previsto correttamente una classe negativa.
- Conteggio di veri positivi: il numero di volte in cui un modello ha previsto correttamente una classe positiva.
- Conteggio falsi negativi: il numero di volte in cui un modello ha previsto erroneamente una classe negativa.
- Conteggio falsi positivi: il numero di volte in cui un modello ha previsto erroneamente una classe positiva.
- Tasso di falsi positivi: la frazione di risultati previsti in modo errato rispetto a tutti i risultati previsti.
- Tasso di falsi positivi pari a 1: il tasso di falsi positivi se si considera solo l'etichetta con il punteggio di previsione più alto e non al di sotto della soglia di affidabilità per ogni esempio.
- Matrice di confusione: A confusione mostra la frequenza con cui un modello ha previsto correttamente un risultato. Per i risultati previsti in modo errato, la matrice mostra invece ciò che è stato previsto dal modello. La matrice di confusione ti aiuta a capire dove il tuo modello "confonde" due risultati.
- Attribuzioni delle caratteristiche del modello: Vertex AI mostra quanto ciascuna caratteristica influisce su un modello. I valori sono forniti sotto forma percentuale per caratteristica: più alta è la percentuale, maggiore è l'impatto che l'elemento ha avuto su durante l'addestramento del modello. Esamina queste informazioni per assicurarti che tutti i più importanti più pertinenti per i dati e il problema aziendale. Per scoprire di più, consulta Attribuzione delle funzionalità per la classificazione e la regressione.
Regressione
- MAE: l'errore assoluto medio (MAE, Mean Absolute Error) è la differenza media assoluta. tra i valori target e quelli previsti. Questa metrica va da zero a infinito e un valore inferiore indica un modello di qualità superiore.
- RMSE: l'errore quadratico medio della radice è la radice quadrata della media dei quadrati delle differenze tra i valori di destinazione e quelli previsti. L'RMSE è maggiore sensibile agli outlier rispetto al MAE. Se la preoccupazione principale riguarda gli errori di grande entità, L'RMSE può essere una metrica più utile da valutare. Analogamente al MAE, un valore minore indica un modello di qualità migliore (0 rappresenta un predittore perfetto).
- RMSLE: la metrica dell'errore logaritmico quadratico medio è simile all'RMSE, tranne che utilizza il logaritmo naturale dei valori previsti ed effettivi più 1. Penalizza in misura maggiore la sottoprevisione rispetto alla sovraprevisione. it possono essere una buona metrica anche quando non si vuole penalizzare le differenze per valori di previsione più elevati rispetto a quelli ridotti. Questa metrica va da zero a infinito; un valore più basso indica un modello di qualità migliore. La metrica di valutazione RMSLE viene restituita solo se tutti i valori previsti e tutte le etichette sono non negativi.
- r^2: r al quadrato (r^2) è il quadrato del coefficiente di correlazione Pearson tra le etichette e i valori previsti. Questa metrica va tra zero e uno. Un valore più alto indica un adattamento più vicino alla linea di regressione.
-
MAPE: l'errore percentuale assoluto medio (MAPE) corrisponde alla differenza percentuale media assoluta tra le etichette e i valori previsti. Questa metrica va da zero a infinito, dove un valore più basso indica un modello di qualità migliore.
Il MAPE non viene mostrato se la colonna di destinazione contiene valori 0. In questo caso, il MAPE non è definito. - Attribuzioni delle funzionalità del modello: Vertex AI mostra l'impatto di ciascuna funzionalità su un modello. I valori sono forniti sotto forma percentuale per ogni caratteristica: più alta è la percentuale, maggiore è l'impatto della caratteristica sull'addestramento del modello. Esamina queste informazioni per assicurarti che tutte le funzionalità più importanti abbiano senso per i dati in uso e per il problema aziendale. Per scoprire di più, consulta la sezione Attribuzione delle funzionalità per la classificazione e la regressione.
Passaggi successivi
Quando è tutto pronto per fare previsioni con la classificazione o la regressione modello, hai due opzioni:
- Esegui previsioni online (in tempo reale) utilizzando il tuo modello.
- Ottieni previsioni batch direttamente dal modello.
Inoltre, puoi:
- Visualizza l'architettura del modello.
- Scopri come esportare il modello.