Questa pagina mostra come valutare i modelli di previsione AutoML utilizzando le metriche di valutazione del modello. Queste metriche forniscono misurazioni quantitative delle prestazioni del modello sul set di test. Il modo in cui interpreti e utilizzi queste metriche dipende dalle esigenze aziendali e dal problema che il modello è addestrato a risolvere. Ad esempio, potresti avere una tolleranza inferiore per i falsi positivi rispetto ai falsi negativi o viceversa. Questo tipo di domande determina le metriche su cui ti concentrerai.
Prima di iniziare
Prima di poter valutare un modello, devi addestrarlo e attendere il completamento dell'addestramento.
Utilizza la console o l'API per verificare lo stato del job di addestramento.
Console Google Cloud
Nella console Google Cloud, nella sezione Vertex AI, vai alla pagina Addestramento.
Se lo stato del job di addestramento è "Addestramento", devi continuare ad attendere il suo completamento. Se lo stato del job di addestramento è "Terminato", puoi iniziare la valutazione del modello.
API
Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:
REST
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- LOCATION: regione in cui è archiviato il modello.
- PROJECT: il tuo ID progetto.
- TRAINING_PIPELINE_ID: ID della pipeline di addestramento.
Metodo HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Esegui questo comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID"
PowerShell
Esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
Recupero delle metriche di valutazione
Puoi ottenere un set aggregato di metriche di valutazione per il tuo modello. Il contenuto seguente descrive come ottenere queste metriche utilizzando la console o l'API Google Cloud.
Console Google Cloud
Nella console Google Cloud, nella sezione Vertex AI, vai alla pagina Modelli.
Nel menu a discesa Regione, seleziona la regione in cui si trova il modello.
Seleziona il tuo modello dall'elenco dei modelli.
Seleziona il numero di versione del modello.
Nella scheda Valuta, puoi visualizzare le metriche di valutazione aggregata del modello.
API
Per visualizzare le metriche di valutazione del modello aggregato, utilizza il metodo projects.locations.models.evaluations.get.
Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:
REST
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- LOCATION: regione in cui è archiviato il modello.
- PROJECT: il tuo ID progetto.
- MODEL_ID: l'ID della risorsa del modello. MODEL_ID viene visualizzato nella pipeline di addestramento al termine dell'addestramento del modello. Consulta la sezione Prima di iniziare per scaricare MODEL_ID.
Metodo HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Esegui questo comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"
PowerShell
Esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
Metriche di valutazione del modello
Un file di schema determina le metriche di valutazione fornite da Vertex AI per ogni obiettivo.
Puoi visualizzare e scaricare i file di schema dalla seguente posizione di Cloud Storage:
gs://google-cloud-aiplatform/schema/modelevaluation/
Le metriche di valutazione per i modelli di previsione sono:
- MAE: l'errore assoluto medio (MAE, Mean Absolute Error) è la differenza media assoluta tra i valori target e i valori previsti. Questa metrica va da zero a infinito e un valore più basso indica un modello di qualità migliore.
-
MAPE: l'errore percentuale assoluto medio (MAPE, Mean Absolute Percentage Error) è la differenza percentuale media assoluta tra le etichette e i valori previsti. Questa metrica va da zero a infinito e un valore più basso indica un modello di qualità migliore.
Se la colonna di destinazione non contiene nessun valore, il MAPE non viene mostrato. In questo caso, il MAPE non è definito. - RMSE: l'errore quadratico medio è la radice quadrata della differenza quadrata media tra i valori target e quelli previsti. L'RMSE è più sensibile agli outlier rispetto al MAE. Di conseguenza,se la preoccupazione principale riguarda gli errori di grande entità, l'RMSE può essere una metrica più utile da valutare. In modo simile al MAE, un valore minore indica un modello di qualità superiore (0 rappresenta un predittore perfetto).
- RMSLE: la metrica dell'errore logaritmico quadratico medio è simile all'RMSE, tranne per il fatto che utilizza il logaritmo naturale dei valori previsti ed effettivi più 1. Penalizza in misura maggiore la sottoprevisione rispetto alla sovraprevisione. Può essere una buona metrica anche nel caso in cui non si voglia penalizzare più pesantemente le differenze per i valori di previsione elevati rispetto a quelli ridotti. Questa metrica va da zero a infinito e un valore più basso indica un modello di qualità migliore. La metrica di valutazione RMSLE viene restituita solo se tutti i valori previsti e tutte le etichette sono non negativi.
- r^2: r al quadrato (r^2) è il quadrato del coefficiente di correlazione Pearson tra le etichette e i valori previsti. Questa metrica va da zero a uno. Un valore più alto indica un adattamento più vicino alla linea di regressione.
-
Quantile: il quantile percentuale, che indica la probabilità che un valore osservato sia inferiore al valore previsto. Ad esempio, con il valore quantile di 0,2, i valori osservati dovrebbero essere inferiori a quelli previsti nel 20% delle volte. Vertex AI fornisce questa metrica se specifichi
minimize-quantile-lossper l'obiettivo dell'ottimizzazione. -
Quantile osservato: mostra la percentuale di valori veri inferiori al valore previsto per un determinato quantile. Vertex AI fornisce questa metrica se specifichi
minimize-quantile-lossper l'obiettivo dell'ottimizzazione. -
Perdita del flipper scalata: la perdita scalata del flipper in un determinato quantile.
Un valore più basso indica un modello di qualità migliore per il quantile specificato.
Vertex AI fornisce questa metrica se specifichi
minimize-quantile-lossper l'obiettivo dell'ottimizzazione. - Attribuzioni delle caratteristiche del modello: Vertex AI mostra l'impatto di ciascuna caratteristica su un modello. I valori vengono forniti sotto forma percentuale per ogni caratteristica: più alta è la percentuale, maggiore è l'impatto della caratteristica sull'addestramento del modello. Esamina queste informazioni per assicurarti che tutte le funzionalità più importanti abbiano senso per i dati e il problema aziendale. Per scoprire di più, consulta Attribuzioni delle funzionalità per le previsioni.