Questa pagina mostra come valutare i modelli di previsione di AutoML utilizzando metriche di valutazione del modello. Queste metriche forniscono misurazioni quantitative delle prestazioni del modello nel set di test. Come li interpreti e li utilizzi dipende dalle esigenze aziendali e dal problema a cui il modello è addestrato risolvere. Ad esempio, potresti avere una tolleranza inferiore per i falsi positivi rispetto a per i falsi negativi e viceversa. Questo tipo di domande influisce su quali metriche ti concentreresti.
Prima di iniziare
Prima di poter valutare un modello, devi addestrarlo e attendere il completamento dell'addestramento.
Utilizza la console o l'API per verificare lo stato del job di addestramento.
Console Google Cloud
Nella console Google Cloud, nella sezione Vertex AI, vai a nella pagina Addestramento.
Se lo stato del job di addestramento è "Addestramento", devi continuare a e attendere il completamento del job di addestramento. Se lo stato del job di addestramento è "Terminato", puoi iniziare la valutazione del modello.
API
Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:
REST
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- LOCATION: regione in cui è archiviato il modello.
- PROJECT: il tuo ID progetto.
- TRAINING_PIPELINE_ID: ID della pipeline di addestramento.
Metodo HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Esegui questo comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID"
PowerShell
Esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
Recupero delle metriche di valutazione
Puoi ottenere un set aggregato di metriche di valutazione per il tuo modello. Le seguenti che descrive come ottenere queste metriche utilizzando la console o l'API Google Cloud.
Console Google Cloud
Nella console Google Cloud, nella sezione Vertex AI, vai a la pagina Modelli.
Nel menu a discesa Regione, seleziona la regione in cui si trova il modello.
Seleziona il tuo modello dall'elenco dei modelli.
Seleziona il numero di versione del modello.
Nella scheda Valuta puoi visualizzare la valutazione aggregata del tuo modello. metriche di valutazione.
API
Per visualizzare le metriche di valutazione del modello aggregato, utilizza
projects.locations.models.evaluations.get
.
Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:
REST
Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:
- LOCATION: regione in cui è archiviato il modello.
- PROJECT: il tuo ID progetto.
- MODEL_ID: l'ID della risorsa del modello. MODEL_ID compare nell'addestramento una volta completato l'addestramento del modello. Consulta le Prima di start per ottenere MODEL_ID.
Metodo HTTP e URL:
GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations
Per inviare la richiesta, scegli una delle seguenti opzioni:
curl
Esegui questo comando:
curl -X GET \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"
PowerShell
Esegui questo comando:
$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }
Invoke-WebRequest `
-Method GET `
-Headers $headers `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content
Dovresti ricevere una risposta JSON simile alla seguente:
Metriche di valutazione del modello
Un file di schema determina le metriche di valutazione di Vertex AI per ogni obiettivo.
Puoi visualizzare e scaricare file di schema dai seguenti file di Cloud Storage
località:
gs://google-cloud-aiplatform/schema/modelevaluation/
Le metriche di valutazione per i modelli di previsione sono:
- MAE: l'errore assoluto medio (MAE, Mean Absolute Error) è la differenza media assoluta. tra i valori target e quelli previsti. Questa metrica va da zero all'infinito; un valore più basso indica un modello di qualità migliore.
-
MAPE: l'errore percentuale medio assoluto (MAPE, Mean Absolute Percentage Error) è l'errore percentuale medio assoluto.
di differenza percentuale tra le etichette e i valori previsti. Questa metrica
va da zero a infinito, un valore più basso indica una qualità migliore
un modello di machine learning.
Se la colonna di destinazione non contiene nessun valore, il MAPE non viene mostrato. In questo caso, Il MAPE non è definito. - RMSE: l'errore quadratico medio è la radice quadrata del valore medio differenza quadrata tra i valori target e quelli previsti. L'RMSE è maggiore sensibile agli outlier rispetto al MAE. Se la preoccupazione principale riguarda gli errori di grande entità, L'RMSE può essere una metrica più utile da valutare. Simile al MAE, un valore minore indica un modello di qualità superiore (0 rappresenta un predittore perfetto).
- RMSLE: la metrica dell'errore logaritmico quadratico medio è simile all'RMSE, tranne che utilizza il logaritmo naturale dei valori previsti ed effettivi più 1. Penalizza in misura maggiore la sottoprevisione rispetto alla sovraprevisione. it possono essere una buona metrica anche quando non si vuole penalizzare le differenze per valori di previsione più elevati rispetto a quelli ridotti. Questa metrica va da zero a infinito; un valore più basso indica un modello di qualità migliore. La metrica di valutazione RMSLE viene restituita solo se tutti i valori previsti e tutte le etichette sono non negativi.
- r^2: r al quadrato (r^2) è il quadrato della correlazione di Pearson coefficiente tra le etichette e i valori previsti. Questa metrica va tra zero e uno. Un valore più alto indica un adattamento più vicino alla linea di regressione.
-
Quantile: il quantile percentuale, che indica la probabilità che un
il valore osservato sarà inferiore al valore previsto. Ad esempio, al valore 0,2
quantile, i valori osservati dovrebbero essere inferiori a quelli previsti
il 20% delle volte. Vertex AI fornisce questa metrica se specifichi
minimize-quantile-lossper l'obiettivo di ottimizzazione. -
Quantile osservato: mostra la percentuale di valori veri che erano inferiori.
rispetto al valore previsto per un determinato quantile. Vertex AI fornisce
questa metrica se specifichi
minimize-quantile-lossper obiettivo di ottimizzazione. -
Perdita del flipper scalata: la perdita scalata del flipper in un determinato quantile.
Un valore più basso indica un modello di qualità migliore per il quantile specificato.
Vertex AI fornisce questa metrica se specifichi
minimize-quantile-lossper l'obiettivo di ottimizzazione. - Attribuzioni delle caratteristiche del modello: Vertex AI mostra l'impatto di ciascuna caratteristica su un modello. I valori vengono forniti come percentuale per ciascuna caratteristica: più alta è la percentuale, maggiore è l'impatto che l'elemento ha avuto durante l'addestramento del modello. Esamina queste informazioni per assicurarti che tutti i più importanti più pertinenti per i dati e il problema aziendale. Per apprendere vedi Attribuzioni delle caratteristiche per la previsione.