Questa pagina è stata tradotta dall'API Cloud Translation.

Valutare i modelli di previsione AutoML

Questa pagina mostra come valutare i modelli di previsione di AutoML utilizzando metriche di valutazione del modello. Queste metriche forniscono misurazioni quantitative delle prestazioni del modello nel set di test. Come li interpreti e li utilizzi dipende dalle esigenze aziendali e dal problema a cui il modello è addestrato risolvere. Ad esempio, potresti avere una tolleranza inferiore per i falsi positivi rispetto a per i falsi negativi e viceversa. Questo tipo di domande influisce sulle metriche su cui ti concentrerai.

Prima di iniziare

Prima di poter valutare un modello, devi addestrarlo e attendere il completamento dell'addestramento.

Utilizza la console o l'API per verificare lo stato del job di addestramento.

Console Google Cloud

Nella console Google Cloud, nella sezione Vertex AI, vai alla pagina Addestramento.

Vai alla pagina Formazione
Se lo stato del job di addestramento è "Addestramento", devi continuare a e attendere il completamento del job di addestramento. Se lo stato del job di addestramento è "Terminato", puoi iniziare la valutazione del modello.

API

Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:

REST

Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

LOCATION: regione in cui è archiviato il modello.
PROJECT: il tuo ID progetto.
TRAINING_PIPELINE_ID: l'ID della pipeline di addestramento.

Metodo HTTP e URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID

Per inviare la richiesta, scegli una delle seguenti opzioni:

curl

Nota: il seguente comando presuppone che tu abbia eseguito l'accesso all'interfaccia a riga di comando gcloud con il tuo account utente eseguendo gcloud init o gcloud auth login oppure utilizzando Cloud Shell, che ti consente di accedere automaticamente all'interfaccia a riga di comando gcloud. Puoi controllare l'account attualmente attivo eseguendo gcloud auth list

Esegui questo comando:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID"

PowerShell

Nota: il comando seguente presuppone che tu abbia eseguito l'accesso alla CLI gcloud con il tuo account utente eseguendo gcloud init o gcloud auth login . Puoi controllare l'account attualmente attivo eseguendo gcloud auth list

Esegui questo comando:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente:

Risposta

  If the model is still being trained:

  {
    "name": "projects/PROJECT_NUMBER/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID",
    ...
    "modelToUpload": {
      "displayName": "MODEL_DISPLAY_NAME"
    },
    "state": "PIPELINE_STATE_RUNNING",
    ...
  }

  If the model training is complete:

  {
    "name": "projects/PROJECT_NUMBER/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID",
    ...
    "modelToUpload": {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID",
      "displayName": "MODEL_DISPLAY_NAME",
      "versionID": "1"
    },
    "state": "PIPELINE_STATE_SUCCEEDED",
    ...
  }

Ottenere le metriche di valutazione

Puoi ottenere un insieme aggregato di metriche di valutazione per il tuo modello. I contenuti riportati di seguito descrivono come ottenere queste metriche utilizzando la console o l'API Google Cloud.

Console Google Cloud

Nella console Google Cloud, nella sezione Vertex AI, vai alla pagina Modelli.

Vai alla pagina Modelli
Nel menu a discesa Regione, seleziona la regione in cui si trova il modello.
Seleziona il tuo modello dall'elenco dei modelli.
Seleziona il numero di versione del modello.
Nella scheda Valuta, puoi visualizzare le metriche di valutazione aggregate del tuo modello.

API

Per visualizzare le metriche di valutazione del modello aggregate, utilizza il metodo projects.locations.models.evaluations.get.

Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:

REST

Prima di utilizzare i dati della richiesta, apporta le seguenti sostituzioni:

LOCATION: regione in cui è archiviato il modello.
PROJECT: il tuo ID progetto.
MODEL_ID: l'ID della risorsa del modello. Il simbolo MODEL_ID viene visualizzato nella pipeline di addestramento al termine dell'addestramento del modello. Consulta le Prima di start per ottenere MODEL_ID.

Metodo HTTP e URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations

Per inviare la richiesta, scegli una delle seguenti opzioni:

curl

Esegui questo comando:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"

PowerShell

Esegui questo comando:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente:

Risposta

{
  "modelEvaluations": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID",
      "metricsSchemaUri": "gs://google-cloud-aiplatform/schema/modelevaluation/forecasting_metrics_1.0.0.yaml",
      "metrics": {
        "rootMeanSquaredError": 719.0045,
        "meanAbsoluteError": 487.0792,
        "meanAbsolutePercentageError": "Infinity",
        "rSquared": 0.8837288,
        "rootMeanSquaredLogError": "NaN",
        "quantileMetrics": [
          {
            "quantile": 0.2,
            "scaledPinballLoss": 157.34422,
            "observedQuantile": 0.15918367346938775
          },
          {
            "quantile": 0.5,
            "scaledPinballLoss": 243.5396,
            "observedQuantile": 0.45551020408163267
          },
          {
            "quantile": 0.8,
            "scaledPinballLoss": 175.39418,
            "observedQuantile": 0.81183673469387752
          }
        ]
      },
      "createTime": "2021-04-13T01:00:54.091953Z"
    }
  ]
}

Metriche di valutazione del modello

Un file schema determina le metriche di valutazione fornite da Vertex AI per ogni scopo.

Puoi visualizzare e scaricare i file dello schema dalla seguente posizione Cloud Storage:
gs://google-cloud-aiplatform/schema/modelevaluation/

Le metriche di valutazione per i modelli di previsione sono:

MAE: l'errore medio assoluto (MAE) indica la differenza media assoluta tra i valori target e quelli previsti. Questa metrica va da zero a infinito e un valore inferiore indica un modello di qualità superiore.
MAPE: l'errore percentuale assoluto medio (MAPE) corrisponde alla differenza percentuale media assoluta tra le etichette e i valori previsti. Questa metrica va da zero a infinito, un valore più basso indica una qualità migliore un modello di machine learning.
Se la colonna di destinazione non contiene nessun valore, il MAPE non viene mostrato. In questo caso, Il MAPE non è definito.
RMSE: l'errore quadratico medio è la radice quadrata del valore medio differenza quadrata tra i valori target e quelli previsti. L'RMSE è maggiore sensibile agli outlier rispetto al MAE. Se la preoccupazione principale riguarda gli errori di grande entità, L'RMSE può essere una metrica più utile da valutare. Simile al MAE, un valore minore indica un modello di qualità superiore (0 rappresenta un predittore perfetto).
RMSLE: la metrica dell'errore logaritmico quadratico medio è simile all'RMSE, con la differenza che utilizza il logaritmo naturale dei valori previsti ed effettivi più 1. Penalizza in misura maggiore la sottoprevisione rispetto alla sovraprevisione. it possono essere una buona metrica anche quando non si vuole penalizzare le differenze per valori di previsione più elevati rispetto a quelli ridotti. Questa metrica va da zero a infinito; un valore più basso indica un modello di qualità migliore. La metrica di valutazione RMSLE viene restituita solo se tutti i valori previsti e tutte le etichette sono non negativi.
r^2: r al quadrato (r^2) è il quadrato del coefficiente di correlazione Pearson tra le etichette e i valori previsti. Questa metrica va da zero a uno. Un valore più alto indica una migliore approssimazione alla retta di regressione.
Quantile: il percentile, che indica la probabilità che un valore osservato sia inferiore al valore previsto. Ad esempio, al quantile 0,2, i valori osservati dovrebbero essere inferiori ai valori previsti nel 20% dei casi. Vertex AI fornisce questa metrica se specifichi minimize-quantile-loss per lo scopo di ottimizzazione.
Quantile osservato: mostra la percentuale di valori veri che erano inferiori. rispetto al valore previsto per un determinato quantile. Vertex AI fornisce questa metrica se specifichi minimize-quantile-loss per obiettivo di ottimizzazione.
Perdita del flipper scalata: la perdita scalata del flipper in un determinato quantile. Un valore più basso indica un modello di qualità migliore per il quantile specificato. Vertex AI fornisce questa metrica se specifichi minimize-quantile-loss per lo scopo di ottimizzazione.
Attribuzioni delle funzionalità del modello: Vertex AI mostra l'impatto di ciascuna funzionalità su un modello. I valori sono forniti sotto forma percentuale per ogni caratteristica: più alta è la percentuale, maggiore è l'impatto della caratteristica sull'addestramento del modello. Esamina queste informazioni per assicurarti che tutti i più importanti più pertinenti per i dati e il problema aziendale. Per apprendere vedi Attribuzioni delle caratteristiche per la previsione.

Passaggi successivi

Ottieni le previsioni dal modello di previsione.