Questa pagina è stata tradotta dall'API Cloud Translation.

Valuta i modelli di previsione AutoML

Questa pagina mostra come valutare i modelli di previsione AutoML utilizzando le metriche di valutazione dei modelli. Queste metriche forniscono misurazioni quantitative del rendimento del modello nel set di test. Il modo in cui interpreti e utilizzi queste metriche dipende dalle esigenze aziendali e dal problema che il modello è addestrato a risolvere. Ad esempio, potresti avere una tolleranza inferiore per i falsi positivi rispetto ai falsi negativi o viceversa. Questi tipi di domande influiscono sulle metriche su cui concentrarsi.

Prima di iniziare

Prima di valutare un modello, devi addestrarlo e attendere il completamento dell'addestramento.

Utilizza la console o l'API per verificare lo stato del job di addestramento.

Console Google Cloud

Nella sezione Vertex AI della console Google Cloud, vai alla pagina Addestramento.

Vai alla pagina Formazione
Se lo stato del job di addestramento è "Addestramento", devi continuare ad attendere il completamento del job di addestramento. Se lo stato del job di addestramento è "Terminato", puoi iniziare la valutazione del modello.

API

Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:

REST

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

LOCATION: regione in cui è archiviato il modello.
PROJECT: il tuo ID progetto.
TRAINING_PIPELINE_ID: ID della pipeline di addestramento.

Metodo HTTP e URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID

Per inviare la richiesta, scegli una delle seguenti opzioni:

arricciatura

Nota: il comando seguente presuppone che tu abbia eseguito l'accesso all'interfaccia a riga di comando gcloud con il tuo account utente eseguendo gcloud init o gcloud auth login oppure utilizzando Cloud Shell, che ti consente di accedere automaticamente all'interfaccia a riga di comando gcloud. Puoi controllare l'account attualmente attivo eseguendo gcloud auth list.

Esegui questo comando:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID"

PowerShell

Nota: il seguente comando presuppone che tu abbia eseguito l'accesso all'interfaccia a riga di comando gcloud con il tuo account utente eseguendo gcloud init o gcloud auth login . Puoi controllare l'account attualmente attivo eseguendo gcloud auth list.

Esegui questo comando:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente:

Risposta

  If the model is still being trained:

  {
    "name": "projects/PROJECT_NUMBER/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID",
    ...
    "modelToUpload": {
      "displayName": "MODEL_DISPLAY_NAME"
    },
    "state": "PIPELINE_STATE_RUNNING",
    ...
  }

  If the model training is complete:

  {
    "name": "projects/PROJECT_NUMBER/locations/LOCATION/trainingPipelines/TRAINING_PIPELINE_ID",
    ...
    "modelToUpload": {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID",
      "displayName": "MODEL_DISPLAY_NAME",
      "versionID": "1"
    },
    "state": "PIPELINE_STATE_SUCCEEDED",
    ...
  }

Ottenere metriche di valutazione

Puoi ottenere un set aggregato di metriche di valutazione per il tuo modello. I contenuti seguenti descrivono come ottenere queste metriche utilizzando l'API o la console Google Cloud.

Console Google Cloud

Nella sezione Vertex AI della console Google Cloud, vai alla pagina Modelli.

Vai alla pagina Modelli
Nel menu a discesa Regione, seleziona la regione in cui si trova il tuo modello.
Seleziona il tuo modello dall'elenco.
Seleziona il numero di versione del modello.
Nella scheda Valuta puoi visualizzare le metriche di valutazione aggregata del modello.

API

Per visualizzare le metriche di valutazione del modello aggregate, usa il metodo projects.locations.models.evaluations.get.

Seleziona una scheda corrispondente alla tua lingua o al tuo ambiente:

REST

Prima di utilizzare i dati della richiesta, effettua le seguenti sostituzioni:

LOCATION: regione in cui è archiviato il modello.
PROJECT: il tuo ID progetto.
MODEL_ID: l'ID della risorsa modello. MODEL_ID viene visualizzato nella pipeline di addestramento al termine dell'addestramento del modello. Consulta la sezione Prima di iniziare per ottenere i MODEL_ID.

Metodo HTTP e URL:

GET https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations

Per inviare la richiesta, scegli una delle seguenti opzioni:

arricciatura

Esegui questo comando:

curl -X GET \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations"

PowerShell

Esegui questo comando:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method GET `
    -Headers $headers `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT/locations/LOCATION/models/MODEL_ID/evaluations" | Select-Object -Expand Content

Dovresti ricevere una risposta JSON simile alla seguente:

Risposta

{
  "modelEvaluations": [
    {
      "name": "projects/PROJECT_NUMBER/locations/LOCATION/models/MODEL_ID/evaluations/EVALUATION_ID",
      "metricsSchemaUri": "gs://google-cloud-aiplatform/schema/modelevaluation/forecasting_metrics_1.0.0.yaml",
      "metrics": {
        "rootMeanSquaredError": 719.0045,
        "meanAbsoluteError": 487.0792,
        "meanAbsolutePercentageError": "Infinity",
        "rSquared": 0.8837288,
        "rootMeanSquaredLogError": "NaN",
        "quantileMetrics": [
          {
            "quantile": 0.2,
            "scaledPinballLoss": 157.34422,
            "observedQuantile": 0.15918367346938775
          },
          {
            "quantile": 0.5,
            "scaledPinballLoss": 243.5396,
            "observedQuantile": 0.45551020408163267
          },
          {
            "quantile": 0.8,
            "scaledPinballLoss": 175.39418,
            "observedQuantile": 0.81183673469387752
          }
        ]
      },
      "createTime": "2021-04-13T01:00:54.091953Z"
    }
  ]
}

Metriche di valutazione del modello

Un file di schema determina quali metriche di valutazione vengono fornite da Vertex AI per ogni obiettivo.

Puoi visualizzare e scaricare i file di schema dalla seguente posizione di Cloud Storage:
gs://google-cloud-aiplatform/schema/modelevaluation/

Le metriche di valutazione per i modelli di previsione sono:

MAE: l'errore medio assoluto (MAE) è la differenza media assoluta tra i valori target e i valori previsti. Questa metrica va da zero a infinito; un valore più basso indica un modello di qualità migliore.
MAPE: l'errore percentuale assoluto medio (MAPE) è la differenza percentuale media assoluta tra le etichette e i valori previsti. Questa metrica è compresa tra zero e infinito; un valore più basso indica un modello di qualità migliore.
Il MAPE non viene visualizzato se la colonna di destinazione contiene valori pari a 0. In questo caso, MAPE non è definito.
RMSE: l'errore quadratico medio è la radice quadrata della differenza media quadrata tra il target e i valori previsti. RMSE è più sensibile ai valori anomali rispetto al MAE, quindi, se ti preoccupano gli errori di grandi dimensioni, RMSE può essere una metrica più utile da valutare. Analogamente al MAE, un valore minore indica un modello di qualità superiore (0 rappresenta un predittore perfetto).
RMSLE: la metrica dell'errore logaritmico del quadrato medio della radice è simile all'errore logaritmico RMSE, tranne per il fatto che utilizza il logaritmo naturale dei valori previsti ed effettivi più 1. L'errore logaritmico quadratico medio (RMSLE) penalizza molto di più la sottoprevisione rispetto alla sovraprevisione. Può essere una buona metrica anche quando non vuoi penalizzare più pesantemente le differenze per valori di previsione elevati rispetto a valori di previsione ridotti. Questa metrica va da zero a infinito; un valore più basso indica un modello di qualità migliore. La metrica di valutazione RMSLE viene restituita solo se tutte le etichette e i valori previsti non sono negativi.
r^2: r al quadrato (r^2) è il quadrato del coefficiente di correlazione Pearson tra le etichette e i valori previsti. Questa metrica va da zero a uno. Un valore più alto indica un adattamento più prossimo alla retta di regressione.
Quantile: il quantile percentuale, che indica la probabilità che un valore osservato sia inferiore al valore previsto. Ad esempio, con valori quantili di 0,2, si prevede che i valori osservati siano inferiori ai valori previsti il 20% delle volte. Vertex AI fornisce questa metrica se specifichi minimize-quantile-loss per l'obiettivo di ottimizzazione.
Quantile osservato: mostra la percentuale di valori veri inferiori al valore previsto per un determinato quantile. Vertex AI fornisce questa metrica se specifichi minimize-quantile-loss per l'obiettivo di ottimizzazione.
Perdita del flipper scalata: la perdita del flipper scalata per un determinato quantile. Un valore più basso indica un modello di qualità migliore al quantile specificato. Vertex AI fornisce questa metrica se specifichi minimize-quantile-loss per l'obiettivo di ottimizzazione.
Attribuzioni delle funzionalità del modello: Vertex AI mostra l'impatto di ogni caratteristica su un modello. I valori vengono forniti come percentuale per ogni caratteristica: più alta è la percentuale, maggiore è l'impatto della caratteristica sull'addestramento del modello. Esamina queste informazioni per assicurarti che tutte le funzionalità più importanti siano adatte ai tuoi dati e ai tuoi problemi aziendali. Per scoprire di più, consulta la sezione Attribuzioni delle funzionalità per le previsioni.

Passaggi successivi

Ottieni previsioni dal modello di previsione.