Valuta i modelli utilizzando Vertex AI

Questa pagina descrive come valutare i modelli utilizzando Vertex AI. Per una panoramica, consulta la pagina relativa alla valutazione del modello in Vertex AI.

Prerequisiti

  1. Segui i passaggi descritti in Configurare un progetto e un ambiente di sviluppo. Inoltre, abilita i seguenti servizi:

  2. Vertex AI valuta i modelli addestrati tramite AutoML o addestramento personalizzato. Per la guida alla console Google Cloud, dovresti avere un modello addestrato importato in Vertex AI Model Registry.

  3. Carica il tuo set di dati di test su BigQuery o Cloud Storage. Il set di dati di test deve contenere i dati empirici reali, ovvero il risultato effettivo previsto per una previsione. Ottieni il link al file o all'ID del set di dati.

  4. Avere un output di previsione batch sotto forma di tabella BigQuery o URI Cloud Storage.

  5. Assicurati che l'account di servizio Compute Engine predefinito disponga delle seguenti autorizzazioni IAM:

    • Amministratore Vertex AI (aiplatform.admin)
    • Agente di servizio Vertex AI (aiplatform.serviceAgent)
    • Amministratore oggetti Storage (storage.objectAdmin)
    • Worker Dataflow (dataflow.worker)
    • Editor dati BigQuery (bigquery.dataEditor) (obbligatorio solo se fornisci i dati sotto forma di tabelle BigQuery)

Crea una valutazione

Console

  1. Nella console Google Cloud, vai alla pagina dei modelli di Vertex AI.

    Vai alla pagina Modelli

  2. Fai clic sul nome del modello da valutare.

  3. Fai clic sul numero di versione del modello.

  4. Nella scheda Valuta, fai clic su Crea valutazione.

  5. Inserisci un Nome valutazione.

  6. Seleziona un obiettivo, ad esempio classificazione o regressione.

  7. Inserisci il Nome colonna di destinazione della valutazione, ovvero la colonna contenente i dati di addestramento che il modello è addestrato a prevedere.

  8. In Seleziona origine, scegli l'origine per il set di dati di test.

    1. Per Tabella BigQuery, inserisci il Percorso BigQuery.

    2. In File su Cloud Storage, inserisci il Percorso Cloud Storage.

  9. Per Output previsione batch, seleziona un formato di output.

    1. Inserisci il percorso BigQuery o l'URI Cloud Storage.

  10. Fai clic su Avvia valutazione.

Python

Per visualizzare il flusso di lavoro per la valutazione del modello dell'API Vertex AI in Vertex AI Pipelines, vedi i blocchi note di esempio per i seguenti tipi di modello:

SDK Python

L'SDK per la valutazione dei modelli con Vertex AI è in fase sperimentale. Per registrarti al programma sperimentale, compila il modulo di onboarding.

Vertex AI invia automaticamente una notifica via email al completamento di un job di valutazione del modello.

Visualizza metriche di valutazione

Console

  1. Nella console Google Cloud, vai alla pagina dei modelli di Vertex AI.

    Vai alla pagina Modelli

  2. Vai alla versione del modello.

  3. Visualizza le metriche nella scheda Valuta.

Python

Per visualizzare il flusso di lavoro per la valutazione del modello dell'API Vertex AI in Vertex AI Pipelines, vedi i blocchi note di esempio per i seguenti tipi di modello:

SDK Python

L'SDK per la valutazione dei modelli con Vertex AI è in fase sperimentale. Per registrarti al programma sperimentale, compila il modulo di onboarding.

Confrontare le metriche di valutazione

Puoi confrontare i risultati della valutazione di diversi modelli, versioni dei modelli e job di valutazione. Per ulteriori informazioni sul controllo delle versioni dei modelli, consulta Controllo delle versioni nel registro dei modelli.

Puoi confrontare solo i modelli dello stesso tipo, come classificazione, regressione o previsione. Quando confronti modelli diversi, le versioni devono essere tutte dello stesso tipo.

Puoi confrontare solo cinque valutazioni alla volta.

  1. Vai a Vertex AI Model Registry nella console Google Cloud:

    Vai alla pagina Modelli

  2. Vai al modello o alla versione del modello:

    • Per effettuare un confronto tra modelli diversi nella pagina Modelli, seleziona le caselle di controllo accanto ai nomi dei modelli che vuoi confrontare.

    • Per effettuare un confronto tra versioni di modelli diverse:

      1. Fai clic sul nome del modello nella pagina Modelli per aprire l'elenco delle versioni del modello.

      2. Seleziona le caselle di controllo accanto alle versioni da confrontare.

    • Per confrontare più job di valutazione per la stessa versione del modello:

      1. Fai clic sul nome del modello nella pagina Modelli per aprire l'elenco delle versioni del modello.

      2. Fai clic sul numero della versione.

      3. Seleziona le caselle di controllo accanto ai job di valutazione da confrontare.

  3. Fai clic su Confronta.

Passaggi successivi