Quando il servizio di etichettatura dei dati esegue un job di valutazione, produce un insieme di metriche di valutazione che variano a seconda delle specifiche del tuo modello di machine learning. Questa guida descrive i diversi tipi di metriche di valutazione e come visualizzarle.
Prima di iniziare
Prima di iniziare, crea un job di valutazione e aspetta che venga eseguito per la prima volta. Per impostazione predefinita, il job di valutazione viene eseguito ogni giorno alle ore 10:00 UTC.
Quando viene eseguito, il job invia prima i dati a revisori umani per l'etichettatura basata su dati empirici reali (se hai attivato questa opzione). Quindi calcola le metriche di valutazione. Poiché l'etichettatura manuale richiede tempo, se il tuo job esegue il campionamento di molti dati, potrebbe essere necessario attendere più di un giorno per visualizzare le prime metriche di valutazione.
Confrontare la precisione media tra i modelli
In AI Platform Prediction, più versioni del modello possono essere raggruppate in una risorsa modello. Ogni versione di un modello deve eseguire la stessa attività, ma ciascuna può essere addestrata in modo diverso.
Se hai più versioni di un modello e hai creato un job di valutazione per ciascuna, puoi visualizzare un grafico che confronta la precisione media delle versioni del modello nel tempo:
Apri la pagina Modelli della piattaforma AI nella console Google Cloud:
Fai clic sul nome del modello contenente le versioni del modello da confrontare.
Fai clic sulla scheda Valutazione.
Il grafico in questa pagina confronta le precisioni medie di ogni versione del modello nel tempo. Puoi modificare l'intervallo del grafico.
Se uno dei job di valutazione per la versione del modello ha riscontrato un errore durante un'esecuzione recente, lo vedrai visualizzato anche in questa pagina.
Visualizzare le metriche per una versione del modello specifica
Per metriche di valutazione più dettagliate, visualizza una singola versione del modello:
Apri la pagina Modelli della piattaforma AI nella console Google Cloud:
Fai clic sul nome del modello contenente la versione del modello che ti interessa.
Fai clic sul nome della versione del modello che ti interessa.
Fai clic sulla scheda Valutazione.
Come la visualizzazione di confronto descritta nella sezione precedente, questa pagina contiene un grafico della precisione media media nel tempo. Vengono mostrati anche eventuali errori delle esecuzioni recenti dei job di valutazione della versione del modello.
Inserisci una data nel campo Inserisci data per visualizzare le metriche di un singolo esecuzione del job di valutazione. Puoi anche fare clic su Tutte le etichette e selezionare un'etichetta specifica dall'elenco a discesa per filtrare ulteriormente le metriche. Le sezioni seguenti descrivono le metriche che puoi visualizzare per le singole esecuzioni dei job di valutazione.
Curva di precisione-richiamo
Le curve di precisione e richiamo mostrano in che modo la precisione e il richiamo del modello di machine learning cambierebbero se modifichi la soglia di classificazione.
Matrice di confusione
Le matrici di confusione mostrano tutte le coppie di etichette basate su dati empirici reali ed etichette di previsione, in modo da poter vedere i pattern in base ai quali il modello di machine learning ha scambiato determinate etichette per altre.
Le matrici di confusione vengono generate solo per le versioni del modello che eseguono la classificazione.
Confronto affiancato
Se la versione del modello esegue la classificazione di immagini o testo, puoi visualizzare un confronto affiancato delle etichette previste dal modello di machine learning e delle etichette basate su dati empirici reali per ogni input di previsione.
Se la versione del modello esegue il rilevamento di oggetti nelle immagini, puoi visualizzare un confronto affiancato dei riquadri di delimitazione previsti del modello di machine learning e dei riquadri di delimitazione dei dati empirici reali. Passa il mouse sopra i riquadri di delimitazione per visualizzare le etichette associate.
Passaggi successivi
Scopri come aggiornare, mettere in pausa o eliminare un job di valutazione.