Quando Data Labeling Service esegue un job di valutazione, produce un insieme di metriche di valutazione che variano a seconda delle specifiche del modello di machine learning. Questa guida descrive i diversi tipi di metriche di valutazione e come visualizzarle.
Prima di iniziare
Prima di iniziare, crea un job di valutazione e attendi che venga eseguito per la prima volta. Per impostazione predefinita, il job di valutazione viene eseguito ogni giorno alle 10:00 UTC.
Quando viene eseguito, il job invia prima i dati ai revisori per l'etichettatura basata su dati empirici reali (se hai abilitato questa opzione). Poi calcola le metriche di valutazione. Poiché l'etichettatura umana richiede tempo, se il job campiona molti dati, potresti dover attendere più di un giorno per vedere le prime metriche di valutazione.
Confronta la precisione media media tra i modelli
In AI Platform Prediction, più versioni del modello possono essere raggruppate in una risorsa model. Ogni versione di un modello dovrebbe eseguire la stessa attività, ma può essere addestrata in modo diverso.
Se in un singolo modello sono presenti più versioni del modello e hai creato un job di valutazione per ognuna, puoi visualizzare un grafico che confronta la precisione media delle versioni del modello nel tempo:
Apri la pagina Modelli di AI Platform nella console Google Cloud:
Fai clic sul nome del modello contenente le versioni del modello da confrontare.
Fai clic sulla scheda Valutazione.
Il grafico in questa pagina confronta la media delle precisione medie di ogni versione del modello nel tempo. Puoi modificare l'intervallo del grafico.
Se si è verificato un errore durante un'esecuzione recente per uno dei job di valutazione per la versione del modello, tale errore viene visualizzato in questa pagina.
Visualizzare le metriche per una versione specifica del modello
Per metriche di valutazione più dettagliate, visualizza una singola versione del modello:
Apri la pagina Modelli di AI Platform nella console Google Cloud:
Fai clic sul nome del modello contenente la versione del modello che ti interessa.
Fai clic sul nome della versione del modello che ti interessa.
Fai clic sulla scheda Valutazione.
Analogamente alla visualizzazione di confronto discussa nella sezione precedente, questa pagina presenta un grafico della precisione media media nel tempo. Visualizza anche eventuali errori delle recenti esecuzioni del job di valutazione della versione del modello.
Inserisci una data nel campo Inserisci la data per visualizzare le metriche di una singola esecuzione del job di valutazione. Puoi anche fare clic su Tutte le etichette e selezionare un'etichetta specifica dall'elenco a discesa per filtrare ulteriormente le metriche. Le seguenti sezioni descrivono le metriche che puoi visualizzare per le singole esecuzioni di job di valutazione.
Curva di precisione-richiamo
Le curve di precisione-richiamo mostrano come precisione e richiamo del modello di machine learning cambierebbero se modificassi la soglia di classificazione.
Matrice di confusione
Le matrici di confusione mostrano tutte le coppie di etichette basate su dati empirici reali ed etichette di previsione, in modo che tu possa vedere pattern relativi a come il tuo modello di machine learning ha scambiato determinate etichette con altre.
Le matrici di confusione vengono generate solo per le versioni dei modelli che eseguono la classificazione.
Confronto affiancato
Se la tua versione del modello esegue la classificazione delle immagini o del testo, puoi visualizzare un confronto affiancato tra le etichette previste del modello di machine learning e le etichette basate su dati empirici reali per ciascun input di previsione.
Se la tua versione del modello esegue il rilevamento di oggetti immagine, puoi visualizzare un confronto affiancato dei riquadri di delimitazione previsti del modello di machine learning e dei riquadri di delimitazione dei dati empirici reali. Passa il mouse sopra i riquadri di delimitazione per visualizzare le etichette associate.
Passaggi successivi
Scopri come aggiornare, mettere in pausa o eliminare un job di valutazione.