La valutazione continua campiona regolarmente gli input e gli output di previsione dai modelli di machine learning addestrati di cui hai eseguito il deployment in AI Platform Prediction. AI Platform Data Labeling Service assegna quindi ai revisori le etichette basate su dati empirici reali per l'input di previsione; in alternativa, puoi fornire etichette basate su dati empirici reali. Data Labeling Service confronta le previsioni dei modelli con etichette basate su dati empirici reali per fornire un feedback continuo sulle prestazioni del modello nel tempo.
Come funziona
Per utilizzare la valutazione continua, devi aver già eseguito il deployment di un modello di machine learning addestrato in AI Platform Prediction come versione del modello. Successivamente, potrai creare un job di valutazione per la versione del modello.
La creazione di un job di valutazione per una versione del modello causa due situazioni:
- Poiché la versione del modello gestisce le previsioni online, l'input e l'output per alcune di queste previsioni vengono salvati in una tabella BigQuery. Questo campionamento avviene di frequente, ogni volta che il modello fornisce previsioni. Puoi personalizzare la quantità di dati campionati.
- A intermittenza, il job di valutazione viene eseguito, generando metriche di valutazione.
Puoi visualizzare le metriche di valutazione risultanti nella console Google Cloud.
Dati empirici reali
Le etichette basate su dati empirici reali sono considerate etichette corrette per l'attività di machine learning. La valutazione continua le utilizza come chiave di risposta e calcola le metriche confrontando le previsioni della versione del modello con le etichette basate su dati empirici reali. Quando crei un job di valutazione, devi decidere come generare etichette basate su dati empirici reali per i dati di previsione. Le opzioni disponibili sono due:
- Data Labeling Service può assegnare revisioni da parte di persone fisiche per fornire etichette basate su dati empirici reali per i dati di previsione.
- Puoi fornire etichette basate su dati empirici reali in autonomia.
Esecuzioni job di valutazione
Per impostazione predefinita, i job di valutazione vengono eseguiti ogni giorno alle 10:00 UTC. Ciò che accade durante un'esecuzione dipende da come decidi di generare etichette basate su dati empirici reali.
Se Data Labeling Service fornisce etichette basate su dati empirici reali
Quando viene eseguito il job di valutazione, Data Labeling Service crea un set di dati con tutte le nuove righe in BigQuery dall'ultima esecuzione. che contengono l'input e l'output di previsione campionati dalla versione del modello.
Quindi, Data Labeling Service invia una richiesta di etichettatura sulla base di questo set di dati per fare in modo che i revisori forniscano etichette basate su dati empirici reali.
Quando la richiesta di etichettatura è completa, Data Labeling Service calcola le metriche di valutazione utilizzando le nuove etichette basate su dati empirici reali e l'output di previsione della versione del modello.
Soprattutto se campioni molti dati di previsione nella tabella BigQuery, la richiesta di etichettatura potrebbe richiedere più di un giorno. In questo caso, il job di valutazione viene eseguito di nuovo il giorno successivo, in base alla pianificazione. Ciò significa che il job viene eseguito più volte in parallelo. Ogni esecuzione si applica a un campione separato di dati di previsione: le previsioni della versione del modello il giorno prima dell'esecuzione. Indipendentemente dal tempo impiegato dalle esecuzioni, vengono generate metriche di valutazione per un giorno specifico di previsioni.
Se fornisci etichette basate su dati empirici reali
Come nella sezione precedente, durante l'esecuzione del job di valutazione, Data Labeling Service crea un set di dati con tutte le nuove righe in BigQuery dall'ultima esecuzione. Tuttavia, in questo caso, devi aver già aggiunto etichette basate su dati empirici reali alla colonna groundtruth della tabella prima che venga eseguita l'esecuzione. Il job di valutazione ignora le righe senza un'etichetta basata su dati empirici reali,
che non possono essere incluse in un'esecuzione futura del job di valutazione.
Dopo aver creato il set di dati, Data Labeling Service calcola immediatamente le metriche di valutazione.
Se utilizzi questo metodo, devi aggiungere etichette basate su dati empirici reali per le nuove previsioni ogni giorno, prima dell'esecuzione del job di valutazione.
Prezzi
Se Data Labeling Service assegna a revisori per fornire etichette basate su dati empirici reali, si applicano i prezzi di Data Labeling Service. Inoltre, non ci sono costi specifici per la valutazione continua.
Per utilizzare la valutazione continua, devi utilizzare anche AI Platform Prediction, BigQuery e Cloud Storage. Questi prodotti possono essere soggetti ad addebiti.
Passaggi successivi
Scopri cosa devi fare prima di poter creare un job di valutazione.