La valutazione continua campiona regolarmente l'input e l'output di previsione dei modelli di machine learning addestrati di cui è stato eseguito il deployment in AI Platform Prediction. AI Platform Data Labeling Service assegna quindi revisori umani per fornire etichette basate su dati empirici reali per l'input di previsione. In alternativa, puoi fornire le tue etichette basate su dati empirici reali. Data Labeling Service confronta le predizioni dei modelli con le etichette basate su dati empirici reali per fornire un feedback continuo sulle prestazioni del modello nel tempo.
Come funziona
Per utilizzare la valutazione continua, devi aver già eseguito il deployment di un modello di machine learning addestrato in AI Platform Prediction come versione del modello. Poi puoi creare un job di valutazione per la versione del modello.
La creazione di un job di valutazione per una versione del modello comporta due cose:
- Poiché la versione del modello genera previsioni online, l'input e l'output di alcune di queste previsioni vengono salvati in una tabella BigQuery. Questo campionamento avviene spesso, ogni volta che il modello genera previsioni. Puoi personalizzare la quantità di dati campionati.
- Il job di valutazione viene eseguito a intermittenza generando metriche di valutazione.
Puoi visualizzare le metriche di valutazione risultanti nella console Google Cloud.
Dati di fatto
Le etichette con dati empirici reali sono quelle che gli esseri umani determinano essere le etichette corrette per la tua attività di machine learning. La valutazione continua le utilizza come chiave di risposta e calcola le metriche confrontando le previsioni della versione del modello con le etichette basate su dati empirici reali. Quando crei un job di valutazione, devi decidere come generare le etichette basate su dati empirici reali per i dati di previsione. Esistono due opzioni:
- Data Labeling Service può assegnare revisori umani per fornire etichette basate su dati empirici reali per i dati di previsione.
- Puoi fornire autonomamente le etichette basate su dati empirici reali.
Esecuzioni del job di valutazione
Per impostazione predefinita, i job di valutazione vengono eseguiti ogni giorno alle ore 10:00 UTC. Ciò che accade durante un'esecuzione dipende da come decidi di generare le etichette basate su dati di fatto.
Se Data Labeling Service fornisce etichette basate su dati empirici reali
Quando viene eseguito il job di valutazione, Data Labeling Service crea un set di dati con tutte le nuove righe in BigQuery dall'ultima esecuzione. Questi contengono l'input e l'output della previsione campionati dalla versione del modello.
Poi, Data Labeling Service invia una richiesta di etichettatura baseada su questo set di dati per consentire ai revisori umani di fornire etichette basate su dati empirici reali.
Al termine della richiesta di etichettatura, Data Labeling Service calcola le metriche di valutazione utilizzando le nuove etichette basate su dati empirici reali e l'output di previsione della versione del modello.
Soprattutto se campioni molti dati di previsione nella tabella BigQuery, può essere necessario più di un giorno per completare la richiesta di etichettatura da parte di persone. In questo caso, il job di valutazione viene eseguito nuovamente il giorno successivo, in base alla pianificazione. Ciò significa che il job viene eseguito più volte in parallelo. Ogni esecuzione si applica a un campione distinto di dati di previsione: le previsioni della versione del modello nel giorno precedente l'esecuzione. Indipendentemente dalla durata delle esecuzioni, vengono prodotte metriche di valutazione per ungiorno specifico di previsioni.
Se fornisci le etichette basate su dati di fatto
Come nella sezione precedente, quando viene eseguito il job di valutazione, Data Labeling Service
crea un set di dati con tutte le nuove righe in
BigQuery dall'ultima esecuzione. In questo caso, però, devi aver già aggiunto le etichette basate su dati empirici reali alla colonna groundtruth della tabella prima dell'esecuzione. Il job di valutazione ignora le righe senza un'etichetta basata su dati empirici reali e queste righe non possono essere incluse in un'esecuzione futura del job di valutazione.
Dopo aver creato il set di dati, Data Labeling Service calcola immediatamente le metriche di valutazione.
Se utilizzi questo metodo, devi aggiungere le etichette dei dati empirici reali per le nuove previsioni ogni giorno prima dell'esecuzione del job di valutazione.
Prezzi
Se Data Labeling Service assegna revisori umani per fornire etichette basate su dati empirici reali, si applicano i prezzi di Data Labeling Service. A parte questo, non sono previsti costi specifici per la valutazione continua.
Per utilizzare la valutazione continua, devi utilizzare anche AI Platform Prediction, BigQuery e Cloud Storage. Per questi prodotti potrebbero essere applicati costi.
Passaggi successivi
Scopri cosa devi fare prima di poter creare un job di valutazione.