Una parte fondamentale del metodo scientifico è la registrazione sia delle osservazioni sia dei parametri di un esperimento. Nella data science, è anche fondamentale monitorare parametri, artefatti e metriche utilizzati in un esperimento di machine learning (ML). Questi metadati ti aiutano a:
- Analizza le esecuzioni di un sistema ML di produzione per comprendere i cambiamenti nella qualità delle previsioni.
- Analizzare gli esperimenti ML per confrontare l'efficacia di diversi insiemi di iperparametri.
- Traccia la derivazione degli artefatti ML, ad esempio set di dati e modelli, per capire cosa ha contribuito alla creazione di un artefatto o come è stato utilizzato per creare artefatti discendenti.
- Esegui di nuovo un flusso di lavoro ML con gli stessi artefatti e parametri.
- Monitorare l'utilizzo downstream degli artefatti ML per scopi di governance.
Vertex ML Metadata consente di registrare i metadati e gli artefatti prodotti dal sistema ML ed eseguire query su tali metadati per facilitare l'analisi, il debug e la verifica delle prestazioni del sistema ML o degli artefatti che produce.
Vertex ML Metadata si basa sui concetti utilizzati nella libreria open source Metadati ML (MLMD) sviluppata dal team TensorFlow Extended di Google.
Panoramica di Vertex ML Metadata
Vertex ML Metadata acquisisce i metadati del tuo sistema ML sotto forma di grafico.
Nel grafico dei metadati, gli artefatti e le esecuzioni sono nodi, mentre gli eventi sono edge che collegano gli artefatti come input o output delle esecuzioni. I contesti rappresentano sottografici utilizzati per raggruppare logicamente insiemi di artefatti ed esecuzioni.
Puoi applicare i metadati di coppie chiave-valore ad artefatti, esecuzioni e contesti. Ad esempio, un modello potrebbe avere metadati che descrivono il framework utilizzato per addestrare il modello e le metriche relative alle prestazioni, come l'accuratezza, la precisione e il richiamo del modello.
Scopri di più sul monitoraggio dei metadati del tuo sistema di ML. Se vuoi analizzare i metadati di Vertex AI Pipelines, guarda questo tutorial passo passo.
Derivazione degli artefatti ML
Per comprendere le variazioni nelle prestazioni del tuo sistema ML della tua macchina, devi essere in grado di analizzare i metadati prodotti dal flusso di lavoro ML e la derivazione dei suoi artefatti. La derivazione di un artefatto include tutti i fattori che hanno contribuito alla sua creazione, nonché gli artefatti e i metadati che discendono da questo artefatto.
Ad esempio, la derivazione di un modello potrebbe includere quanto segue:
- I dati di addestramento, test e valutazione utilizzati per creare il modello.
- Gli iperparametri utilizzati durante l'addestramento del modello.
- Il codice utilizzato per addestrare il modello.
- I metadati registrati dal processo di addestramento e valutazione, come l'accuratezza del modello.
- Artefatti che discendono da questo modello, come i risultati delle previsioni batch.
Monitorando i metadati del tuo sistema ML utilizzando Vertex ML Metadata, puoi rispondere a domande come le seguenti:
- Quale set di dati è stato utilizzato per addestrare un determinato modello?
- Quali modelli della mia organizzazione sono stati addestrati utilizzando un determinato set di dati?
- Quale esecuzione ha prodotto il modello più accurato e quali iperparametri sono stati utilizzati per addestrare il modello?
- In quali destinazioni è stato eseguito il deployment di un determinato modello e quando?
- Quale versione del modello è stata utilizzata per creare una previsione in un determinato momento?
Scopri di più sull'analisi dei metadati del sistema di ML.