Una parte fondamentale del metodo scientifico è la registrazione sia delle osservazioni sia dei parametri di un esperimento. Nella data science, è fondamentale anche monitorare i parametri, gli artefatti e le metriche utilizzati in un esperimento di machine learning (ML). Questi metadati ti aiutano a:
- Analizza le esecuzioni di un sistema ML di produzione per comprendere le variazioni nella qualità delle previsioni.
- Analizza gli esperimenti ML per confrontare l'efficacia di diversi set di iperparametri.
- Monitora la derivazione degli artefatti ML, ad esempio set di dati e modelli, per capire cosa ha contribuito alla creazione di un artefatto o come questo è stato utilizzato per creare artefatti discendenti.
- Esegui nuovamente un flusso di lavoro ML con gli stessi artefatti e parametri.
- Monitora l'utilizzo a valle degli artefatti di ML a fini di governance.
Vertex ML Metadata consente di registrare i metadati e gli artefatti prodotti dal sistema ML e di eseguire query su questi metadati per analizzare, eseguire il debug e controllare le prestazioni del sistema ML o degli artefatti che produce.
Vertex ML Metadata si basa sui concetti utilizzati nella libreria open source ML Metadata (MLMD) sviluppata dal team TensorFlow Extended di Google.
Panoramica di Vertex ML Metadata
Vertex ML Metadata acquisisce i metadati del tuo sistema di ML come un grafico.
Nel grafico dei metadati, gli artefatti e le esecuzioni sono nodi e gli eventi sono archi che collegano gli artefatti come input o output delle esecuzioni. I contesti rappresentano sottografi utilizzati per raggruppare logicamente insiemi di artefatti ed esecuzioni.
Puoi applicare i metadati delle coppie chiave-valore ad artefatti, esecuzioni e contesti. Ad esempio, un modello potrebbe avere metadati che descrivono il framework utilizzato per addestrare il modello e le metriche di rendimento, come accuratezza, precisione e richiamo del modello.
Scopri di più sul monitoraggio dei metadati del sistema ML. Se ti interessa analizzare i metadati di Vertex AI Pipelines, consulta questo tutorial passo passo.
Lignaggio degli artefatti ML
Per comprendere le variazioni nelle prestazioni del tuo sistema ML, devi essere in grado di analizzare i metadati prodotti dal tuo flusso di lavoro ML e la derivazione dei relativi artefatti. La derivazione di un artefatto include tutti i fattori che hanno contribuito alla sua creazione, nonché gli artefatti e i metadati che discendono da questo artefatto.
Ad esempio, la derivazione di un modello potrebbe includere i seguenti elementi:
- I dati di addestramento, test e valutazione utilizzati per creare il modello.
- Gli iperparametri utilizzati durante l'addestramento del modello.
- Il codice utilizzato per addestrare il modello.
- I metadati registrati dal processo di addestramento e valutazione, come l'accuratezza del modello.
- Gli artefatti che derivano da questo modello, come i risultati delle previsioni batch.
Se monitori i metadati del tuo sistema di ML utilizzando Vertex ML Metadata, puoi rispondere a domande come le seguenti:
- Quale set di dati è stato utilizzato per addestrare un determinato modello?
- Quali modelli della mia organizzazione sono stati addestrati utilizzando un determinato set di dati?
- Quale esecuzione ha prodotto il modello più accurato e quali iperparametri sono stati utilizzati per addestrare il modello?
- A quali target di deployment è stato eseguito il deployment di un determinato modello e quando?
- Quale versione del tuo modello è stata utilizzata per creare una previsione in un determinato momento?
Scopri di più sull'analisi dei metadati del sistema ML.