Una parte fondamentale del metodo scientifico è la registrazione sia delle osservazioni sia dei parametri di un esperimento. Nella data science è inoltre fondamentale monitorare i parametri, gli elementi e le metriche utilizzati in un esperimento di machine learning (ML). Questi metadati ti aiutano a:
- Analizza le esecuzioni di un sistema ML di produzione per comprendere le variazioni nella qualità delle previsioni.
- Analizza gli esperimenti di ML per confrontare l'efficacia di diversi set di parametri iperbolici.
- Monitora la derivazione degli artefatti di ML, ad esempio set di dati e modelli, per comprendere esattamente cosa ha contribuito alla creazione di un artefatto o come questo è stato utilizzato per creare artefatti discendenti.
- Esegui di nuovo un flusso di lavoro ML con gli stessi artefatti e parametri.
- Monitora l'utilizzo a valle degli artefatti di ML a fini di governance.
Vertex ML Metadata ti consente di registrare i metadati e gli artefatti prodotti dal tuo sistema ML ed eseguire query su questi metadati per analizzare, eseguire il debug e controllare le prestazioni del tuo sistema ML o degli artefatti che produce.
Vertex ML Metadata si basa sui concetti utilizzati nella libreria open source ML Metadata (MLMD) sviluppata dal team di TensorFlow Extended di Google.
Panoramica di Vertex ML Metadata
Vertex ML Metadata acquisisce i metadati del sistema di ML sotto forma di grafico.
Nel grafico dei metadati, gli elementi e le esecuzioni sono nodi e gli eventi sono bordi che collegano gli elementi come input o output delle esecuzioni. I contesti rappresentano sottografi che vengono utilizzati per raggruppare in modo logico insiemi di elementi e di esecuzioni.
Puoi applicare i metadati delle coppie chiave-valore ad elementi, esecuzioni e contesti. Ad esempio, un modello potrebbe avere metadati che descrivono il framework utilizzato per addestrarlo e le metriche sul rendimento, come accuratezza, precisione e richiamo.
Scopri di più sul monitoraggio dei metadati del sistema di ML. Se ti interessa analizzare i metadati di Vertex AI Pipelines, consulta questo tutorial passo passo.
Ricerca della linea di trasmissione degli elementi ML
Per comprendere le variazioni nel rendimento del tuo sistema di machine learning, devi essere in grado di analizzare i metadati prodotti dal tuo flusso di lavoro di ML e la derivazione dei relativi artefatti. La derivazione di un artefatto include tutti i fattori che hanno contribuito alla sua creazione, nonché gli artefatti e i metadati che discendono da questo artefatto.
Ad esempio, la derivazione di un modello potrebbe includere i seguenti elementi:
- I dati di addestramento, test e valutazione utilizzati per creare il modello.
- Gli iperparametri utilizzati durante l'addestramento del modello.
- Il codice utilizzato per addestrare il modello.
- I metadati registrati dal processo di addestramento e valutazione, come l'accuratezza del modello.
- Gli artefatti che derivano da questo modello, come i risultati delle previsioni in batch.
Monitorando i metadati del tuo sistema di ML utilizzando Vertex ML Metadata, puoi rispondere a domande come:
- Quale set di dati è stato utilizzato per addestrare un determinato modello?
- Quali modelli della mia organizzazione sono stati addestrati utilizzando un determinato set di dati?
- Quale esecuzione ha prodotto il modello più accurato e quali iperparametri sono stati utilizzati per addestrare il modello?
- Per quali target di deployment è stato eseguito il deployment di un determinato modello e quando?
- Quale versione del tuo modello è stata utilizzata per creare una previsione in un determinato momento?
Scopri di più sull'analisi dei metadati del sistema di ML.