Vertex AI Experiments è uno strumento che ti aiuta a monitorare e analizzare diverse architetture di modelli, iperparametri e ambienti di addestramento, consentendoti di tenere traccia di passaggi, input e output di un esperimento eseguito. Gli esperimenti di Vertex AI possono anche valutare le prestazioni del modello in forma aggregata, rispetto ai set di dati di test e durante l'esecuzione dell'addestramento. Puoi quindi utilizzare queste informazioni per selezionare il modello migliore per il tuo caso d'uso specifico.
Le esecuzioni degli esperimenti non comportano costi aggiuntivi. Ti vengono addebitate solo le risorse utilizzate durante l'esperimento, come descritto in Prezzi di Vertex AI.
| Che cosa vuoi fare? | Dai un'occhiata all'esempio del blocco note |
|---|---|
| monitorare metriche e parametri | Confronta i modelli |
| monitora la derivazione dell'esperimento | Addestramento del modello |
| monitorare le esecuzioni della pipeline | Confrontare le esecuzioni delle pipeline |
Monitora passi, input e output
Vertex AI Experiments consente di monitorare
- passaggi di un esperimento, ad esempio, pre-elaborazione, addestramento
- come algoritmo, parametri, set di dati,
- gli output di questi passaggi, ad esempio modelli, checkpoint, metriche.
Puoi quindi capire cosa ha funzionato e cosa no e identificare ulteriori canali per la sperimentazione.
Per alcuni esempi di percorso dell'utente, consulta:
Analizza le prestazioni del modello
Vertex AI Experiments consente di monitorare e valutare il rendimento del modello in forma aggregata, rispetto ai set di dati di test e durante l'esecuzione dell'addestramento. Questa capacità aiuta a comprendere le caratteristiche prestazionali dei modelli: come funziona complessivamente un determinato modello, dove presenta errori e dove eccelle il modello.
Per alcuni esempi di percorso dell'utente, consulta:
Confronta le prestazioni del modello
Vertex AI Experiments consente di raggruppare e confrontare più modelli nelle esecuzioni degli esperimenti. Ogni modello ha parametri, tecniche di modellazione, architetture e input specifici. Questo approccio consente di selezionare il modello migliore.
Per alcuni esempi di percorso dell'utente, consulta:
Cerca esperimenti
La console Google Cloud offre una visualizzazione centralizzata degli esperimenti, una visualizzazione in sezione delle esecuzioni degli esperimenti e i dettagli di ogni esecuzione. L'SDK Vertex AI per Python fornisce API per utilizzare esperimenti, esecuzioni di esperimenti, parametri di esecuzione degli esperimenti, metriche e artefatti.
Vertex AI Experiments, insieme a Vertex ML Metadata, offre un modo per trovare gli artefatti monitorati in un esperimento. In questo modo puoi visualizzare rapidamente la derivazione dell'elemento e gli artefatti utilizzati e prodotti dai passaggi di un'esecuzione.
Ambito dell'assistenza
Vertex AI Experiments supporta lo sviluppo di modelli utilizzando l'addestramento personalizzato Vertex AI, i blocchi note Vertex AI Workbench, Notebooks e tutti i framework ML Python per la maggior parte dei framework ML. Per alcuni framework ML, come TensorFlow, Vertex AI Experiments fornisce integrazioni profonde nel framework che rendono l'esperienza utente automagica. Per altri framework ML, Vertex AI Experiments fornisce un SDK Vertex AI per Python senza framework che puoi utilizzare. (vedi: Container predefiniti per TensorFlow, scikit-learn, PyTorch, XGBoost).
Modelli e concetti dei dati
Vertex AI Experiments è un contesto in Vertex ML Metadata in cui un esperimento può contenere n esecuzioni di esperimenti oltre a n esecuzioni di pipeline. Un esperimento eseguito è composto da parametri, metriche di riepilogo, metriche delle serie temporali e risorse Vertex AI PipelineJob, Artifact e Execution .
Vertex AI TensorBoard, una versione gestita di TensorBoard open source, viene utilizzato per l'archiviazione delle metriche delle serie temporali. Le esecuzioni e gli artefatti di un'esecuzione della pipeline sono visualizzabili
nella console Google Cloud.
Termini degli esperimenti Vertex AI
Esperimento, esecuzione esperimento ed esecuzione pipeline
esperimento
- Un esperimento è un contesto che può contenere un insieme di n esecuzioni di esperimenti oltre alle esecuzioni di pipeline in cui un utente può esaminare, come gruppo, diverse configurazioni, come artefatti di input o iperparametri.
esecuzione dell'esperimento
- L'esecuzione di un esperimento può contenere metriche, parametri, esecuzioni, artefatti e risorse Vertex definiti dall'utente (ad esempio PipelineJob).
esecuzione della pipeline
- È possibile associare uno o più Vertex PipelineJob a un esperimento in cui ogni PipelineJob è rappresentato come una singola esecuzione. In questo contesto, i parametri dell'esecuzione vengono dedotti dai parametri dell'oggetto PipelineJob. Le metriche vengono dedotte dagli artefatti system.Metric prodotti da quel PipelineJob. Gli artefatti dell'esecuzione vengono dedotti da artefatti prodotti da tale PipelineJob.
PipelineJob a una risorsa ExperimentRun.
In questo contesto, i parametri, le metriche e gli artefatti non vengono dedotti.
Consulta Associare una pipeline a un esperimento.
Parametri e metriche
- I parametri sono valori di input basati su chiave che configurano un'esecuzione, ne regolano il comportamento e influiscono sui risultati dell'esecuzione. Gli esempi includono tasso di apprendimento, tasso di abbandono e numero di passaggi di addestramento.
Consulta Parametri dei log.
metriche di riepilogo
- Le metriche di riepilogo sono un valore singolo per ogni chiave di metrica in un esperimento eseguito. Ad esempio, l'accuratezza del test di un esperimento è l'accuratezza calcolata in base a un set di dati di test alla fine dell'addestramento che può essere acquisito come singola metrica di riepilogo del valore.
Consulta Metriche di riepilogo dei log.
metriche delle serie temporali
- Le metriche delle serie temporali sono valori delle metriche longitudinali in cui ogni valore rappresenta un passaggio nella parte di una routine di addestramento di una corsa. Le metriche delle serie temporali vengono archiviate in Vertex AI TensorBoard. Vertex AI Experiments archivia un riferimento alla risorsa Vertex TensorBoard.
Consulta Registrare metriche delle serie temporali.
Tipi di risorse
job pipeline
- Una risorsa dell'API Vertex AI corrispondente ai job Vertex Pipeline. Gli utenti creano un PipelineJob quando vogliono eseguire una pipeline ML su Vertex AI.
artefatto
- Un artefatto è un'entità discreta o un insieme di dati prodotto e utilizzato da un flusso di lavoro di machine learning. Esempi di artefatti includono set di dati, modelli, file di input e log di addestramento.
Vertex AI Experiments consente di utilizzare uno schema per definire il tipo di artefatto. Ad esempio, i tipi di schema supportati includono system.Dataset,
system.Model e system.Artifact. Per saperne di più, consulta Schemi di sistema.