Vertex AI Experiments è uno strumento che consente di monitorare e analizzare diversi modelli di architetture, iperparametri e ambienti di addestramento, in modo da tenere traccia dei passaggi, degli input e degli output dell'esecuzione di un esperimento. Vertex AI Experiments può anche valutare le prestazioni del modello in forma aggregata, rispetto ai set di dati di test e durante l'esecuzione dell'addestramento. Puoi quindi utilizzare queste informazioni per selezionare il modello migliore per il tuo caso d'uso specifico.
Le esecuzioni degli esperimenti non comportano costi aggiuntivi. Ti vengono addebitate solo le risorse utilizzate durante l'esperimento, come descritto nei prezzi di Vertex AI.
| Che cosa vuoi fare? | Dai un'occhiata all'esempio del blocco note |
|---|---|
| monitorare metriche e parametri | Confronta i modelli |
| monitora la derivazione dell'esperimento | Addestramento del modello |
| monitorare le esecuzioni della pipeline | Confrontare le esecuzioni della pipeline |
Tenere traccia di passi, input e output
Vertex AI Experiments consente di monitorare:
- passaggi dell'esecuzione di un esperimento, ad esempio pre-elaborazione, addestramento
- di input, ad esempio algoritmo, parametri, set di dati,
- gli output di quei passaggi, ad esempio modelli, checkpoint e metriche.
Puoi quindi capire cosa ha funzionato e cosa no e identificare ulteriori moduli per la sperimentazione.
Per esempi di percorso dell'utente, consulta:
Analizza le prestazioni del modello
Vertex AI Experiments consente di monitorare e valutare il rendimento aggregato del modello rispetto ai set di dati di test e durante l'esecuzione dell'addestramento. Questa capacità aiuta a comprendere le caratteristiche prestazioni dei modelli: come funziona un modello specifico nel complesso, dove non funziona e dove eccelle.
Per esempi di percorso dell'utente, consulta:
Confronta le prestazioni del modello
Vertex AI Experiments consente di raggruppare e confrontare più modelli nelle esecuzioni dell'esperimento. Ogni modello ha i propri parametri, tecniche di modellazione, architetture e input propri. Questo approccio consente di selezionare il modello migliore.
Per esempi di percorso dell'utente, consulta:
Cerca esperimenti
La console Google Cloud offre una visualizzazione centralizzata degli esperimenti, una visione trasversale delle esecuzioni degli esperimenti e i dettagli per ogni esecuzione. L'SDK Vertex AI per Python fornisce le API per utilizzare esperimenti, esecuzioni di esperimenti, parametri di esecuzione, metriche e artefatti.
Vertex AI Experiments, insieme a Vertex ML Metadata, offre un modo per trovare gli artefatti monitorati in un esperimento. In questo modo puoi visualizzare rapidamente la derivazione dell'artefatto e gli artefatti utilizzati e prodotti dai passaggi di un'esecuzione.
Ambito dell'assistenza
Vertex AI Experiments supporta lo sviluppo di modelli utilizzando l'addestramento personalizzato di Vertex AI, i blocchi note Vertex AI Workbench, Notebooks e tutti i framework ML Python per la maggior parte dei framework ML. Per alcuni framework ML, come TensorFlow, Vertex AI Experiments fornisce integrazioni profonde nel framework che rende l'esperienza utente automagica. Per altri framework ML, Vertex AI Experiments fornisce un SDK Vertex AI neutrale per Python. (consulta: Container predefiniti per TensorFlow, scikit-learn, PyTorch, XGBoost).
Modelli e concetti di dati
Vertex AI Experiments è un contesto in Vertex ML Metadata, in cui un esperimento può contenere n esecuzioni di esperimenti oltre a n esecuzioni di pipeline. Un esperimento eseguito è costituito da parametri, metriche di riepilogo, metriche delle serie temporali e risorse Vertex AI PipelineJob, Artifact e Execution.
Vertex AI TensorBoard, una versione gestita di TensorBoard open source, viene utilizzato per l'archiviazione delle metriche delle serie temporali. Le esecuzioni e gli artefatti di un'esecuzione della pipeline sono visualizzabili
nella console Google Cloud.
Termini degli esperimenti di Vertex AI
Esperimento, esecuzione esperimento ed esecuzione pipeline
esperimento
- Un esperimento è un contesto che può contenere un insieme di n esecuzioni di esperimenti oltre alle esecuzioni della pipeline in cui un utente può esaminare, come gruppo, diverse configurazioni come artefatti di input o iperparametri.
esecuzione dell'esperimento
- L'esecuzione di un esperimento può contenere metriche, parametri, esecuzioni, artefatti e risorse Vertex definiti dall'utente (ad esempio PipelineJob).
esecuzione della pipeline
- È possibile associare uno o più Vertex PipelineJob a un esperimento in cui ogni PipelineJob è rappresentato come una singola esecuzione. In questo contesto, i parametri dell'esecuzione vengono dedotti dai parametri del PipelineJob. Le metriche vengono dedotte dagli artefatti system.Metric prodotti da quel PipelineJob. Gli artefatti dell'esecuzione vengono dedotti dagli artefatti prodotti da tale PipelineJob.
PipelineJob
possono essere associate a una risorsa ExperimentRun.
In questo contesto, i parametri, le metriche e gli artefatti non vengono dedotti.
Consulta Associare una pipeline a un esperimento.
Parametri e metriche
- I parametri sono valori di input basati su chiave che configurano un'esecuzione, ne regolano il comportamento e influiscono sui risultati dell'esecuzione. Gli esempi includono il tasso di apprendimento, il tasso di abbandono e il numero di passaggi di formazione.
Consulta Parametri dei log.
metriche di riepilogo
- Le metriche di riepilogo sono un singolo valore per ogni chiave di metrica in un esperimento. Ad esempio, l'accuratezza del test di un esperimento è l'accuratezza calcolata in base a un set di dati di test al termine dell'addestramento che può essere acquisito come metrica di riepilogo del valore singolo.
Consulta Metriche di riepilogo dei log.
metriche delle serie temporali
- Le metriche delle serie temporali sono valori delle metriche longitudinali in cui ogni valore rappresenta un passaggio nella parte di una corsa relativa alla routine di allenamento. Le metriche delle serie temporali vengono archiviate in Vertex AI TensorBoard. Vertex AI Experiments archivia un riferimento alla risorsa Vertex TensorBoard.
Consulta Registrare le metriche delle serie temporali.
Tipi di risorse
job della pipeline
- Una risorsa dell'API Vertex AI corrispondente ai job Vertex Pipeline. Gli utenti creano un PipelineJob quando vogliono eseguire una pipeline ML su Vertex AI.
artefatto
- Un artefatto è un'entità discreta o un dato prodotto e utilizzato da un flusso di lavoro di machine learning. Esempi di artefatti includono set di dati, modelli, file di input e log di addestramento.
Vertex AI Experiments consente di utilizzare uno schema per definire il tipo di artefatto. Ad esempio, i tipi di schema supportati sono system.Dataset,
system.Model e system.Artifact. Per maggiori informazioni, consulta
Schemi di sistema.