Vertex AI Experiments è uno strumento che ti aiuta a monitorare e analizzare diverse architetture di modelli, iperparametri ed ambienti di addestramento, nonché a monitorare i passaggi, gli input e gli output di un esperimento. Vertex AI Experiments può anche valutare il rendimento del modello in modo aggregato, rispetto ai set di dati di test e durante l'esecuzione dell'addestramento. Potrai poi utilizzare queste informazioni per selezionare il modello migliore per il tuo caso d'uso specifico.
Le esecuzioni degli esperimenti non comportano costi aggiuntivi. Ti vengono addebitate solo le risorse che utilizzi durante l'esperimento, come descritto nella sezione Prezzi di Vertex AI.
| Che cosa vuoi fare? | Dai un'occhiata al Sample Notebook |
|---|---|
| Metriche e parametri dei canali | Confronta i modelli |
| Monitorare la struttura dell'esperimento | Addestramento del modello |
| monitorare le esecuzioni della pipeline | Confrontare le esecuzioni della pipeline |
Monitorare passaggi, input e output
Vertex AI Experiments consente di monitorare:
- i passaggi di un'esecuzione dell'esperimento, ad esempio pre-elaborazione, addestramento,
- input, ad esempio algoritmo, parametri, set di dati,
- gli output di questi passaggi, ad esempio modelli, checkpoint, metriche.
In questo modo puoi capire cosa ha funzionato e cosa no e identificare ulteriori opzioni per la sperimentazione.
Per esempi di Customer Journey, consulta:
Analizzare il rendimento del modello
Vertex AI Experiments ti consente di monitorare e valutare il rendimento del modello in aggregato, rispetto ai set di dati di test e durante l'esecuzione dell'addestramento. Questa capacità aiuta a comprendere le caratteristiche di rendimento dei modelli, ovvero il funzionamento complessivo di un determinato modello, dove non funziona e dove eccelle.
Per esempi di Customer Journey, consulta:
Confrontare il rendimento del modello
Vertex AI Experiments ti consente di raggruppare e confrontare più modelli tra esecuzioni dell'esperimento. Ogni modello ha i propri parametri, tecniche di modellazione, architetture e input specificati. Questo approccio consente di selezionare il modello migliore.
Per esempi di Customer Journey, consulta:
Cerca esperimenti
La console Google Cloud fornisce una vista centralizzata degli esperimenti, una vista trasversale delle esecuzioni degli esperimenti e i dettagli di ogni esecuzione. L'SDK Vertex AI per Python fornisce API per utilizzare esperimenti, esecuzioni dell'esperimento, parametri di esecuzione dell'esperimento, metriche e artefatti.
Vertex AI Experiments, insieme a Vertex ML Metadata, offre un modo per trovare gli artefatti monitorati in un esperimento. In questo modo puoi visualizzare rapidamente la sequenza dell'elemento e gli elementi consumati e prodotti dai passaggi di un'esecuzione.
Ambito dell'assistenza
Vertex AI Experiments supporta lo sviluppo di modelli utilizzando l'addestramento personalizzato di Vertex AI, i notebook di Vertex AI Workbench, Notebooks e tutti i framework ML di Python nella maggior parte dei framework ML. Per alcuni framework ML, come TensorFlow, Vertex AI Experiments offre integrazioni approfondite nel framework che rendono l'esperienza utente automatica. Per altri framework ML, Vertex AI Experiments fornisce un SDK Vertex AI per Python indipendente dal framework che puoi utilizzare. (vedi Container predefiniti per TensorFlow, scikit-learn, PyTorch, XGBoost).
Modelli e concetti di dati
Vertex AI Experiments è un contesto
in Vertex ML Metadata in cui un esperimento
può contenere n esecuzioni dell'esperimento oltre a n esecuzioni della pipeline. Un'esecuzione di un esperimento è composta da parametri, metriche di riepilogo, metriche delle serie temporali e risorse Vertex AI PipelineJob, Artifact e Execution.
Vertex AI TensorBoard, una versione gestita di TensorBoard open source, viene utilizzata per lo stoccaggio delle metriche delle serie temporali. Le esecuzioni e gli artefatti di un'esecuzione della pipeline sono visualizzabili
nella console Google Cloud.
Termini di Vertex AI Experiments
Esperimento, esecuzione dell'esperimento ed esecuzione della pipeline
esperimento
- Un esperimento è un contesto che può contenere un insieme di n esecuzioni dell'esperimento, oltre alle esecuzioni della pipeline, in cui un utente può esaminare, come gruppo, configurazioni diverse come gli elementi di input o gli iperparametri.
Esecuzione dell'esperimento
- Un'esecuzione dell'esperimento può contenere metriche, parametri, esecuzioni, artefatti e risorse Vertex (ad esempio PipelineJob) definiti dall'utente.
pipeline run
- A un esperimento possono essere associati uno o più Vertex PipelineJob, in cui ogni PipelineJob è rappresentato come una singola esecuzione. In questo contesto, i parametri dell'esecuzione vengono dedotti dai parametri di PipelineJob. Le metriche vengono dedotte dagli elementi system.Metric prodotti da PipelineJob. Gli artefatti dell'esecuzione vengono dedotti dagli artefatti prodotti da PipelineJob.
PipelineJob di Vertex AI possono essere associate a una risorsa ExperimentRun.
In questo contesto, i parametri, le metriche e gli elementi non vengono dedotti.
Consulta Associare una pipeline a un esperimento.
Parametri e metriche
parameters
- I parametri sono valori di input con chiave che configurano un'esecuzione, regolano il relativo comportamento e influiscono sui risultati. Alcuni esempi sono il tasso di apprendimento, il tasso di abbandono e il numero di passaggi di addestramento.
Consulta Parametri di log.
metriche di riepilogo
- Le metriche di riepilogo sono un singolo valore per ogni chiave di metrica in un'esecuzione dell'esperimento. Ad esempio, l'accuratezza del test di un esperimento è l'accuratezza calcolata in base a un set di dati di test al termine dell'addestramento e può essere acquisita come metrica di riepilogo di un singolo valore.
Consulta Metriche di riepilogo dei log.
Metriche delle serie temporali
- Le metriche delle serie temporali sono valori delle metriche longitudinali in cui ogni valore rappresenta un passaggio nella parte della routine di addestramento di un'esecuzione. Le metriche delle serie temporali vengono archiviate in Vertex AI TensorBoard. Vertex AI Experiments memorizza un riferimento alla risorsa Vertex TensorBoard.
Consulta Registrare le metriche delle serie temporali.
Tipi di risorse
job della pipeline
- Una risorsa nell'API Vertex AI corrispondente ai job della pipeline Vertex. Gli utenti creano un PipelineJob quando vogliono eseguire una pipeline ML su Vertex AI.
elemento
- Un artefatto è un'entità o un frammento di dati discreti prodotto e consumato da un flusso di lavoro di machine learning. Alcuni esempi di artefatti sono set di dati, modelli, file di input e log di addestramento.
Vertex AI Experiments ti consente di utilizzare uno schema per definire il tipo di elemento. Ad esempio, i tipi di schema supportati includono system.Dataset,
system.Model e system.Artifact. Per ulteriori informazioni, consulta
Schemi di sistema.