Introduzione agli esperimenti Vertex AI

Mantieni tutto organizzato con le raccolte Salva e classifica i contenuti in base alle tue preferenze.

L'obiettivo nella creazione di un modello per un problema è identificare il migliore modello per il caso d'uso specifico. A questo scopo, Vertex Esperimenti ti consente di monitorare e analizzare diversi architetture di modelli, iperparametri e ambienti di addestramento.

Le esecuzioni dell'esperimento non comportano costi aggiuntivi. Ti vengono addebitate solo le risorse che utilizzi durante l'esperimento, come descritto nei prezzi di Vertex AI.

Che cosa vuoi fare? Dai un'occhiata all'anteprima del blocco note
monitorare metriche e parametri Confronta i modelli
monitorare la derivazione dell'esperimento Addestramento dei modelli
Monitora le esecuzioni della pipeline Confronta le esecuzioni delle pipeline

Registra passi, input e output

Vertex AI Experiment consente di monitorare

  • i passaggi di un'esecuzione dell'esperimento, ad esempio pre-elaborazione, addestramento,
  • input, ad esempio algoritmo, parametri, set di dati,
  • come output, ad esempio modelli, checkpoint, metriche.

Puoi quindi capire cosa ha funzionato e cosa no e identificare ulteriori percorsi di sperimentazione.

Per vedere alcuni esempi di percorsi degli utenti, consulta:

Analizza le prestazioni del modello

Vertex AI Experiment consente di monitorare e valutare le prestazioni del modello in modo aggregato, in base ai set di dati di test e durante l'esecuzione dell'addestramento. Questa capacità consente di comprendere le caratteristiche prestazionali dei propri modelli, ad esempio se un particolare modello funziona nel suo complesso, dove ha esito negativo e dove il modello eccelle.

Per vedere alcuni esempi di percorsi degli utenti, consulta:

Confronta le prestazioni del modello

Vertex AI Experiment consente di raggruppare e confrontare più modelli per le esecuzioni di esperimenti. Ogni modello ha i propri parametri, tecniche, architetture e input specifici. Questo approccio aiuta a selezionare il modello migliore.

Per vedere alcuni esempi di percorsi degli utenti, consulta:

Cerca esperimenti

La console Google Cloud fornisce una visualizzazione centralizzata degli esperimenti, una vista trasversale delle esecuzioni degli esperimenti e i dettagli di ciascuna esecuzione. L'SDK Vertex AI per Python fornisce alle API la possibilità di consumare esperimenti, esecuzioni di esperimenti, parametri di esecuzione degli esperimenti, metriche e artefatti.

Vertex AI Experiment, insieme a Metadati ML di ML, fornisce un modo per trovare gli artefatti monitorati in un esperimento, in modo da poter visualizzare rapidamente la derivazione dell'elemento e gli artefatti consumati e prodotti in base ai passaggi in un'esecuzione.

Ambito dell'assistenza

Vertex AI Experiment supporta lo sviluppo di modelli utilizzando l'addestramento personalizzato da Vertex AI Workbench, Notebooks, Notebooks e tutti i framework ML Python in quasi tutti i framework ML. Per alcuni framework ML, come TensorFlow, Vertex AI Experiment fornisce integrazioni profonde nel framework che rende l'esperienza utente automagica. Per altri framework ML, Vertex AI Experiment fornisce un SDK Vertex AI per Python neutrale che puoi utilizzare. (consulta Container predefiniti per TensorFlow, scikit-learn, PyTorch, XGBoost).

Modelli di dati e concetti

Vertex AI Experiment è un contesto in metadati Vertex ML in cui un esperimento può contenere esecuzioni di esperimenti n oltre a n esecuzioni delle pipeline. Un'esecuzione dell'esperimento è composta da parametri, metriche di riepilogo, metriche delle serie temporali, risorse Vertex (PipelineJob), artefatti ed esecuzioni. Vertex AI TensorBoard, una versione gestita di TensorBoard open source, viene utilizzata per l'archiviazione delle metriche delle serie temporali. Le esecuzioni e gli artefatti di un'esecuzione di pipeline sono visualizzabili nella console Google Cloud.

Termini di Vertex AI Experiment

Esperimento, esecuzione dell'esperimento e esecuzione della pipeline

esperimento
Un esperimento è un contesto che può contenere un insieme di esecuzioni di esperimenti in aggiunta alle esecuzioni della pipeline, in cui un utente può analizzare gruppi come configurazioni di vario tipo, come artefatti di input o iperparametri.
Consulta Creare un esperimento.

esecuzione esperimento
Un'esecuzione dell'esperimento può contenere metriche definite dall'utente, parametri, esecuzioni, artefatti e risorse Vertex (ad esempio, PipelineJob).
Consulta Creare e gestire le esecuzioni degli esperimenti.

esecuzione pipeline
Uno o più Vertex PipelineJob possono essere associati a un esperimento in cui ogni PipelineJob è rappresentato come una singola esecuzione. In questo contesto, i parametri dell'esecuzione vengono dedotti dai parametri dell'ambiente PipelineJob. Le metriche vengono dedotte dagli artefatti system.Metric prodotti da tale Job Pipeline. Gli artefatti dell'esecuzione vengono dedotti dagli artefatti prodotti da quella JobJob.
Uno o più Vertex PipelineJob possono essere associati a un ExperimentRun. In questo contesto, i parametri, le metriche e gli artefatti non vengono dedotti.

Vedi Associare una pipeline a un esperimento.

Parametri e metriche

Parametri
I parametri sono valori di input con chiave che configurano un'esecuzione, regolano il comportamento della corsa e influiscono sui risultati della corsa. Alcuni esempi sono il tasso di apprendimento, il tasso di abbandono e il numero di passaggi di addestramento.

Vedi Parametri dei log.

metriche di riepilogo
Le metriche di riepilogo sono un unico valore per ogni chiave di metrica, in un'esecuzione dell'esperimento. Ad esempio, l'accuratezza del test di un esperimento è quella calcolata in base a un set di dati di test al termine dell'addestramento, che può essere acquisito come una singola metrica di riepilogo del valore.

Vedi Metriche di riepilogo dei log.

metriche delle serie temporali
Le metriche delle serie temporali sono valori di metriche longitudinali in cui ogni valore rappresenta un passaggio nella parte della routine della formazione di una corsa. Le metriche delle serie temporali vengono archiviate in Vertex AI TensorBoard. Vertex AI Experiment archivia un riferimento alla risorsa Vertex TensorBoard.

Vedi Registrare le metriche delle serie temporali.

Tipi di risorse

job di pipeline
Una risorsa nell'API Vertex AI corrispondente a Job pipeline di Vertex. Gli utenti creano un PipelineJob quando vogliono eseguire una pipeline ML su Vertex AI.

artefatto
Un artefatto è un'entità o una parte di dati discreti prodotti e utilizzati da un flusso di lavoro di machine learning. Esempi di artefatti includono set di dati, modelli, file di input e log di addestramento.

Vertex AI Experiment consente di definire il tipo di artefatto, ad esempio i tipi supportati includono system.Dataset, system.Model e system.Artifact.

Passaggi successivi