Introduzione a Vertex AI Experiments

Vertex AI Experiments è uno strumento che ti aiuta a monitorare e analizzare diverse architetture di modelli, iperparametri e ambienti di addestramento, consentendoti di monitorare i passaggi, gli input e gli output di un'esecuzione di esperimento. Vertex AI Experiments può anche valutare le prestazioni aggregate del modello rispetto ai set di dati di test e durante l'esecuzione dell'addestramento. Puoi quindi utilizzare queste informazioni per selezionare il modello migliore per il tuo caso d'uso specifico.

Le esecuzioni degli esperimenti non comportano costi aggiuntivi. Ti vengono addebitati solo i costi delle risorse che utilizzi durante l'esperimento, come descritto nei prezzi di Vertex AI.

Che cosa vuoi fare? Controlla il campione del notebook
monitorare metriche e parametri Confronta i modelli
monitorare la derivazione dell'esperimento Addestramento del modello
monitorare le esecuzioni delle pipeline Confrontare le esecuzioni della pipeline

Monitorare passaggi, input e output

Vertex AI Experiments ti consente di monitorare:

  • passaggi di un'esecuzione dell'esperimento, ad esempio pre-elaborazione, addestramento,
  • input, ad esempio algoritmo, parametri, set di dati,
  • gli output di questi passaggi, ad esempio modelli, checkpoint e metriche.

In questo modo puoi capire cosa ha funzionato e cosa no e identificare ulteriori opportunità di sperimentazione.

Per esempi di percorsi degli utenti, consulta:

Analizzare il rendimento del modello

Vertex AI Experiments ti consente di monitorare e valutare le prestazioni del modello in aggregato, rispetto ai set di dati di test e durante l'esecuzione dell'addestramento. Questa capacità aiuta a comprendere le caratteristiche di rendimento dei modelli: il rendimento complessivo di un modello specifico, i casi in cui non funziona e i casi in cui eccelle.

Per esempi di percorsi degli utenti, consulta:

Confrontare il rendimento dei modelli

Vertex AI Experiments consente di raggruppare e confrontare più modelli in diverse esecuzioni di esperimenti. Ogni modello ha i propri parametri specifici, tecniche di modellazione, architetture e input. Questo approccio consente di selezionare il modello migliore.

Per esempi di percorsi degli utenti, consulta:

Cerca esperimenti

La console Google Cloud fornisce una visualizzazione centralizzata degli esperimenti, una visualizzazione trasversale delle esecuzioni degli esperimenti e i dettagli di ogni esecuzione. L'SDK Vertex AI per Python fornisce API per utilizzare esperimenti, esecuzioni di esperimenti, parametri di esecuzione di esperimenti, metriche e artefatti.

Vertex AI Experiments, insieme a Vertex ML Metadata, fornisce un modo per trovare gli artefatti monitorati in un esperimento. In questo modo puoi visualizzare rapidamente la derivazione dell'artefatto e gli artefatti utilizzati e prodotti dai passaggi di un'esecuzione.

Ambito dell'assistenza

Vertex AI Experiments supporta lo sviluppo di modelli utilizzando l'addestramento personalizzato di Vertex AI, i notebook Vertex AI Workbench, Notebooks e tutti i framework ML Python nella maggior parte dei framework ML. Per alcuni framework ML, come TensorFlow, Vertex AI Experiments fornisce integrazioni profonde nel framework che rendono l'esperienza utente automagica. Per altri framework ML, Vertex AI Experiments fornisce un SDK Vertex AI per Python indipendente dal framework che puoi utilizzare. (vedi Container predefiniti per TensorFlow, scikit-learn, PyTorch, XGBoost).

Modelli e concetti di dati

Vertex AI Experiments è un contesto in Vertex ML Metadata in cui un esperimento può contenere n esecuzioni di esperimenti, oltre a n esecuzioni di pipeline. Un'esecuzione dell'esperimento è costituita da parametri, metriche di riepilogo, metriche delle serie temporali e risorse Vertex AI PipelineJob, Artifact e Execution. Vertex AI TensorBoard, una versione gestita di TensorBoard open source, viene utilizzata per l'archiviazione delle metriche delle serie temporali. Le esecuzioni e gli artefatti di un'esecuzione della pipeline sono visualizzabili nella Google Cloud console.

Termini di Vertex AI Experiments

Esperimento, esecuzione esperimento ed esecuzione pipeline

esperimento
  • Un esperimento è un contesto che può contenere un insieme di n esecuzioni di esperimenti, oltre alle esecuzioni di pipeline in cui un utente può esaminare, come gruppo, diverse configurazioni come artefatti di input o iperparametri.
Vedi Creare un esperimento.

esecuzione dell'esperimento
  • Un'esecuzione specifica e monitorabile all'interno di un esperimento Vertex AI, che registra input (come algoritmo, parametri e set di dati) e output (come modelli, checkpoint e metriche) per monitorare e confrontare le iterazioni di sviluppo ML. Per saperne di più, vedi Creare e gestire le esecuzioni degli esperimenti.
Consulta Creare e gestire le esecuzioni degli esperimenti.

esecuzione della pipeline
  • A un esperimento possono essere associati uno o più Vertex PipelineJob, dove ogni PipelineJob è rappresentato come una singola esecuzione. In questo contesto, i parametri dell'esecuzione vengono dedotti dai parametri di PipelineJob. Le metriche vengono dedotte dagli artefatti system.Metric prodotti da PipelineJob. Gli artefatti dell'esecuzione vengono dedotti dagli artefatti prodotti da PipelineJob.
Una o più risorse PipelineJob Vertex AI possono essere associate a una risorsa ExperimentRun. In questo contesto, i parametri, le metriche e gli artefatti non vengono dedotti.

Consulta Associare una pipeline a un esperimento.

Parametri e metriche

Consulta la sezione Parametri log.

metriche di riepilogo
  • Le metriche riepilogative sono un singolo valore per ogni chiave metrica in un'esecuzione dell'esperimento. Ad esempio, l'accuratezza del test di un esperimento è l'accuratezza calcolata rispetto a un set di dati di test alla fine dell'addestramento, che può essere acquisita come metrica di riepilogo a valore singolo.

Consulta Metriche di riepilogo dei log.

metriche delle serie temporali
  • Le metriche delle serie temporali sono valori di metriche longitudinali in cui ogni valore rappresenta un passaggio della routine di allenamento di una corsa. Le metriche delle serie temporali vengono archiviate in Vertex AI TensorBoard. Vertex AI Experiments memorizza un riferimento alla risorsa Vertex TensorBoard.

Consulta Metriche delle serie temporali dei log.

Tipi di risorse

job di pipeline
  • Un job pipeline o un'esecuzione della pipeline corrisponde alla risorsa PipelineJob nell'API Vertex AI. È un'istanza di esecuzione della definizione della pipeline ML, definita come un insieme di attività ML interconnesse da dipendenze di input-output.

artifact
  • Un artefatto è un'entità discreta o un insieme di dati prodotti e utilizzati da un flusso di lavoro di machine learning. Esempi di artefatti includono set di dati, modelli, file di input e log di addestramento.

Vertex AI Experiments ti consente di utilizzare uno schema per definire il tipo di artefatto. Ad esempio, i tipi di schema supportati includono system.Dataset, system.Model e system.Artifact. Per saperne di più, consulta la sezione Schemi di sistema.

Tutorial su Notebook

Passaggi successivi