Puoi utilizzare la console Google Cloud o l'SDK Vertex AI per Python per aggiungere l'esecuzione di una pipeline a un esperimento o a un'esecuzione di un esperimento.
Console Google Cloud
Segui le istruzioni riportate di seguito per eseguire una pipeline ML e associarla a un esperimento e, facoltativamente, a un esperimento eseguito utilizzando la console Google Cloud. Le esecuzioni degli esperimenti possono essere create solo tramite l'SDK Vertex AI per Python (consulta Creare e gestire le esecuzioni degli esperimenti).- Nella console Google Cloud, nella sezione Vertex AI, vai alla pagina Pipeline.
Vai a Pipeline - Nell'elenco a discesa Regione, seleziona la regione in cui vuoi creare una pipeline in esecuzione.
- Fai clic su Crea esecuzione per aprire il riquadro Crea esecuzione pipeline.
- Specifica i seguenti dettagli relativi all'esecuzione.
- Nel campo File, fai clic su Scegli per aprire il selettore di file. Vai al file JSON della pipeline compilato che vuoi eseguire, seleziona la pipeline e fai clic su Apri.
- Per impostazione predefinita, il Nome pipeline corrisponde al nome specificato nella definizione della pipeline. (Facoltativo) Specifica un nome della pipeline diverso.
- Specifica un Nome esecuzione per identificare in modo univoco questa esecuzione della pipeline.
- Per specificare che l'esecuzione di questa pipeline utilizza un account di servizio personalizzato, una
chiave di crittografia gestita dal cliente o una rete VPC in peering, fai clic su
Opzioni avanzate (facoltativo).
Segui le istruzioni riportate di seguito per configurare opzioni avanzate come un account di servizio personalizzato.- Per specificare un account di servizio,
selezionalo dall'elenco a discesa Account di servizio.
Se non specifichi un account di servizio, Vertex AI Pipelines esegue la pipeline utilizzando l'account predefinito di Compute Engine.
Scopri di più sulla configurazione di un account di servizio da utilizzare con Vertex AI Pipelines. - Per utilizzare una chiave di crittografia gestita dal cliente (CMEK), seleziona Utilizza una chiave di crittografia gestita dal cliente. Viene visualizzato l'elenco a discesa Seleziona una chiave gestita dal cliente. Nell'elenco a discesa Seleziona una chiave gestita dal cliente, seleziona la chiave che vuoi utilizzare.
- Per utilizzare una rete VPC in peering in questa esecuzione della pipeline, inserisci il nome della rete VPC nella casella Rete VPC in peering.
- Per specificare un account di servizio,
selezionalo dall'elenco a discesa Account di servizio.
- Fai clic su Continua.
Vengono visualizzati la località di Cloud Storage e il riquadro Parametri pipeline. - Obbligatorio: inserisci la directory di output di Cloud Storage, ad esempio: gs://location_of_directory.
- (Facoltativo) Specifica i parametri da utilizzare per l'esecuzione di questa pipeline.
- Fai clic su Invia per creare l'esecuzione della pipeline.
- Una volta inviata, la pipeline viene visualizzata nella tabella della console Google Cloud della pipeline.
- Nella riga associata alla pipeline fai clic su > Aggiungi all'esperimento Mostra altro
- Seleziona un esperimento esistente o creane uno nuovo.
- (Facoltativo) Se le esecuzioni dell'esperimento sono associate all'esperimento, vengono visualizzate nel menu a discesa. Seleziona un'esecuzione dell'esperimento esistente.
- Fai clic su Salva.
Confrontare l'esecuzione di una pipeline con le esecuzioni di un esperimento utilizzando la console Google Cloud
- Nella console Google Cloud, vai alla pagina Esperimenti.
Vai a Esperimenti.
Nella pagina Esperimenti viene visualizzato un elenco degli esperimenti. - Seleziona l'esperimento a cui vuoi aggiungere l'esecuzione della pipeline.
Viene visualizzato un elenco delle esecuzioni. - Seleziona le esecuzioni da confrontare, poi fai clic su Confronta
- Fai clic sul pulsante Aggiungi esecuzione. Viene visualizzato un elenco delle esecuzioni
- Seleziona l'esecuzione della pipeline da aggiungere. L'esecuzione viene aggiunta.
SDK Vertex AI per Python {:#sdk-add-pipeline-run}
I seguenti esempi utilizzano l'API PipelineJob.
Associa l'esecuzione della pipeline a un esperimento
Questo esempio mostra come associare l'esecuzione di una pipeline a un esperimento. Quando vuoi confrontare
le esecuzioni della pipeline, devi associare le esecuzioni della pipeline a un esperimento. Consulta
init
nella documentazione di riferimento dell'SDK Vertex AI per Python.
Python
experiment_name
: assegna un nome all'esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione della sezione.pipeline_job_display_name
: il nome definito dall'utente di questa pipeline.template_path
: il percorso del file JSON o YAML PipelineJob o PipelineSpec. Può essere un percorso locale o un URI Cloud Storage. Esempio: "gs://project.name"pipeline_root
: la radice degli output della pipeline. Il valore predefinito è il bucket gestione temporanea.parameter_values
: la mappatura dai nomi dei parametri di runtime ai valori che controllano l'esecuzione della pipeline.project
: il tuo ID progetto. Puoi trovare questi ID nella pagina di benvenuto della console Google Cloud.location
: consulta l'elenco delle località disponibili.
Associa l'esecuzione della pipeline all'esecuzione dell'esperimento
L'esempio fornito include l'associazione dell'esecuzione di una pipeline a un'esecuzione di un esperimento.
Casi d'uso:
- Quando si esegue l'addestramento del modello locale e poi si esegue la valutazione sul modello (la valutazione viene eseguita utilizzando una pipeline). In questo caso dovresti scrivere le metriche di valutazione dell'esecuzione della pipeline in un esperimento
- Quando si esegue più volte la stessa pipeline. Ad esempio, se modifichi i parametri di input o se un componente presenta errori e devi eseguirlo di nuovo.
Quando associ l'esecuzione di una pipeline all'esecuzione di un esperimento, i parametri e le metriche non vengono visualizzati automaticamente e devono essere registrati manualmente utilizzando le API di logging.
Nota: quando il parametro facoltativo resume
viene specificato su TRUE
,
riprende l'esecuzione avviata in precedenza. Se non specificato, il valore predefinito di resume
è
FALSE
e viene creata una nuova esecuzione.
Consulta
init
,
start_run
e
log
nella documentazione di riferimento dell'SDK Vertex AI per Python.
Python
experiment_name
: assegna un nome all'esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nel menu di navigazione della sezione.run_name
: specifica un nome esecuzione.pipeline_job
: un job di pipeline di Vertex AIproject
: il tuo ID progetto. Puoi trovarli nella pagina di benvenuto della console Google Cloud.location
: consulta l'elenco delle località disponibili
Visualizza l'elenco delle esecuzioni della pipeline nella console Google Cloud
Nella console Google Cloud, nella sezione Vertex AI, vai alla pagina Pipeline.
Verifica di essere nel progetto corretto.
Nelle colonne Esperimento ed Esecuzione esperimento, viene visualizzato un elenco degli esperimenti e delle esecuzioni associati alle esecuzioni della pipeline del progetto.
Codelab
Sfrutta al massimo la sperimentazione: gestisci gli esperimenti di machine learning con Vertex AI
Questo codelab prevede l'utilizzo di Vertex AI per creare una pipeline che addestra un modello Keras personalizzato in TensorFlow. Vertex AI Experiments viene utilizzato per monitorare e confrontare le esecuzioni dell'esperimento al fine di identificare la combinazione di iperparametri che genera il rendimento migliore.