Vertex AI Pipelines ti consente di eseguire pipeline di machine learning (ML) create utilizzando l'SDK Kubeflow Pipelines o TensorFlow Extended in modo serverless. Questo documento descrive come eseguire una pipeline ML.
Puoi anche creare esecuzioni della pipeline utilizzando modelli predefiniti nella galleria modelli. Per ulteriori informazioni sulla Galleria modelli, consulta Utilizzare un modello predefinito dalla Galleria modelli.
Prima di iniziare
Prima di eseguire una pipeline con Vertex AI Pipelines, segui le seguenti istruzioni per configurare il progetto Google Cloud e l'ambiente di sviluppo:
Per eseguire una pipeline utilizzando l'SDK Vertex AI per Python, installa l'SDK Vertex.
- Installa l'SDK Vertex AI.
Crea un'esecuzione della pipeline
Segui le istruzioni riportate di seguito per eseguire una pipeline di ML utilizzando la console Google Cloud o Python.
Console
Segui le istruzioni riportate di seguito per eseguire una pipeline di ML utilizzando la console Google Cloud.
Nella console Google Cloud, nella sezione Vertex AI, vai alla pagina Pipeline.
Nell'elenco a discesa Regione, seleziona la regione in cui creare l'esecuzione della pipeline.
Fai clic su
Crea esecuzione per aprire il riquadro Crea esecuzione pipeline.Nella sezione Dettagli esecuzione, segui questi passaggi:
Fai clic su un'origine esecuzione. Sono disponibili le seguenti opzioni:
Seleziona dalle pipeline esistenti: per creare un'esecuzione della pipeline in base a un modello di pipeline esistente, fai clic su Seleziona dalle pipeline esistenti e inserisci i seguenti dettagli:
Seleziona il repository contenente il file di definizione della pipeline o del componente.
Seleziona Pipeline o componente e Versione.
Specifica un nome esecuzione per identificare in modo univoco l'esecuzione della pipeline.
Seleziona una pipeline della Galleria di modelli: per creare un'esecuzione della pipeline in base a un modello di pipeline creato da Google dalla Galleria di modelli, fai clic su Seleziona una pipeline della Galleria di modelli e inserisci i seguenti dettagli:
Nell'elenco Pipeline Galleria di modelli, seleziona il modello di pipeline.
(Facoltativo) Modifica il nome esecuzione predefinito che identifica in modo univoco l'esecuzione della pipeline.
Carica file: per caricare una definizione di pipeline compilata, fai clic su Carica file e inserisci i seguenti dettagli:
Fai clic su Sfoglia per aprire il selettore dei file. Vai al file YAML della pipeline compilata che vuoi eseguire, seleziona la pipeline e fai clic su Apri.
Per impostazione predefinita, Nome pipeline o componente mostra il nome specificato nella definizione della pipeline. (Facoltativo) Specifica un altro nome per la pipeline.
Specifica un nome esecuzione per identificare in modo univoco l'esecuzione della pipeline.
Importa da Cloud Storage: per importare un file di definizione della pipeline da Cloud Storage, fai clic su Importa da Cloud Storage e inserisci i seguenti dettagli:
Fai clic su Sfoglia per accedere al bucket Cloud Storage contenente l'oggetto di definizione della pipeline, seleziona il file e poi fai clic su Seleziona.
Specifica il nome della pipeline o del componente.
Specifica un nome esecuzione per identificare in modo univoco l'esecuzione della pipeline.
(Facoltativo) Per pianificare le esecuzioni ricorrenti della pipeline, specifica la Pianificazione esecuzione come segue:
Seleziona Ritorna ogni.
In Ora di inizio, specifica quando la pianificazione diventa attiva.
Per pianificare la prima esecuzione immediatamente dopo la creazione della pianificazione, seleziona Immediatamente.
Per pianificare la prima esecuzione in una data e un'ora specifiche, seleziona On.
Nel campo Frequenza, specifica la frequenza con cui pianificare ed eseguire le esecuzioni della pipeline utilizzando un'espressione di pianificazione CRON basata su unix-cron.
In Termina, specifica quando termina la pianificazione.
Per indicare che la pianificazione crea esecuzioni della pipeline a tempo indeterminato, seleziona Mai.
Per indicare che la pianificazione termina in una data e un'ora specifiche, seleziona On e specifica la data e l'ora di fine della pianificazione.
(Facoltativo) Per specificare che l'esecuzione della pipeline utilizza un account di servizio personalizzato, una chiave di crittografia gestita dal cliente (CMEK) o una rete VPC con peering, fai clic su Opzioni avanzate e segui queste istruzioni:
Per specificare un account di servizio, selezionane uno dall'elenco a discesa Account di servizio.
Se non specifichi un account di servizio, Vertex AI Pipelines esegue la pipeline utilizzando il account di servizio predefinito di Compute Engine.
Scopri di più sulla configurazione di un account di servizio da utilizzare con Vertex AI Pipelines.
Per utilizzare una chiave CMEK, seleziona Usa una chiave di crittografia gestita dal cliente. Viene visualizzato l'elenco a discesa Seleziona una chiave gestita dal cliente. Nell'elenco a discesa Seleziona una chiave gestita dal cliente, seleziona la chiave che vuoi utilizzare.
Per utilizzare una rete VPC in peering in questa esecuzione della pipeline, inserisci il nome della rete VPC nella casella Rete VPC in peering.
Fai clic su Continua.
Nella sezione Configurazione di runtime, configura l'esecuzione della pipeline come segue:
In Località Cloud Storage, fai clic su Sfoglia per selezionare il bucket Cloud Storage in cui archiviare gli artefatti di output della pipeline, quindi fai clic su Seleziona.
(Facoltativo) Per configurare il criterio di errore e la cache per l'esecuzione della pipeline, fai clic su Opzioni avanzate e segui le istruzioni riportate di seguito:
In Criterio di errore, specifica il criterio di errore per l'intera pipeline. Scopri di più sui criteri di errore della pipeline.
Per configurare la pipeline in modo che continui a pianificare le attività dopo il fallimento di una, seleziona Esegui tutti i passaggi fino al completamento. Questa opzione è selezionata per impostazione predefinita.
Per configurare la pipeline in modo che non vada a buon fine dopo il fallimento di un'attività, seleziona Interrompi questa esecuzione non appena un passaggio non va a buon fine.
In Configurazione della cache, specifica la configurazione della cache per l'intera pipeline.
Per utilizzare la configurazione della cache a livello di attività per l'attività nella pipeline, seleziona Non eseguire l'override della configurazione della cache a livello di attività.
Per attivare la memorizzazione nella cache per tutte le attività della pipeline e ignorare qualsiasi configurazione della cache a livello di attività, seleziona Attiva la lettura dalla cache per tutti i passaggi (più veloce).
Per disattivare la memorizzazione nella cache per tutte le attività della pipeline e eseguire l'override di qualsiasi configurazione della cache a livello di attività, seleziona Disattiva la lettura dalla cache per tutti i passaggi (più veloce).
(Facoltativo) Se la pipeline ha parametri, in Parametri pipeline, specifica i parametri di esecuzione della pipeline.
Per creare l'esecuzione della pipeline, fai clic su Invia.
SDK Vertex AI per Python
Segui le istruzioni riportate di seguito per eseguire una pipeline ML utilizzando l'SDK Vertex AI per Python. Prima di eseguire il seguente esempio di codice, devi configurare l'autenticazione.
Configura l'autenticazione
Per configurare l'autenticazione, devi creare una chiave dell'account di servizio e impostare una variabile di ambiente per il percorso della chiave dell'account di servizio.
-
Crea un account di servizio:
-
Nella console Google Cloud, vai alla pagina Crea account di servizio.
- Inserisci un nome nel campo Nome account di servizio.
- (Facoltativo) Nel campo Descrizione account di servizio, inserisci una descrizione.
- Fai clic su Crea.
- Fai clic sul campo Seleziona un ruolo. In Tutti i ruoli, seleziona Vertex AI > Utente Vertex AI.
-
Fai clic su Fine per creare l'account di servizio.
Non chiudere la finestra del browser. Lo utilizzerai nel passaggio successivo.
-
-
Crea una chiave dell'account di servizio per l'autenticazione:
- Nella console Google Cloud, fai clic sull'indirizzo email dell'account di servizio che hai creato.
- Fai clic su Chiavi.
- Fai clic su Aggiungi chiave, quindi su Crea nuova chiave.
- Fai clic su Crea. Un file della chiave JSON viene scaricato sul computer.
- Fai clic su Chiudi.
- Concedi al nuovo account di servizio l'accesso all'account di servizio che utilizzi per eseguire le pipeline.
- Fai clic su per tornare all'elenco degli account di servizio.
Fai clic sul nome dell'account di servizio che utilizzi per eseguire le pipeline. Viene visualizzata la pagina Dettagli account di servizio.
Se hai seguito le istruzioni nella guida per configurare il progetto per Vertex AI Pipelines, si tratta dello stesso account di servizio che hai creato nella sezione Configurare un account di servizio con autorizzazioni granulari. In caso contrario, Vertex AI utilizza l'account di servizio predefinito di Compute Engine per eseguire le pipeline. L'account di servizio predefinito di Compute Engine è denominato come segue:
PROJECT_NUMBER-compute@developer.gserviceaccount.com
- Fai clic sulla scheda Autorizzazioni.
- Fai clic su Concedi accesso. Viene visualizzato il riquadro Aggiungi entità.
- Nella casella Nuove entità, inserisci l'indirizzo email dell'account di servizio che hai creato in un passaggio precedente.
- Nell'elenco a discesa Ruolo, seleziona Account di servizio > Utente account di servizio.
- Fai clic su Salva.
-
Imposta la variabile di ambiente GOOGLE_APPLICATION_CREDENTIALS sul percorso del file JSON contenente la chiave dell'account di servizio. Questa variabile si applica solo alla sessione di shell corrente, quindi se apri una nuova sessione, imposta di nuovo la variabile.
Esempio: Linux o macOS
Sostituisci [PATH] con il percorso del file JSON contenente la chiave dell'account di servizio.
export GOOGLE_APPLICATION_CREDENTIALS="[PATH]"
Ad esempio:
export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"
Esempio: Windows
Sostituisci [PATH] con il percorso del file JSON che contiene la chiave dell'account di servizio e [FILE_NAME] con il nome del file.
Con PowerShell:
$env:GOOGLE_APPLICATION_CREDENTIALS="[PATH]"
Ad esempio:
$env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\[FILE_NAME].json"
Con il prompt dei comandi:
set GOOGLE_APPLICATION_CREDENTIALS=[PATH]
Esegui una pipeline
L'esecuzione di un PipelineJob
Vertex AI richiede la creazione di un oggetto PipelineJob
e l'invocazione del metodo submit
.
Tipi di input speciali supportati da KFP
Durante la creazione di un'esecuzione della pipeline, puoi anche passare i seguenti segnaposto supportati dall'SDK KFP come input:
{{$.pipeline_job_name_placeholder}}
{{$.pipeline_job_resource_name_placeholder}}
{{$.pipeline_job_id_placeholder}}
{{$.pipeline_task_name_placeholder}}
{{$.pipeline_task_id_placeholder}}
{{$.pipeline_job_create_time_utc_placeholder}}
{{$.pipeline_root_placeholder}}
Per ulteriori informazioni, consulta Tipi di input speciali nella documentazione di Kubeflow Pipelines v2.
from google.cloud import aiplatform
job = aiplatform.PipelineJob(display_name = DISPLAY_NAME,
template_path = COMPILED_PIPELINE_PATH,
job_id = JOB_ID,
pipeline_root = PIPELINE_ROOT_PATH,
parameter_values = PIPELINE_PARAMETERS,
enable_caching = ENABLE_CACHING,
encryption_spec_key_name = CMEK,
labels = LABELS,
credentials = CREDENTIALS,
project = PROJECT_ID,
location = LOCATION,
failure_policy = FAILURE_POLICY)
job.submit(service_account=SERVICE_ACCOUNT,
network=NETWORK)
Sostituisci quanto segue:
- DISPLAY_NAME: il nome della pipeline, visualizzato nella console Google Cloud.
COMPILED_PIPELINE_PATH: il percorso del file YAML della pipeline compilata. Può essere un percorso locale o un URI Cloud Storage.
(Facoltativo) Per specificare una determinata versione di una pipeline compilata, includi il tag versione in uno dei seguenti formati:
COMPILED_PIPELINE_PATH:TAG
, dove TAG è il tag della versione.COMPILED_PIPELINE_PATH@SHA256_TAG
, dove SHA256_TAG è il valore hashsha256
della versione della pipeline.
JOB_ID: (facoltativo) un identificatore univoco per questa esecuzione della pipeline. Se l'ID job non è specificato, Vertex AI Pipelines crea un ID job utilizzando il nome della pipeline e il timestamp dell'inizio dell'esecuzione della pipeline.
PIPELINE_ROOT_PATH: (facoltativo) per eseguire l'override del percorso principale della pipeline specificato nella definizione della pipeline, specifica un percorso a cui può accedere il tuo job della pipeline, ad esempio un URI del bucket Cloud Storage.
PIPELINE_PARAMETERS: (facoltativo) i parametri della pipeline da passare a questa esecuzione. Ad esempio, crea un
dict()
con i nomi dei parametri come chiavi del dizionario e i valori dei parametri come valori del dizionario.ENABLE_CACHING: (facoltativo) specifica se questa esecuzione della pipeline utilizza la memorizzazione nella cache dell'esecuzione. La memorizzazione nella cache dell'esecuzione riduce i costi ignorando le attività della pipeline in cui l'output è noto per l'attuale insieme di input. Se l'argomento enable caching non è specificato, la memorizzazione nella cache dell'esecuzione viene utilizzata in questa esecuzione della pipeline. Scopri di più sulla memorizzazione nella cache dell'esecuzione.
CMEK: (facoltativo) il nome della chiave di crittografia gestita dal cliente che vuoi utilizzare per l'esecuzione della pipeline.
LABELS: (facoltativo) le etichette definite dall'utente per organizzare questo
PipelineJob
. Per saperne di più sulle etichette delle risorse, consulta Creare e gestire le etichette nella documentazione di Resource Manager.Vertex AI Pipelines assegna automaticamente la seguente etichetta all'esecuzione della pipeline:
vertex-ai-pipelines-run-billing-id: pipeline_run_id
dove
pipeline_run_id
è l'ID univoco dell'esecuzione della pipeline.Questa etichetta collega l'utilizzo delle risorse Google Cloud generate dalla pipeline eseguita nei report di fatturazione.
CREDENTIALS: (facoltativo) credenziali personalizzate da utilizzare per creare questo
PipelineJob
. Sostituisce le credenziali impostate inaiplatform.init
.PROJECT_ID: (facoltativo) il progetto Google Cloud in cui vuoi eseguire la pipeline. Se non imposti questo parametro, viene utilizzato il progetto impostato in
aiplatform.init
.LOCATION: (facoltativo) la regione in cui vuoi eseguire la pipeline. Per ulteriori informazioni sulle regioni in cui è disponibile Vertex AI Pipelines, consulta la guida alle località di Vertex AI. Se non imposti questo parametro, viene utilizzata la posizione predefinita impostata in
aiplatform.init
.FAILURE_POLICY: (facoltativo) specifica il criterio di errore per l'intera pipeline. Sono disponibili le seguenti configurazioni:
Per configurare la pipeline in modo che non venga completata dopo il fallimento di un'attività, inserisci
fast
.Per configurare la pipeline in modo che continui a pianificare le attività dopo il fallimento di una, inserisci
slow
.
Se non imposti questo parametro, la configurazione del criterio di errore è impostata su
slow
per impostazione predefinita. Scopri di più sui criteri di errore della pipeline.SERVICE_ACCOUNT: (facoltativo) Il nome dell'account servizio da utilizzare per l'esecuzione della pipeline. Se non specifichi un account di servizio, Vertex AI Pipelines esegue la pipeline utilizzando l'account di servizio Compute Engine predefinito.
NETWORK: (facoltativo) il nome della rete VPC in peering da utilizzare per l'esecuzione della pipeline.