Esegui una pipeline

Vertex AI Pipelines ti consente di eseguire pipeline di machine learning (ML) che sono stati creati usando l'SDK Kubeflow Pipelines o TensorFlow Extended in modo adeguato. Questo documento descrive come eseguire una pipeline ML.

Puoi anche creare esecuzioni della pipeline utilizzando modelli predefiniti nella galleria modelli. Per ulteriori informazioni sulla Galleria modelli, vedi Utilizzare un modello predefinito della Galleria modelli.

Prima di iniziare

Prima di eseguire una pipeline con Vertex AI Pipelines, utilizza quanto segue le istruzioni per configurare Progetto e ambiente di sviluppo Google Cloud:

  1. Crea una pipeline.

  2. Per eseguire una pipeline utilizzando l'SDK Vertex AI per Python, installa l'SDK Vertex.

Crea un'esecuzione della pipeline

Segui le istruzioni riportate di seguito per eseguire una pipeline di ML utilizzando la console Google Cloud o Python.

Console

Segui queste istruzioni per eseguire una pipeline ML utilizzando la console Google Cloud.

  1. Nella console Google Cloud, nella sezione Vertex AI, vai alla pagina Pipeline.

    Vai a Pipeline

  2. Nell'elenco a discesa Regione, seleziona la regione in cui creare l'esecuzione della pipeline.

  3. Fai clic su Crea esecuzione per aprire il riquadro Crea esecuzione pipeline.

  4. Nella sezione Dettagli esecuzione, segui questi passaggi:

    1. Fai clic su Esegui origine. Sono disponibili le seguenti opzioni:

      • Seleziona dalle pipeline esistenti: per creare un'esecuzione della pipeline in base a un modello di pipeline esistente, fai clic su Seleziona dalle pipeline esistenti e inserisci i seguenti dettagli:

        1. Seleziona il Repository contenente la pipeline o il file di definizione dei componenti.

        2. Seleziona la pipeline o il componente e la versione.

        3. Specifica un Nome esecuzione per identificare in modo univoco l'esecuzione della pipeline.

      • Seleziona una pipeline Galleria di modelli: per creare un'esecuzione pipeline basata su un modello di pipeline creato da Google dalla Galleria modelli, fai clic su Seleziona una pipeline Galleria di modelli e inserisci i seguenti dettagli:

        1. Nell'elenco Pipeline Galleria di modelli, seleziona il modello di pipeline.

        2. (Facoltativo) Modifica il valore predefinito Nome esecuzione che identifica in modo univoco l'esecuzione della pipeline.

      • Carica file: per caricare una definizione di pipeline compilata, fai clic su Carica file e inserisci i seguenti dettagli:

        1. Fai clic su Sfoglia per aprire il selettore di file. Vai al file YAML della pipeline compilato che vuoi eseguire, selezionala e fai clic su Apri.

        2. Nome pipeline o componente mostra il nome specificato nella definizione della pipeline per impostazione predefinita. Facoltativamente, specifica un nome diverso per la pipeline.

        3. Specifica un nome esecuzione per identificare in modo univoco l'esecuzione della pipeline.

      • Importa da Cloud Storage: per importare un file di definizione della pipeline da Cloud Storage, fai clic su Importa da Cloud Storage e inserisci i seguenti dettagli:

        1. Fai clic su Sfoglia per accedere al bucket Cloud Storage contenente l'oggetto di definizione della pipeline, seleziona il file, quindi fai clic su Seleziona.

        2. Specifica il nome della pipeline o del componente.

        3. Specifica un nome esecuzione per identificare in modo univoco l'esecuzione della pipeline.

    2. (Facoltativo) Per pianificare le esecuzioni ricorrenti della pipeline, specifica la programmazione dell'esecuzione come segue:

      1. Seleziona Ritorna ogni.

      2. In Ora di inizio, specifica quando deve essere attivata la pianificazione.

        • Per pianificare la prima esecuzione in modo che venga eseguita immediatamente dopo la creazione della pianificazione, seleziona Immediatamente.

        • Per pianificare la prima esecuzione in modo che venga eseguita in una data e un'ora specifiche, seleziona On.

      3. Nel campo Frequency (Frequenza), specifica la frequenza con cui pianificare ed eseguire delle esecuzioni della pipeline, utilizzando un'espressione di pianificazione cron basata su unix-cron.

      4. In Termina, specifica quando termina la pianificazione.

        • Per indicare che la pianificazione crea esecuzioni della pipeline a tempo indeterminato, seleziona Mai.

        • Per indicare che la pianificazione termina in una data e un'ora specifiche, seleziona On e specifica la data e l'ora di fine della pianificazione.

      5. (Facoltativo) Per specificare che l'esecuzione della pipeline utilizza un account di servizio personalizzato, una chiave di crittografia gestita dal cliente (CMEK) o una rete VPC con peering, fai clic su Opzioni avanzate e segui queste istruzioni:

        • Per specificare un account di servizio, selezionane uno dall'elenco a discesa Account di servizio.

          Se non specifichi un service account, Vertex AI Pipelines esegue la pipeline utilizzando il service account predefinito di Compute Engine.

          Scopri di più sulla configurazione di un account di servizio da utilizzare con Vertex AI Pipelines.

        • Per utilizzare una chiave CMEK, seleziona Utilizza una chiave di crittografia gestita dal cliente. Viene visualizzato l'elenco a discesa Seleziona una chiave gestita dal cliente. Nell'elenco a discesa Seleziona una chiave gestita dal cliente, scegli la chiave che vuoi utilizzare.

        • Per utilizzare una rete VPC in peering in questa esecuzione della pipeline, inserisci il nome della rete VPC nella casella Rete VPC in peering.

    3. Fai clic su Continua.

  5. Nella sezione Configurazione runtime, configura l'esecuzione della pipeline come segue:

    1. In Località Cloud Storage, fai clic su Sfoglia per selezionare la nel bucket Cloud Storage per l'archiviazione degli artefatti di output della pipeline, e fai clic su Seleziona.

    2. (Facoltativo) Per configurare il criterio di errore e la cache per l'esecuzione della pipeline, fai clic su Opzioni avanzate e segui le istruzioni riportate di seguito:

      • In Criterio di errore, specifica il criterio di errore per l'intera pipeline. Scopri di più sui criteri di errore della pipeline.

        • Per configurare la pipeline in modo che continui a pianificare le attività dopo il fallimento di una, seleziona Esegui tutti i passaggi fino al completamento. Questa opzione è selezionata per impostazione predefinita.

        • Per configurare la pipeline in modo che abbia esito negativo dopo un'attività non riuscita, seleziona Ignora questa esecuzione non appena un passaggio non va a buon fine.

      • In Configurazione cache, specifica la configurazione della cache per il l'intera pipeline.

        • Per utilizzare la configurazione della cache a livello di attività per l'attività nella pipeline, seleziona Non eseguire l'override della configurazione della cache a livello di attività.

        • Per attivare la memorizzazione nella cache per tutte le attività della pipeline e ignorare qualsiasi configurazione della cache a livello di attività, seleziona Attiva la lettura dalla cache per tutti i passaggi (più veloce).

        • Disattivare la memorizzazione nella cache per tutte le attività nella pipeline ed eseguire l'override configurazione della cache a livello di attività, Disattiva la lettura dalla cache per tutti i passaggi (più veloce).

    3. (Facoltativo) Se la pipeline ha parametri, in Parametri pipeline, specifica i parametri di esecuzione della pipeline.

  6. Per creare l'esecuzione della pipeline, fai clic su Invia.

SDK Vertex AI per Python

Segui queste istruzioni per eseguire una pipeline ML utilizzando l'SDK Vertex AI per Python. Prima di eseguire il seguente esempio di codice, devi configurare l'autenticazione.

Configura l'autenticazione

Per configurare l'autenticazione, devi creare una chiave dell'account di servizio e impostare un ambiente per il percorso della chiave dell'account di servizio.

  1. Crea un account di servizio:

    1. Nella console Google Cloud, vai alla pagina Crea account di servizio.

      Vai a Crea account di servizio

    2. Inserisci un nome nel campo Nome account di servizio.
    3. (Facoltativo) Nel campo Descrizione account di servizio, inserisci una descrizione.
    4. Fai clic su Crea.
    5. Fai clic sul campo Seleziona un ruolo. In Tutti i ruoli, seleziona Vertex AI > Utente Vertex AI.
    6. Fai clic su Fine per creare l'account di servizio.

      Non chiudere la finestra del browser. Lo utilizzerai nel passaggio successivo.

  2. Crea una chiave dell'account di servizio per l'autenticazione:

    1. Nella console Google Cloud, fai clic sull'indirizzo email dell'account di servizio è stato creato.
    2. Fai clic su Chiavi.
    3. Fai clic su Aggiungi chiave, quindi su Crea nuova chiave.
    4. Fai clic su Crea. Un file della chiave JSON viene scaricato sul computer.
    5. Fai clic su Chiudi.
  3. Concedi al nuovo account di servizio l'accesso all'account di servizio che utilizzi per eseguire le pipeline.
    1. Fai clic su per tornare all'elenco degli account di servizio.
    2. Fai clic sul nome dell'account di servizio che utilizzi per eseguire le pipeline. La Viene visualizzata la pagina Dettagli account di servizio.

      Se hai seguito le istruzioni nella guida per la configurazione del progetto per Vertex AI Pipelines, si tratta dello stesso account di servizio che hai creato Configura un account di servizio con autorizzazioni granulari. Altrimenti, Vertex AI utilizza Account di servizio predefinito di Compute Engine per l'esecuzione delle pipeline. L'impostazione predefinita di Compute Engine l'account di servizio ha il seguente nome: PROJECT_NUMBER-compute@developer.gserviceaccount.com

    3. Fai clic sulla scheda Autorizzazioni.
    4. Fai clic su Concedi accesso. Viene visualizzato il riquadro Aggiungi entità.
    5. Nella casella Nuove entità, inserisci l'indirizzo email del servizio creato in un passaggio precedente.
    6. Nell'elenco a discesa Ruolo, seleziona Account di servizio > Utente account di servizio.
    7. Fai clic su Salva.
  4. Imposta la variabile di ambiente GOOGLE_APPLICATION_CREDENTIALS sul percorso del file JSON contenente la chiave dell'account di servizio. Questa variabile si applica solo alla sessione di shell corrente, quindi se apri una nuova sessione, imposta di nuovo la variabile.

    Esempio: Linux o macOS

    Sostituisci [PATH] con il percorso del file JSON che contiene la chiave dell'account di servizio.

    export GOOGLE_APPLICATION_CREDENTIALS="[PATH]"

    Ad esempio:

    export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

    Esempio: Windows

    Sostituisci [PATH] con il percorso del file JSON che contiene la chiave dell'account di servizio e [FILE_NAME] con nome file.

    Con PowerShell:

    $env:GOOGLE_APPLICATION_CREDENTIALS="[PATH]"

    Ad esempio:

    $env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\[FILE_NAME].json"

    Con il prompt dei comandi:

    set GOOGLE_APPLICATION_CREDENTIALS=[PATH]

Esegui una pipeline

Per eseguire un PipelineJob Vertex AI devi creare un oggetto PipelineJob e poi invocare il metodo submit.

Tipi di input speciali supportati da KFP

Durante la creazione di un'esecuzione della pipeline, puoi anche passare il seguente segnaposto supportati dall'SDK KFP come input:

  • {{$.pipeline_job_name_placeholder}}

  • {{$.pipeline_job_resource_name_placeholder}}

  • {{$.pipeline_job_id_placeholder}}

  • {{$.pipeline_task_name_placeholder}}

  • {{$.pipeline_task_id_placeholder}}

  • {{$.pipeline_job_create_time_utc_placeholder}}

  • {{$.pipeline_root_placeholder}}

Per ulteriori informazioni, consulta la sezione Tipi di input speciali nella documentazione di Kubeflow Pipelines v2.

from google.cloud import aiplatform

job = aiplatform.PipelineJob(display_name = DISPLAY_NAME,
                             template_path = COMPILED_PIPELINE_PATH,
                             job_id = JOB_ID,
                             pipeline_root = PIPELINE_ROOT_PATH,
                             parameter_values = PIPELINE_PARAMETERS,
                             enable_caching = ENABLE_CACHING,
                             encryption_spec_key_name = CMEK,
                             labels = LABELS,
                             credentials = CREDENTIALS,
                             project = PROJECT_ID,
                             location = LOCATION,
                             failure_policy = FAILURE_POLICY)

job.submit(service_account=SERVICE_ACCOUNT,
           network=NETWORK)

Sostituisci quanto segue:

  • DISPLAY_NAME: il nome della pipeline, visualizzato nella console Google Cloud.
  • COMPILED_PIPELINE_PATH: il percorso della pipeline compilata YAML. Può essere un percorso locale o un URI Cloud Storage.

    (Facoltativo) Per specificare una determinata versione di una pipeline compilata, includi il tag versione in uno dei seguenti formati:

    • COMPILED_PIPELINE_PATH:TAG, dove TAG è il tag versione.

    • COMPILED_PIPELINE_PATH@SHA256_TAG, dove SHA256_TAG è il valore hash sha256 della versione della pipeline.

  • JOB_ID: (facoltativo) un identificatore univoco per questa esecuzione della pipeline. Se l'ID job non è specificato, Vertex AI Pipelines crea un ID job utilizzando il nome della pipeline e il timestamp dall'avvio dell'esecuzione della pipeline.

  • PIPELINE_ROOT_PATH: (facoltativo) per eseguire l'override del percorso principale della pipeline specificato nella definizione della pipeline, specifica un percorso a cui può accedere il job della pipeline, ad esempio un URI del bucket Cloud Storage.

  • PIPELINE_PARAMETERS: (facoltativo) i parametri della pipeline da passare a questa esecuzione. Ad esempio, crea un dict() con i nomi dei parametri come chiavi del dizionario e i valori dei parametri come valori del dizionario.

  • ENABLE_CACHING: (facoltativo) specifica se questa pipeline viene eseguita utilizza la memorizzazione nella cache di esecuzione. La memorizzazione nella cache di esecuzione riduce i costi attività della pipeline in cui l'output è noto per l'insieme corrente di input. Se l'argomento enable caching non è specificato, la memorizzazione nella cache dell'esecuzione viene utilizzata in questa esecuzione della pipeline. Scopri di più sulla memorizzazione nella cache dell'esecuzione.

  • CMEK: (facoltativo) il nome dell'account gestito dal cliente chiave di crittografia che vuoi utilizzare per l'esecuzione di questa pipeline.

  • LABELS: (facoltativo) le etichette definite dall'utente da organizzare questo PipelineJob. Per ulteriori informazioni sulle etichette delle risorse, consulta Creazione e gestione delle etichette nella documentazione di Resource Manager.

    Vertex AI Pipelines collega automaticamente la seguente etichetta al tuo dell'esecuzione della pipeline:

    vertex-ai-pipelines-run-billing-id: pipeline_run_id

    dove pipeline_run_id è l'ID univoco dell'esecuzione della pipeline.

    Questa etichetta collega l'utilizzo delle risorse Google Cloud generate eseguita nei report di fatturazione.

  • CREDENTIALS: (facoltativo) Credenziali personalizzate da utilizzare per creare questo PipelineJob. Sostituisce le credenziali impostate in aiplatform.init.

  • PROJECT_ID: (facoltativo) il progetto Google Cloud in cui vuoi eseguire la pipeline. Se non imposti questo parametro, viene utilizzato il progetto impostato in aiplatform.init.

  • LOCATION: (facoltativo) la regione in cui vuoi eseguire la pipeline. Per ulteriori informazioni sulle regioni in cui Vertex AI Pipelines è disponibile in: Guida alle posizioni di Vertex AI. Se non imposti questo parametro, viene utilizzata la posizione predefinita impostata in aiplatform.init.

  • FAILURE_POLICY (facoltativo) specifica il criterio di errore per l'intera pipeline. Sono disponibili le seguenti configurazioni:

    • Per configurare la pipeline in modo che abbia esito negativo dopo un'attività non riuscita, inserisci fast.

    • Per configurare la pipeline per continuare a pianificare le attività dopo che un'attività non è andata a buon fine, inserisci slow.

    Se non imposti questo parametro, la configurazione del criterio di errore è impostata su slow per impostazione predefinita. Scopri di più sui criteri di errore della pipeline.

  • SERVICE_ACCOUNT: (facoltativo) il nome del servizio l'account da utilizzare per l'esecuzione della pipeline. Se non specifichi un account di servizio, Vertex AI Pipelines esegue la pipeline utilizzando l'account di servizio Compute Engine predefinito.

  • NETWORK: (facoltativo) il nome della rete VPC in peering da utilizzare per l'esecuzione della pipeline.