Aggiungi esecuzione pipeline all'esperimento

Puoi utilizzare la console Google Cloud o l'SDK Vertex AI per Python per aggiungi un'esecuzione pipeline a un esperimento l'esecuzione dell'esperimento.

Console Google Cloud

Usa le istruzioni riportate di seguito per eseguire una pipeline ML e associarla a un esperimento e, facoltativamente, un esperimento eseguito utilizzando la console Google Cloud. Sperimenta le esecuzioni possono essere create solo tramite l'SDK Vertex AI per Python (consulta Creare e gestire le esecuzioni degli esperimenti).
  1. Nella console Google Cloud, nella sezione Vertex AI, vai alla pagina Pipeline.
    Vai a Pipeline
  2. Nell'elenco a discesa Regione, seleziona la regione che vuoi per creare un'esecuzione pipeline.
  3. Fai clic su Crea esecuzione per aprire il riquadro Crea esecuzione pipeline.
  4. Specifica i seguenti dettagli relativi all'esecuzione.
    • Nel campo File, fai clic su Scegli per aprire il selettore di file. Passa al file JSON della pipeline compilato che vuoi eseguire. seleziona la pipeline e fai clic su Apri.
    • Il Nome pipeline utilizza per impostazione predefinita il nome specificato nella definizione della pipeline. Se vuoi, puoi specificare un valore Nome pipeline:
    • Specifica un Nome esecuzione per identificare in modo univoco questa esecuzione della pipeline.
  5. Per specificare che questa esecuzione della pipeline utilizza un account di servizio personalizzato, viene eseguita una una chiave di crittografia gestita dal cliente o una rete VPC in peering, (Facoltativo) Opzioni avanzate.
    Segui le istruzioni riportate di seguito per configurare le opzioni avanzate come un account di servizio personalizzato.
    • Per specificare un account di servizio: seleziona un account di servizio dall'elenco a discesa Account di servizio.
      Se non specifichi un account di servizio, Vertex AI Pipelines esegue la pipeline utilizzando il modello predefinito Account di servizio Compute Engine.
      Scopri di più sulla configurazione di un account di servizio da utilizzare con Vertex AI Pipelines.
    • Per utilizzare una chiave di crittografia gestita dal cliente (CMEK), seleziona Utilizza un di crittografia gestita dal cliente. La finestra Seleziona un account chiave. Nel menu Seleziona una configurazione gestita dal cliente chiave, seleziona la chiave che vuoi utilizzare.
    • Per utilizzare una rete VPC in peering in questa esecuzione della pipeline, inserisci il valore nome della rete nella casella Rete VPC in peering.
  6. Fai clic su Continua.
    Vengono visualizzati la posizione di Cloud Storage e il riquadro Parametri pipeline.
    • Obbligatorio: inserisci la directory di output di Cloud Storage, ad esempio: gs://location_of_directory.
    • (Facoltativo) Specifica i parametri da utilizzare per l'esecuzione di questa pipeline.
  7. Fai clic su Invia per creare l'esecuzione della pipeline.
  8. Una volta inviata, la pipeline viene visualizzata nella console Google Cloud della pipeline. .
  9. Nella riga associata alla pipeline, fai clic  Visualizza altro > Aggiungi all'esperimento
    • Seleziona un esperimento esistente o creane uno nuovo.
    • (Facoltativo) Se le esecuzioni dell'esperimento sono associate all'esperimento, vengono visualizzate nella menu a discesa. Seleziona un'esecuzione dell'esperimento esistente.
  10. Fai clic su Salva.

Confrontare l'esecuzione di una pipeline con le esecuzioni di un esperimento utilizzando la console Google Cloud

  1. Nella console Google Cloud, vai alla pagina Esperimenti.
    Vai a Esperimenti.
    Nella pagina Esperimenti viene visualizzato un elenco degli esperimenti.
  2. Seleziona l'esperimento a cui vuoi aggiungere l'esecuzione della pipeline.
    Viene visualizzato un elenco delle esecuzioni.
  3. Seleziona le esecuzioni da confrontare, poi fai clic su Confronta
  4. Fai clic sul pulsante Aggiungi esecuzione. Viene visualizzato un elenco delle esecuzioni
  5. Seleziona l'esecuzione della pipeline da aggiungere. L'esecuzione viene aggiunta.

SDK Vertex AI per Python {:#sdk-add-pipeline-run}

I seguenti esempi utilizzano l'API PipelineJob.

Associa l'esecuzione della pipeline a un esperimento

Questo esempio mostra come associare l'esecuzione di una pipeline a un esperimento. Quando vuoi fare un confronto Esecuzioni pipeline, devi associare le esecuzioni della pipeline a un esperimento. Consulta init nella documentazione di riferimento dell'SDK Vertex AI per Python.

Python

from typing import Any, Dict, Optional

from google.cloud import aiplatform


def log_pipeline_job_to_experiment_sample(
    experiment_name: str,
    pipeline_job_display_name: str,
    template_path: str,
    pipeline_root: str,
    project: str,
    location: str,
    parameter_values: Optional[Dict[str, Any]] = None,
):
    aiplatform.init(project=project, location=location)

    pipeline_job = aiplatform.PipelineJob(
        display_name=pipeline_job_display_name,
        template_path=template_path,
        pipeline_root=pipeline_root,
        parameter_values=parameter_values,
    )

    pipeline_job.submit(experiment=experiment_name)
  • experiment_name: assegna un nome all'esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nella sezione di navigazione.
  • pipeline_job_display_name: il nome definito dall'utente di questa pipeline.
  • template_path: il percorso del file JSON PipelineJob o PipelineSpec o YAML. Può essere un percorso locale o un URI Cloud Storage. Esempio: "gs://project.name"
  • pipeline_root: la radice degli output della pipeline. Il valore predefinito è bucket gestione temporanea.
  • parameter_values: la mappatura dai nomi dei parametri di runtime a e i valori che controllano l'esecuzione della pipeline.
  • project: il tuo ID progetto. Puoi trovare questi ID nella console Google Cloud pagina di benvenuto.
  • location: consulta l'elenco delle reti disponibili di località.

Associa l'esecuzione della pipeline all'esecuzione dell'esperimento

L'esempio fornito include l'associazione dell'esecuzione di una pipeline a una l'esecuzione dell'esperimento.

Casi d'uso:

  • Quando si esegue l'addestramento del modello locale e poi si esegue la valutazione su quel modello (la valutazione mediante una pipeline). In questo caso dovresti scrivere le metriche di valutazione dell'esecuzione della pipeline in un esperimento
  • Quando si esegue più volte la stessa pipeline. Ad esempio, se modifichi l'input o se un componente ha un guasto ed è necessario eseguirlo di nuovo.

Quando associ l'esecuzione di una pipeline all'esecuzione di un esperimento, i parametri e le metriche non vengono vengono visualizzati automaticamente e devono essere registrati manualmente utilizzando API di logging.

Nota: quando il parametro facoltativo resume è specificato come TRUE, l'esecuzione avviata in precedenza riprende. Se non specificato, il valore predefinito di resume è FALSE e viene creata una nuova esecuzione.

Consulta init, start_run e log nella documentazione di riferimento dell'SDK Vertex AI per Python.

Python

from google.cloud import aiplatform


def log_pipeline_job_sample(
    experiment_name: str,
    run_name: str,
    pipeline_job: aiplatform.PipelineJob,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log(pipeline_job=pipeline_job)
  • experiment_name: assegna un nome all'esperimento. Puoi trovare l'elenco degli esperimenti nella console Google Cloud selezionando Esperimenti nella sezione di navigazione.
  • run_name: specifica un nome esecuzione.
  • pipeline_job: un job di pipeline di Vertex AI
  • project: il tuo ID progetto. Puoi trovare queste informazioni nella console Google Cloud pagina di benvenuto.
  • location: consulta l'elenco delle località disponibili

Visualizza l'elenco delle esecuzioni della pipeline nella console Google Cloud

  1. Nella console Google Cloud, nella sezione Vertex AI, vai al Pipeline.

    Vai alla pagina Pipeline

  2. Verifica di essere nel progetto corretto.

  3. Un elenco di esperimenti ed esecuzioni associati alla pipeline del progetto vengono visualizzate nelle colonne Esperimento ed Esecuzione esperimento rispettivamente.

Elenco degli esperimenti Vertex AI

Codelab

Passaggi successivi

Esempio di blocco note pertinente