Ajouter une exécution de pipeline au test

Vous pouvez utiliser la console Google Cloud ou le SDK Vertex AI pour Python pour ajouter l'exécution de pipeline à un test ou à un test exécuté.

Console Google Cloud

Suivez les instructions ci-dessous pour exécuter un pipeline de ML et l'associer à un test et, éventuellement, à une exécution de test en utilisant la console Google Cloud. Les exécutions de test ne peuvent être créées que via le SDK Vertex AI pour Python (consultez la section Créer et gérer des exécutions de tests).
  1. Dans la section Vertex AI de la console Google Cloud, accédez à la page Pipelines.
    Accéder à Pipelines
  2. Dans la liste déroulante Région, sélectionnez la région dans laquelle vous souhaitez créer une exécution de pipeline.
  3. Cliquez sur Créer une exécution pour ouvrir le volet Créer une exécution de pipeline.
  4. Spécifiez les détails de l'exécution suivants.
    • Dans le champ Fichier, cliquez sur Sélectionner pour ouvrir le sélecteur de fichier. Accédez au fichier JSON du pipeline compilé que vous souhaitez exécuter, sélectionnez le pipeline, puis cliquez sur Ouvrir.
    • Par défaut, le champ Nom du pipeline contient le nom que vous avez spécifié dans la définition du pipeline. Vous pouvez éventuellement spécifier un autre nom de pipeline.
    • Spécifiez un nom d'exécution pour identifier cette exécution de pipeline de manière unique.
  5. Pour spécifier que cette exécution de pipeline utilise un compte de service personnalisé, une clé de chiffrement gérée par le client ou un réseau VPC appairé, cliquez sur Options avancées (facultatif).
    Suivez les instructions ci-dessous pour configurer des options avancées telles qu'un compte de service personnalisé.
    • Pour spécifier un compte de service, sélectionnez-en un dans la liste déroulante Compte de service.
      Si vous ne spécifiez pas de compte de service, Vertex AI Pipelines exécute votre pipeline à l'aide du compte de service Compute Engine par défaut.
      Découvrez comment configurer un compte de service à utiliser avec les pipelines Vertex AI.
    • Pour utiliser une clé de chiffrement gérée par le client (CMEK), sélectionnez Utiliser une clé de chiffrement gérée par le client. La liste déroulante Sélectionner une clé gérée par le client s'affiche. Dans la liste déroulante Sélectionner une clé gérée par le client, choisissez la clé que vous souhaitez utiliser.
    • Pour utiliser un réseau VPC appairé dans ce pipeline exécuté, saisissez le nom du réseau VPC dans le champ Réseau VPC appairé.
  6. Cliquez sur Continuer.
    L'emplacement Cloud Storage et le volet Paramètres du pipeline s'affichent.
    • Obligatoire : saisissez le répertoire de sortie Cloud Storage, par exemple : gs://location_of_directory.
    • Facultatif : spécifiez les paramètres que vous souhaitez utiliser pour cette exécution de pipeline.
  7. Cliquez sur Envoyer pour créer l'exécution de votre pipeline.
  8. Une fois le pipeline envoyé, il apparaît dans la table du pipeline correspondant à la console Google Cloud.
  9. Sur la ligne associée à votre pipeline, cliquez sur  Afficher plus > Ajouter au test
    • Sélectionnez un test ou créez-en un.
    • Facultatif : si des exécutions de test sont associées au test, elles s'affichent dans la liste déroulante. Sélectionnez une exécution de test existante.
  10. Cliquez sur Enregistrer.

Comparer une exécution de pipeline à des exécutions de test à l'aide de la console Google Cloud

  1. Dans la console Google Cloud, accédez à la page Tests.
    Accéder à Tests
    La liste des tests s'affiche sur la page Tests.
  2. Sélectionnez le test auquel vous souhaitez ajouter votre exécution de pipeline.
    Une liste d'exécutions s'affiche.
  3. Sélectionnez les exécutions que vous souhaitez comparer, puis cliquez sur Comparer
    .
  4. Cliquez sur le bouton Ajouter une exécution. Une liste d'exécutions s'affiche.
  5. Sélectionnez l'exécution de pipeline que vous souhaitez ajouter. L'exécution est ajoutée.

SDK Vertex AI pour Python {:#sdk-add-pipeline-run}

Les exemples suivants utilisent l'API PipelineJob.

Associer l'exécution d'un pipeline à un test

Cet exemple montre comment associer une exécution de pipeline à un test. Lorsque vous souhaitez comparer des exécutions de pipeline, la ou les exécutions de pipeline doivent être associées à un test. Consultez la page init dans la documentation de référence du SDK Vertex AI pour Python.

Python

from typing import Any, Dict, Optional

from google.cloud import aiplatform


def log_pipeline_job_to_experiment_sample(
    experiment_name: str,
    pipeline_job_display_name: str,
    template_path: str,
    pipeline_root: str,
    project: str,
    location: str,
    parameter_values: Optional[Dict[str, Any]] = None,
):
    aiplatform.init(project=project, location=location)

    pipeline_job = aiplatform.PipelineJob(
        display_name=pipeline_job_display_name,
        template_path=template_path,
        pipeline_root=pipeline_root,
        parameter_values=parameter_values,
    )

    pipeline_job.submit(experiment=experiment_name)
  • experiment_name : attribuez un nom à votre test. Vous trouverez la liste de vos tests dans la console Google Cloud en sélectionnant Tests dans le menu de navigation.
  • pipeline_job_display_name : nom défini par l'utilisateur de ce pipeline
  • template_path : chemin d'accès au fichier JSON ou YAML PipelineJob ou PipelineSpec. Il peut s'agir d'un chemin d'accès local ou d'un URI Google Cloud Storage. Exemple : "gs://project.name"
  • pipeline_root : racine des résultats du pipeline. Par défaut, un bucket de préproduction.
  • parameter_values : mappage des noms des paramètres d'exécution sur les valeurs qui contrôlent l'exécution du pipeline.
  • project : l'ID de votre projet. Vous pouvez trouver ces ID sur la page d'accueil de la console Google Cloud.
  • location : Consultez la liste des emplacements disponibles.

Associer un pipeline à l'exécution du test

L'exemple fourni inclut l'association d'une exécution d'un pipeline à une exécution de test.

Cas d'utilisation :

  • Lorsque vous effectuez un entraînement de modèle en local et que vous exécutez ensuite l'évaluation sur ce modèle (l'évaluation est effectuée en utilisant un pipeline). Dans ce cas, vous voudrez écrire les métriques d'évaluation de votre pipeline dans une exécution de test
  • Lorsque vous réexécutez le même pipeline plusieurs fois. Par exemple, si vous modifiez les paramètres d'entrée, ou si un composant échoue et doit être réexécuté.

Lorsque vous associez une exécution de pipeline à une exécution de test, les paramètres et les métriques ne sont pas automatiquement décelés et doivent être consignés manuellement à l'aide des API Logging.

Remarque : Lorsque le paramètre facultatif resume est défini sur TRUE, l'exécution précédemment lancée reprend. Si ce champ n'est pas spécifié, resume est défini par défaut sur FALSE et une nouvelle exécution est créée.

Consultez les pages init, start_run et log dans la documentation de référence du SDK Vertex AI pour Python.

Python

from google.cloud import aiplatform


def log_pipeline_job_sample(
    experiment_name: str,
    run_name: str,
    pipeline_job: aiplatform.PipelineJob,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log(pipeline_job=pipeline_job)
  • experiment_name : attribuez un nom à votre test. Vous trouverez la liste de vos tests dans la console Google Cloud en sélectionnant Tests dans le menu de navigation.
  • run_name : spécifiez un nom d'exécution.
  • pipeline_job : tâche de pipeline Vertex AI
  • project : l'ID de votre projet. Vous le trouverez sur la page d'accueil de la console Google Cloud.
  • location : consultez la liste des emplacements disponibles.

Afficher la liste des pipelines exécutés dans la console Google Cloud

  1. Dans la section Vertex AI de la console Google Cloud, accédez à la page Pipelines.

    Accéder à la page Pipelines

  2. Vérifiez que vous êtes dans le bon projet.

  3. La liste des tests et des exécutions associés au pipeline de votre projet s'affiche dans les colonnes Tests et Exécutions de tests, respectivement.

Liste des tests Vertex AI

Codelab

Étapes suivantes

Exemple de notebook pertinent