Exécuter un pipeline de machine learning

AI Platform Pipelines fournit une plate-forme permettant d'automatiser votre workflow de machine learning (ML) sous forme de pipeline. En exécutant votre processus de ML en tant que pipeline, vous pouvez :

  • exécuter des pipelines sur une base ad hoc ;
  • planifier des exécutions récurrentes pour ré-entraîner régulièrement votre modèle ;
  • effectuer des tests en exécutant votre pipeline avec différents ensembles d'hyperparamètres, plusieurs étapes ou itérations d'entraînement, etc., puis comparer les résultats obtenus.

Ce guide explique comment exécuter un pipeline et planifier des exécutions récurrentes. Il fournit également des ressources permettant d'obtenir plus d'informations sur l'interface utilisateur de Kubeflow Pipelines.

Avant de commencer

Ce guide explique comment exécuter un pipeline à l'aide de l'interface utilisateur de Kubeflow Pipelines. Avant de pouvoir exécuter un pipeline, vous devez configurer votre cluster AI Platform Pipelines et vous assurer que vous disposez des autorisations requises pour accéder à votre cluster AI Platform Pipelines.

Exécuter un pipeline de ML

Suivez les instructions ci-dessous pour exécuter un pipeline de ML sur votre cluster AI Platform Pipelines.

  1. Ouvrez AI Platform Pipelines dans Google Cloud Console.

    Accéder à AI Platform Pipelines

  2. Cliquez sur Open pipelines dashboard (Ouvrir le tableau de bord des pipelines) pour votre cluster Kubeflow Pipelines. L'interface utilisateur de Kubeflow Pipelines s'ouvre dans un nouvel onglet.

  3. Dans le panneau de navigation de gauche, cliquez sur Pipelines.

  4. Cliquez sur le nom du pipeline que vous souhaitez exécuter. Si vous n'avez pas encore chargé de pipeline, cliquez sur le nom d'un exemple de pipeline, tel que [Demo] TFX - Taxi Tip Prediction Model Trainer. Un graphique affichant les étapes du pipeline s'affiche.

  5. Pour exécuter ou planifier le pipeline, cliquez sur Create run (Créer une configuration d'exécution). Un formulaire dans lequel vous pouvez saisir les détails de l'exécution s'affiche.

  6. Avant d'exécuter un pipeline, vous devez spécifier les détails de l'exécution, son type et ses paramètres.

    • Dans la section Run details (Détails de l'exécution), spécifiez les éléments suivants :

      1. Pipeline : sélectionnez le pipeline que vous souhaitez exécuter.
      2. Pipeline Version (Version du pipeline) : sélectionnez la version du pipeline à exécuter.
      3. Run name (Nom de l'exécution) : saisissez un nom unique pour cette exécution. Vous pouvez utiliser ce nom pour rechercher cette exécution ultérieurement.
      4. Description (facultatif) : saisissez une description pour fournir plus d'informations sur cette exécution.
      5. Test (facultatif) : pour regrouper des exécutions associées, sélectionnez un test.

    • Dans la section Run type (Type d'exécution), indiquez à quelle fréquence cette exécution doit être déclenchée.

      1. Indiquez s'il s'agit d'une exécution One-off (Unique) ou Recurring (Récurrente).

      2. S'il s'agit d'une exécution récurrente, définissez son déclencheur :

        1. Type de déclencheur : indiquez si cette exécution est déclenchée périodiquement ou selon une planification Cron.
        2. Maximum concurrent runs (Nombre maximal d'exécutions simultanées) : saisissez le nombre maximal d'exécutions pouvant être actives en même temps.
        3. Has start date (Date de début) : vérifiez le champ Has start date (Date de début), puis indiquez la date de début et l'heure de début pour spécifier à quel moment ce déclencheur doit commencer à créer des exécutions.
        4. Has end date (Date de fin) : vérifiez le champ Has end date (Date de fin), puis indiquez la date de fin et l'heure de fin pour spécifier à quel moment ce déclencheur doit cesser de créer des exécutions.
        5. Run every (Fréquence d'exécution)  : sélectionnez la fréquence de déclenchement des nouvelles exécutions. Si cette exécution est basée sur une planification Cron, vérifiez le champ Allow editing cron expression (Autoriser la modification de l'expression Cron) et saisissez directement une expression Cron.

    • Dans le champ Run parameters (Paramètres d'exécution), personnalisez les paramètres du pipeline pour cette exécution. Vous pouvez utiliser des paramètres pour définir des valeurs, telles que les chemins d'accès pour le chargement des données d'entraînement ou pour le stockage des artefacts, les hyperparamètres et le nombre d'itérations d'entraînement. Les paramètres d'un pipeline sont définis lors de sa création.

      Si vous exécutez le pipeline [Demo] TFX - Taxi Tip Prediction Model Trainer, spécifiez les éléments suivants :

      1. pipeline-root : le paramètre pipeline-root spécifie l'emplacement de stockage des résultats du pipeline. Ce pipeline enregistre les artefacts d'exécution dans le bucket Cloud Storage par défaut d'AI Platform Pipelines.

        Vous pouvez remplacer cette valeur par le chemin d'accès à un autre bucket Cloud Storage auquel votre cluster peut accéder. Découvrez comment créer un bucket Cloud Storage.

      2. data-root : le paramètre data-root spécifie le chemin d'accès aux données d'entraînement du pipeline. Utilisez la valeur par défaut.

      3. module-file : le paramètre module-file spécifie le chemin d'accès au code source d'un module utilisé dans ce pipeline. Utilisez la valeur par défaut.

        En chargeant du code à partir d'un bucket Cloud Storage, vous pouvez modifier rapidement le comportement d'un composant sans avoir à recréer son image de conteneur.

  7. Cliquez sur Démarrer. Le tableau de bord des pipelines affiche une liste des exécutions du pipeline.

  8. Cliquez sur le nom de votre exécution dans la liste des exécutions du pipeline. Le graphique de votre exécution s'affiche. Au cours de l'exécution, le graphique change à mesure que chaque étape est exécutée.

  9. Cliquez sur les étapes du pipeline pour consulter les entrées, les sorties, les journaux, etc. de votre exécution.

Comprendre l'interface utilisateur de Kubeflow Pipelines

Consultez les ressources suivantes pour en savoir plus sur l'interface utilisateur de Kubeflow Pipelines.

Étapes suivantes