Afficher les métriques du pipeline

Après avoir défini, créé et exécuté un pipeline, vous pouvez afficher les métriques liées au job de pipeline ou aux tâches de pipeline dans l'explorateur de métriques. Vous pouvez également créer des métriques et des alertes personnalisées basées sur les journaux à l'aide de Cloud Logging pour surveiller des événements tels que les échecs de pipeline.

Cette page explique comment effectuer les opérations suivantes :

• Afficher les métriques Vertex AI Pipelines standards dans l'explorateur de métriques

• Créer et afficher des métriques personnalisées dans l'explorateur de journaux (bêta)

La création et l'affichage de métriques personnalisées dans Cloud Logging entraînent des coûts. Pour en savoir plus, consultez la section sur les tarifs de Cloud Logging.

Afficher les métriques Vertex AI Pipelines standards dans l'explorateur de métriques

Preview

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Vous pouvez afficher les métriques suivantes liées à Vertex AI Pipelines dans l'explorateur de métriques:

• Métriques au niveau du job de pipeline :

  • Utilisez la métrique Vertex Pipelines Job - PipelineJob duration pour afficher la durée d'exécution des exécutions du pipeline.

  • Utilisez la métrique Location - Executing PipelineJobs pour afficher le nombre d'exécutions du pipeline.

• Métriques au niveau des tâches de pipeline:

  • Utilisez Vertex Pipelines Job - Completed PipelineTasks pour afficher le nombre de tâches de pipeline terminées.

  • Utilisez Location - Executing PipelineTasks pour afficher le nombre de tâches de pipeline exécutées dans les exécutions du pipeline.

Afficher la durée d'exécution des jobs de pipeline

Suivez les instructions ci-dessous pour afficher la métrique Vertex Pipelines Job - PipelineJob duration dans la console Google Cloud:

1. Accédez à l'explorateur de métriques.

   Accéder à l'explorateur de métriques

2. Dans la liste Métrique, sélectionnez Job de pipelines Vertex > Pipelinejob > Durée de PipelineJob.

3. Cliquez sur Appliquer.

4. Facultatif: pour filtrer la requête, spécifiez un ou plusieurs critères en cliquant sur Filtrer. Exemple :

   • Pour afficher la durée d'exécution d'un job de pipeline spécifique, utilisez le filtre pipeline_job_id.

   • Pour afficher la durée d'exécution des jobs de pipeline pour un emplacement spécifique, utilisez le filtre location.

   • Pour afficher la durée d'exécution des jobs de pipeline à l'état PIPELINE_STATE_CANCELLED,PIPELINE_STATE_CANCELLING, PIPELINE_STATE_FAILED, PIPELINE_STATE_PENDING, PIPELINE_STATE_RUNNING ou PIPELINE_STATE_SUCCEEDED, utilisez le filtre run_state.

Afficher le nombre d'exécutions de pipeline

Suivez les instructions ci-dessous pour afficher la métrique Location - Executing PipelineJobs dans la console Google Cloud:

1. Accédez à l'explorateur de métriques.

   Accéder à l'explorateur de métriques

2. Dans la liste Métrique, sélectionnez Emplacement > Executing_vertexai_pipeline_jobs > Exécuter des PipelineJobs.

3. Cliquez sur Appliquer.

4. Facultatif: pour filtrer la requête, spécifiez un ou plusieurs critères en cliquant sur Filtrer. Par exemple, pour afficher le nombre de jobs de pipeline pour un emplacement spécifique, utilisez le filtre location.

Afficher le nombre de tâches de pipeline terminées

Suivez les instructions ci-dessous pour afficher la métrique Vertex Pipelines Job - Completed PipelineTasks dans la console Google Cloud:

1. Accédez à l'explorateur de métriques.

   Accéder à l'explorateur de métriques

2. Dans la liste Métrique, sélectionnez Job de pipelines Vertex > Pipelinejob > Tâches de pipeline terminées.

3. Cliquez sur Appliquer.

4. Facultatif: pour filtrer la requête, spécifiez un ou plusieurs critères en cliquant sur Filtrer. Exemple :

   • Pour afficher le nombre de tâches effectuées dans une exécution de pipeline spécifique, utilisez le filtre pipeline_job_id.

   • Pour afficher le nombre de tâches effectuées dans les exécutions de pipeline pour un emplacement spécifique, utilisez le filtre location.

Afficher le nombre de tâches de pipeline exécutées

Suivez les instructions ci-dessous pour afficher la métrique Location - Executing PipelineTasks dans la console Google Cloud:

1. Accédez à l'explorateur de métriques.

   Accéder à l'explorateur de métriques

2. Dans la liste Métrique, sélectionnez Emplacement > Executing_vertexai_pipeline_tasks > Exécuter des tâches de pipeline.

3. Cliquez sur Appliquer.

4. Facultatif: pour filtrer la requête, spécifiez un ou plusieurs critères en cliquant sur Filtrer. Par exemple, pour afficher le nombre de tâches de pipeline exécutées pour un emplacement spécifique, utilisez le filtre location.

Créer et afficher des métriques personnalisées dans l'explorateur de journaux

Vous pouvez utiliser l'explorateur de journaux dans la console Google Cloud pour créer des métriques basées sur les journaux personnalisées qui suivent et analysent les modèles présents dans vos journaux de pipeline.

Exemples de métriques personnalisées

Cette section présente des exemples de métriques personnalisées que vous pouvez créer. En voici quelques-unes :

• Créer une métrique personnalisée pour les tâches de pipeline ayant échoué

• Créer une métrique personnalisée pour l'état final du pipeline

• Afficher le taux d'échec des tâches du pipeline

Créer une métrique personnalisée pour les tâches de pipeline ayant échoué

Pour créer une métrique de compteur personnalisée basée sur les journaux qui surveille les tâches de pipeline ayant échoué, procédez comme suit :

1. Accédez à l'explorateur de journaux :

   Accéder à l'explorateur de journaux

2. Sélectionnez le projet Google Cloud approprié.

3. Dans le menu déroulant Ressource, sélectionnez Tâche Vertex Pipelines.

4. Dans le menu déroulant Emplacement, sélectionnez l'emplacement de votre pipeline.

5. Dans le menu déroulant All pipeline_job_id (Tous les ID de tâches de pipeline), sélectionnez l'ID de votre tâche de pipeline.

6. Cliquez sur Appliquer.

7. Cliquez sur Créer la métrique.

8. Dans l'écran Créer une métrique de journaux :

   1. Définissez le Type de métrique : sélectionnez Compteur.

   2. Définissez les champs suivants dans la section Détails :

      • Nom de la métrique de journal : saisissez un nom pour votre métrique de journal (par exemple, pipelinejob_failed). Choisissez un nom unique parmi les métriques basées sur les journaux de votre projet Google Cloud. Certaines restrictions en termes de dénomination s'appliquent. Pour en savoir plus, consultez la section Dépannage.
      • Description : saisissez une description de la métrique.
      • Unités : laissez ce champ vide ou saisissez le chiffre 1.

   3. Définissez le filtre de votre métrique dans la section Sélection du filtre. Créez un filtre qui ne collecte que les entrées de journal que vous souhaitez comptabiliser dans votre métrique à l'aide du langage de requête de journalisation, par exemple :

      resource.type="aiplatform.googleapis.com/PipelineJob"
      jsonPayload.state="PIPELINE_STATE_FAILED"
      

      Vous pouvez également utiliser des expressions régulières pour créer les filtres de votre métrique.

      Pour ouvrir un panneau affichant les entrées de journal correspondant à votre filtre, cliquez sur Prévisualiser les journaux.

   4. Facultatif : Ajoutez un libellé dans la section Libellés. Pour obtenir des instructions sur la création de libellés, consultez la page Créer un libellé.

   5. Pour créer la métrique, cliquez sur Créer une métrique.

Créer une métrique personnalisée pour l'état final du pipeline

Pour créer une métrique de compteur personnalisée basée sur les journaux qui surveille l'état final de vos tâches de pipeline, procédez comme suit :

1. Accédez à l'explorateur de journaux :

   Accéder à l'explorateur de journaux

2. Sélectionnez le projet Google Cloud approprié.

3. Dans le menu déroulant Ressource, sélectionnez Tâche Vertex Pipelines.

4. Dans le menu déroulant Emplacement, sélectionnez l'emplacement de votre pipeline.

5. Dans le menu déroulant All pipeline_job_id (Tous les ID de tâches de pipeline), sélectionnez l'ID de votre tâche de pipeline.

6. Cliquez sur Appliquer.

7. Cliquez sur Créer la métrique.

8. Dans l'écran Créer une métrique de journaux :

   1. Définissez le Type de métrique : sélectionnez Compteur.

   2. Définissez les champs suivants dans la section Détails :

      • Nom de la métrique de journal : saisissez un nom pour votre métrique de journal (par exemple, Pipeline_state_final). Choisissez un nom unique parmi les métriques basées sur les journaux de votre projet Google Cloud. Certaines restrictions en termes de dénomination s'appliquent. Pour en savoir plus, consultez la section Dépannage.
      • Description : saisissez une description de la métrique.
      • Unités : laissez ce champ vide ou saisissez le chiffre 1.

   3. Définissez le filtre de votre métrique dans la section Sélection du filtre. Créez un filtre qui ne collecte que les entrées de journal que vous souhaitez comptabiliser dans votre métrique à l'aide du langage de requête de journalisation, par exemple :

      resource.type="aiplatform.googleapis.com/PipelineJob"
      jsonPayload.state="PIPELINE_STATE_SUCCEEDED" OR
      "PIPELINE_STATE_FAILED" OR "PIPELINE_STATE_CANCELLED"
      

      Vous pouvez également utiliser des expressions régulières pour créer les filtres de votre métrique.

      Pour ouvrir un panneau affichant les entrées de journal correspondant à votre filtre, cliquez sur Prévisualiser les journaux.

   4. Facultatif : Ajoutez un libellé dans la section Libellés. Pour obtenir des instructions sur la création de libellés, consultez la page Créer un libellé.

   5. Pour créer la métrique, cliquez sur Créer une métrique.

Afficher le taux d'échec des tâches du pipeline

Le taux d'échec des tâches de pipeline correspond au ratio entre le nombre de tâches de pipeline dans l'état final et le nombre de tâches de pipeline ayant échoué. Pour créer un tableau de bord afin de surveiller le taux d'échec des tâches du pipeline, procédez comme suit :

1. Créer une métrique pour surveiller les tâches de pipeline dans l'état final. Pour plus d'informations, consultez la page Créer une métrique personnalisée pour l'état final du pipeline.

2. Créez une métrique pour surveiller les tâches de pipeline en échec. Pour plus d'informations, consultez la page Créer une métrique personnalisée pour les tâches de pipeline en échec.

3. Dans la section Surveillance de la console Google Cloud, accédez à la page Explorateur de métriques.

   Accéder à la page "Explorateur de métriques"

4. Dans l'onglet Configuration, procédez comme suit :

   1. Cliquez sur Ajouter une autre métrique.

   2. Sélectionnez l'option Afficher les métriques sous forme de ratio. Lorsque vous sélectionnez cette option :

      • Le volet Série temporelle A est renommé Numérateur.

      • Le volet Série temporelle B est renommé Dénominateur.

   3. Dans le volet Numérateur, cliquez sur Sélectionner une métrique pour sélectionner la métrique créée pour les tâches de pipeline ayant échoué.

   4. Dans le volet Dénominateur, cliquez sur Sélectionner une métrique pour sélectionner la métrique créée pour les tâches de pipeline d'état final.

   5. (Facultatif) Configurez le numérateur et le dénominateur en ajoutant des filtres ou en mettant à jour les champs de regroupement et les paramètres d'alignement.

      Pour savoir comment ajouter des filtres ou mettre à jour les champs de regroupement et les paramètres d'alignement, consultez la page Afficher un ratio de métriques.

      Remarque : Les deux métriques sélectionnées comme numérateur et dénominateur doivent avoir le même type de ressource. Si vous sélectionnez la même métrique que le numérateur et le dénominateur, utilisez des filtres ou des regroupements différents pour séparer le numérateur et le dénominateur.

   Une fois que vous avez sélectionné le numérateur et le dénominateur, le taux d'échec des tâches de pipeline est affiché dans le graphique.

   • Après avoir généré le graphique du taux d'échec des tâches du pipeline, vous pouvez l'ajouter à votre tableau de bord personnalisé. Pour en savoir plus, consultez la section Enregistrer un graphique pour référence ultérieure.

   • Pour copier l'URL contenant la configuration du graphique, cliquez sur l'icône représentant des points de suspension en haut à droite, puis sur Partager par URL.