Créer des alertes de pipeline

Cette page explique comment configurer des alertes pour les pipelines de données dans Cloud Data Fusion.

Vous pouvez créer des alertes via les services suivants :

  • Alertes via Cloud Data Fusion: vous configurez ces alertes lorsque vous concevoir un pipeline de traitement par lot dans Cloud Data Fusion. Après avoir déployé le pipeline, vous ne pouvez pas ajouter ou modifier une alerte.

  • Alertes basées sur les journaux via Cloud Monitoring: vous configurez ces alertes dans la console Google Cloud avant et après le déploiement du pipeline.

Avant de commencer

Vous avez besoin d'une instance Cloud Data Fusion. Pour en savoir plus, consultez la page Créer une instance Cloud Data Fusion.

Ajouter une alerte dans Cloud Data Fusion

  1. Ouvrez votre instance.

    1. Dans la console Google Cloud, accédez à la page Cloud Data Fusion.

    2. Pour ouvrir l'instance dans Cloud Data Fusion Studio, Cliquez sur Instances, puis sur Afficher l'instance.

      Accéder à la page "Instances"

  2. Accédez à la page Studio sur laquelle vous concevez votre pipeline.

  3. Cliquez sur Configurer > Alertes de pipeline > Ajouter.

  4. Sélectionnez et configurez l'alerte. Pour en savoir plus sur la configuration des alertes, consultez Alertes de pipeline par lot

  5. Une fois l'alerte configurée, cliquez sur Valider pour rechercher d'éventuelles erreurs, puis sur Confirmer.

Créer une alerte dans Monitoring

  1. Activez Cloud Logging dans votre instance Cloud Data Fusion.

  2. Créez une alerte basée sur les journaux.

    1. Dans Google Cloud Console, accédez à la page Explorateur de journaux.

      Accéder à l'explorateur de journaux

      Cette page vous permet de stocker, d'interroger, de mettre à jour et de supprimer des données.

    2. Saisissez la requête suivante :

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      Remplacez PROJECT_ID par l'ID de votre projet.

    3. Cliquez sur Créer une alerte, puis configurez-la.

Une alerte n'est générée que lorsque le pipeline s'exécute sur un cluster Dataproc et échoue. En cas d'échec de la création d'un cluster Dataproc, l'alerte n'est pas générée.

Étape suivante