Configurer des alertes et des notifications pour les tâches Dataplex

Cette page explique comment configurer des alertes pour les exécutions de job ayant échoué d'une tâche Dataplex.

Vous pouvez configurer des alertes en utilisant l'une des méthodes suivantes:

  • Explorateur de journaux dans la console Google Cloud
  • Cloud Monitoring

Terminologie

  • Délai de fermeture automatique de l'incident: délai au terme duquel un incident se ferme lorsqu'il n'existe aucune entrée de journal correspondante.
  • Délai entre les notifications: délai minimal entre la réception de notifications pour les journaux correspondant à un filtre. Tous les journaux correspondants au cours de la durée minimale sont ignorés. La durée minimale que vous pouvez définir est de 5 minutes.

Configurer des notifications à l'aide de l'explorateur de journaux

  1. Ouvrez la console Google Cloud dans votre navigateur.
  2. Cliquez sur le menu de navigation > Journalisation > Explorateur de journaux.

  3. Cliquez sur le bouton Afficher la requête.

    1. Pour configurer une alerte en cas d'échec de l'exécution d'une tâche Dataplex dans un projet, saisissez la requête suivante:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Pour configurer une alerte en cas d'échec de l'exécution d'une tâche Dataplex dans un projet, saisissez la requête suivante:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  4. Cliquez sur Créer une alerte.

  5. Dans le champ Nom de la règle d'alerte, saisissez le nom de la nouvelle alerte.

  6. Dans le champ Documentation, saisissez la description que vous souhaitez inclure dans la notification. Pour en savoir plus sur le contenu que vous pouvez inclure dans le champ de documentation d'une règle d'alerte, consultez Utiliser Markdown et des variables dans les modèles de documentation.

  7. Cliquez sur Suivant.

  8. Choisissez les journaux que vous souhaitez inclure dans l'alerte, puis cliquez sur Suivant.

  9. Définissez le Délai entre les notifications et le Délai de fermeture automatique de l'incident, puis cliquez sur Suivant.

  10. Facultatif: Sélectionnez un canal de notification. Pour en savoir plus sur la configuration des canaux de notification à l'aide de la console Google Cloud, consultez Gérer les canaux de notification.

  11. Cliquez sur Enregistrer.

Configurer des notifications à l'aide de l'API Monitoring

  1. activer l'API Monitoring et autoriser les utilisateurs à y accéder ; Pour en savoir plus, consultez la section Activer l'API Monitoring.
  2. Définissez les rôles ou les autorisations nécessaires pour créer une règle d'alerte. Pour en savoir plus, consultez la section Autorisation requise pour créer des règles d'alerte.
  3. Créez un canal de notification à l'aide de la console Google Cloud ou de Google Cloud CLI.

  4. Récupérez channel_id à l'aide de la commande suivante: 

    gcloud beta monitoring channels list

  5. Créez un fichier policy.json avec le contenu suivant pour la règle d'alerte basée sur les journaux:

    1. Pour configurer une alerte en cas d'échec de l'exécution d'une tâche Dataplex dans un projet, utilisez le code suivant:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Pour configurer une alerte en cas d'échec de l'exécution d'un job Dataplex dans un projet, utilisez le code suivant:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Transmettez le fichier policy.json à la CLI gcloud à l'aide de la commande suivante:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Si la commande est bien exécutée, elle renvoie le nom de ressource de la nouvelle stratégie. Exemple :

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

Étapes suivantes