Configurer des alertes et des notifications pour les tâches Dataplex

Cette page explique comment configurer des alertes en cas d'échec de l'exécution d'une tâche Dataplex.

Vous pouvez configurer des alertes en utilisant l'une des méthodes suivantes:

  • Explorateur de journaux dans la console Google Cloud
  • Cloud Monitoring

Terminologie

  • Durée de fermeture automatique des incidents : durée au terme de laquelle un incident est clôturé en l'absence d'entrées de journal correspondantes.
  • Délai entre les notifications: délai minimal entre chaque notification pour les journaux correspondant à un filtre. Tous les journaux correspondants dans le délai minimal sont ignorés. La durée minimale que vous pouvez définir est de 5 minutes.

Configurer des notifications à l'aide de l'explorateur de journaux

  1. Ouvrez la console Google Cloud. dans votre navigateur.
  2. Cliquez sur le menu de navigation > Journaux > Explorateur de journaux.

  3. Cliquez sur le bouton Afficher la requête.

    1. Pour configurer une alerte en cas d'échec de l'exécution d'une tâche Dataplex dans un projet, saisissez la requête suivante:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Pour configurer une alerte en cas d'échec de l'exécution d'une tâche Dataplex spécifique dans un projet, saisissez la requête suivante :

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  4. Cliquez sur Créer une alerte.

  5. Dans le champ Nom de la règle d'alerte, saisissez un nom pour la nouvelle alerte.

  6. Dans le champ Documentation, saisissez la description que vous souhaitez inclure dans la notification. Pour en savoir plus sur le contenu que vous pouvez inclure dans dans le champ "Documentation" d'une règle d'alerte, Utiliser Markdown et des variables dans les modèles de documentation

  7. Cliquez sur Suivant.

  8. Choisissez les journaux que vous souhaitez inclure dans l'alerte, puis cliquez sur Suivant.

  9. Définissez le délai entre les notifications et le délai de fermeture automatique de l'incident. et cliquez sur Suivant.

  10. Facultatif: sélectionnez un canal de notification. Pour en savoir plus sur la configuration des notifications à l'aide de la console Google Cloud, consultez Gérer les canaux de notification.

  11. Cliquez sur Enregistrer.

Configurer des notifications à l'aide de l'API Monitoring

  1. Activer l'API Monitoring et autoriser les utilisateurs à y accéder Pour en savoir plus, consultez la section Activer l'API Monitoring.
  2. Définissez les rôles ou les autorisations nécessaires pour créer une règle d'alerte. Pour en savoir plus, consultez la section Autorisation requise pour créer des règles d'alerte.
  3. Créez un canal de notification à l'aide de la console Google Cloud ou de la CLI Google Cloud.

  4. Obtenez l'channel_id à l'aide de la commande suivante : 

    gcloud beta monitoring channels list

  5. Créez un fichier policy.json avec le contenu suivant pour log-based-alerting-policy:

    1. Pour configurer une alerte en cas d'échec de l'exécution d'une tâche Dataplex dans un projet, utilisez le code suivant :

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Pour configurer une alerte en cas d'échec de l'exécution d'une tâche Dataplex spécifique dans un projet, procédez comme suit : utilisez le code suivant:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Transmettez le fichier policy.json à la CLI gcloud à l'aide de la commande suivante :

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Si l'opération réussit, la commande renvoie le nom de ressource de la nouvelle stratégie. Exemple :

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

Étape suivante