Configurer des alertes et des notifications pour les tâches Dataplex

Cette page explique comment configurer des alertes pour les exécutions de tâches échouées d'une tâche Dataplex.

Pour configurer des alertes, vous pouvez utiliser l'explorateur de journaux dans la console Google Cloud ou l'API Monitoring.

Terminologie

  • Durée de fermeture automatique des incidents: durée au terme de laquelle un incident est clôturé en l'absence d'entrées de journal correspondantes.
  • Délai entre les notifications: délai minimal entre les réceptions de notifications pour les journaux correspondant à un filtre. Tous les journaux correspondants dans le délai minimal sont ignorés. La durée minimale que vous pouvez définir est de cinq minutes.

Configurer des notifications à l'aide de l'explorateur de journaux

  1. Dans la console Google Cloud , accédez à la page Explorateur de journaux.

    Accéder à l'explorateur de journaux

  2. Cliquez sur le bouton Afficher la requête.

    1. Pour configurer une alerte en cas d'échec de l'exécution d'une tâche Dataplex dans un projet, saisissez la requête suivante:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Pour configurer une alerte en cas d'échec de l'exécution d'une tâche Dataplex spécifique dans un projet, saisissez la requête suivante:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  3. Cliquez sur Créer une alerte.

  4. Dans le champ Nom de la règle d'alerte, saisissez un nom pour la nouvelle alerte.

  5. Dans le champ Documentation, saisissez la description que vous souhaitez inclure dans la notification. Pour en savoir plus sur le contenu que vous pouvez inclure dans le champ de documentation d'une règle d'alerte, consultez la section Utiliser Markdown et les variables dans les modèles de documentation.

  6. Cliquez sur Suivant.

  7. Choisissez les journaux que vous souhaitez inclure dans l'alerte, puis cliquez sur Suivant.

  8. Définissez le Délai entre les notifications et le Délai pour la fermeture automatique de l'incident, puis cliquez sur Suivant.

  9. (Facultatif) Sélectionnez un canal de notification. Pour en savoir plus sur la configuration des canaux de notification à l'aide de la console Google Cloud , consultez Gérer les canaux de notification.

  10. Cliquez sur Enregistrer.

Configurer des notifications à l'aide de l'API Monitoring

  1. Facultatif: Activez l'API Monitoring et autorisez les utilisateurs à y accéder. Pour en savoir plus, consultez la page Activer l'API Monitoring.
  2. Facultatif: définissez les rôles ou les autorisations nécessaires pour créer une règle d'alerte. Pour en savoir plus, consultez la section Autorisation requise pour créer des règles d'alerte.
  3. Créez un canal de notification à l'aide de la console Google Cloud ou de la Google Cloud CLI.

  4. Récupérez la channel_id : 

    gcloud beta monitoring channels list

  5. Créez un fichier policy.json avec le contenu suivant pour la stratégie d'alerte basée sur les journaux:

    1. Configurez une alerte en cas d'échec de l'exécution d'une tâche Dataplex dans un projet:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Configurez une alerte pour une exécution de tâche ayant échoué pour une tâche Dataplex spécifique dans un projet:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Transmettez le fichier policy.json à la CLI gcloud:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Si l'opération réussit, la commande renvoie le nom de ressource de la nouvelle règle. Exemple :

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

Étape suivante