Warnungen und Benachrichtigungen für Dataplex-Aufgaben einrichten

Auf dieser Seite wird beschrieben, wie Sie Benachrichtigungen für fehlgeschlagene Jobausführungen einer Dataplex-Aufgabe einrichten.

Sie können Benachrichtigungen mit einer der folgenden Methoden einrichten:

  • Log-Explorer in der Google Cloud Console
  • Monitoring API

Terminologie

  • Dauer bis zur automatischen Schließung von Vorfällen: Die Dauer, nach der ein Vorfall geschlossen wird, wenn keine übereinstimmenden Logeinträge vorhanden sind.
  • Zeit zwischen Benachrichtigungen: Die Mindestzeitspanne zwischen dem Empfang von Benachrichtigungen. für Logs, die einem Filter entsprechen. Alle übereinstimmenden Logs innerhalb der Mindestzeit werden übersprungen. Die Mindestdauer beträgt 5 Minuten.

Benachrichtigungen mit dem Log-Explorer einrichten

  1. Öffnen Sie die Google Cloud Console in Ihrem Browser.
  2. Klicken Sie auf das Navigationsmenü > Logging > Log-Explorer.

  3. Klicken Sie auf den Umschalter Abfrage anzeigen.

    1. Geben Sie die folgende Abfrage ein, um eine Benachrichtigung für eine fehlgeschlagene Jobausführung einer Dataplex-Aufgabe in einem Projekt einzurichten:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Wenn Sie eine Benachrichtigung für eine fehlgeschlagene Jobausführung für eine bestimmte Dataplex-Aufgabe in einem Projekt einrichten möchten, geben Sie die folgende Abfrage ein:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  4. Klicken Sie auf Benachrichtigung erstellen.

  5. Geben Sie im Feld Name der Benachrichtigungsrichtlinie einen Namen für die neue Benachrichtigung ein.

  6. Geben Sie im Feld Dokumentation die Beschreibung ein, die in die Benachrichtigung aufgenommen werden soll. Weitere Informationen zu den Inhalten, die Sie in das Dokumentationsfeld einer Benachrichtigungsrichtlinie einfügen können, finden Sie unter Markdown und Variablen in Dokumentationsvorlagen verwenden.

  7. Klicken Sie auf Weiter.

  8. Wählen Sie die Protokolle aus, die in die Benachrichtigung aufgenommen werden sollen, und klicken Sie auf Weiter.

  9. Legen Sie das Intervall zwischen Benachrichtigungen und die Dauer bis zur automatischen Schließung von Vorfällen fest und klicken Sie auf Weiter.

  10. Optional: Wählen Sie einen Benachrichtigungskanal aus. Weitere Informationen zum Konfigurieren von Benachrichtigungen Weitere Informationen finden Sie unter Benachrichtigungskanäle verwalten.

  11. Klicken Sie auf Speichern.

Benachrichtigungen mit der Monitoring API einrichten

  1. Aktivieren Sie die Monitoring API und autorisieren Sie die Nutzer für den Zugriff darauf. Weitere Informationen finden Sie unter Monitoring API aktivieren.
  2. Legen Sie die Rollen oder Berechtigungen fest, die zum Erstellen einer Benachrichtigungsrichtlinie erforderlich sind. Weitere Informationen finden Sie unter Autorisierung zum Erstellen von Benachrichtigungsrichtlinien.
  3. Erstellen Sie einen Benachrichtigungskanal entweder mit der Google Cloud Console oder der Google Cloud CLI.

  4. Rufen Sie channel_id mit dem folgenden Befehl ab: 

    gcloud beta monitoring channels list

  5. ​Erstellen Sie eine policy.json-Datei mit folgendem Inhalt für „log-based-alerting-policy“:

    1. So richten Sie eine Benachrichtigung für eine fehlgeschlagene Ausführung eines Jobs ein: Verwenden Sie den folgenden Code in einem Projekt:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. So richten Sie eine Benachrichtigung über eine fehlgeschlagene Jobausführung für eine bestimmte Dataplex-Aufgabe in einem Projekt ein: verwenden Sie den folgenden Code:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Übergeben Sie die policy.json-Datei mit dem folgenden Befehl an die gcloud-Befehlszeile:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Bei Erfolg gibt der Befehl den Ressourcennamen der neuen Richtlinie zurück. Beispiel:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

Nächste Schritte