Warnungen und Benachrichtigungen für Dataplex-Aufgaben einrichten

Auf dieser Seite wird beschrieben, wie Sie Benachrichtigungen für fehlgeschlagene Jobausführungen einer Dataplex-Aufgabe einrichten.

Sie haben folgende Möglichkeiten, Benachrichtigungen einzurichten:

  • Log-Explorer in der Google Cloud Console
  • Monitoring API

Terminologie

  • Dauer der automatischen Schließung von Vorfällen: Die Dauer, nach der ein Vorfall geschlossen wird, wenn keine übereinstimmenden Logeinträge vorhanden sind.
  • Zeit zwischen Benachrichtigungen: Die Mindestzeitspanne zwischen dem Empfang von Benachrichtigungen für Logs, die einem Filter entsprechen. Alle übereinstimmenden Logs innerhalb der Mindestzeit werden übersprungen. Die Mindestdauer beträgt 5 Minuten.

Benachrichtigungen mit Log-Explorer einrichten

  1. Öffnen Sie die Google Cloud Console in Ihrem Browser.
  2. Klicken Sie auf Navigationsmenü > Logging > Log-Explorer.

  3. Klicken Sie auf den Umschalter Abfrage anzeigen.

    1. Geben Sie die folgende Abfrage ein, um eine Benachrichtigung über eine fehlgeschlagene Jobausführung einer Dataplex-Aufgabe in einem Projekt einzurichten:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

    2. Geben Sie die folgende Abfrage ein, um eine Benachrichtigung über eine fehlgeschlagene Jobausführung für eine bestimmte Dataplex-Aufgabe in einem Projekt einzurichten:

      severity=ERROR
resource.type = "dataplex.googleapis.com/Task"
resource.labels.task_id = TASK_ID
logName = "projects/PROJECT_NAME/logs/dataplex.googleapis.com%2Fprocess"
jsonPayload.state = "FAILED"

  4. Klicken Sie auf Benachrichtigung erstellen.

  5. Geben Sie im Feld Name der Benachrichtigungsrichtlinie einen Namen für die neue Benachrichtigung ein.

  6. Geben Sie im Feld Dokumentation die Beschreibung ein, die in der Benachrichtigung enthalten sein soll. Weitere Informationen zu den Inhalten, die Sie in das Dokumentationsfeld einer Benachrichtigungsrichtlinie aufnehmen können, finden Sie unter Markdown und Variablen in Dokumentationsvorlagen verwenden.

  7. Klicken Sie auf Next (Weiter).

  8. Wählen Sie die Logs aus, die Sie in die Benachrichtigung aufnehmen möchten, und klicken Sie auf Weiter.

  9. Legen Sie die Werte für Zeit zwischen Benachrichtigungen und Dauer der automatischen Schließung von Vorfällen fest und klicken Sie auf Weiter.

  10. Optional: Wählen Sie einen Benachrichtigungskanal aus. Weitere Informationen zum Konfigurieren von Benachrichtigungskanälen mit der Google Cloud Console finden Sie unter Benachrichtigungskanäle verwalten.

  11. Klicken Sie auf Speichern.

Benachrichtigungen mit der Monitoring API einrichten

  1. Aktivieren Sie die Monitoring API und autorisieren Sie die Nutzer, darauf zuzugreifen. Weitere Informationen finden Sie unter Monitoring API aktivieren.
  2. Legen Sie die Rollen oder Berechtigungen fest, die zum Erstellen einer Benachrichtigungsrichtlinie erforderlich sind. Weitere Informationen finden Sie unter Autorisierung zum Erstellen von Benachrichtigungsrichtlinien erforderlich.
  3. Erstellen Sie einen Benachrichtigungskanal mit der Google Cloud Console oder der Google Cloud CLI.

  4. Rufen Sie das channel_id mit dem folgenden Befehl ab: 

    gcloud beta monitoring channels list

  5. Erstellen Sie eine policy.json-Datei mit folgendem Inhalt für die logbasierte Benachrichtigungsrichtlinie:

    1. Verwenden Sie den folgenden Code, um eine Benachrichtigung über eine fehlgeschlagene Jobausführung einer Dataplex-Aufgabe in einem Projekt einzurichten:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

    2. Verwenden Sie den folgenden Code, um eine Benachrichtigung über eine fehlgeschlagene Jobausführung für eine bestimmte Dataplex-Aufgabe in einem Projekt einzurichten:

      {
"displayName": "Alert Using Monitoring API",
"documentation": {
  "content": "Log-based alert in project PROJECT.",
  "mimeType": "text/markdown"
},

"conditions": [
  {
    "displayName": "Log match condition: Failed Job Execution",
    "conditionMatchedLog": {
      "filter": "severity=\"ERROR\" resource.type = \"dataplex.googleapis.com/Task\" logName = \"projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess\" jsonPayload.state = \"FAILED\" resource.labels.task_id = \"TASK_ID\"",
    },
  }
],
"combiner": "OR",

"alertStrategy": {
  "notificationRateLimit": {
    "period": "300s"
  },
  "autoClose": "604800s",
},

"notificationChannels": [
  "projects/PROJECT_ID/notificationChannels/CHANNEL_ID"
]
}

  6. Übergeben Sie die Datei policy.json mit dem folgenden Befehl an die gcloud-Befehlszeile:

    gcloud alpha monitoring policies create --policy-from-file="policy.json"

    Wenn der Vorgang erfolgreich ist, gibt der Befehl den Ressourcennamen der neuen Richtlinie zurück. Beispiel:

    Created alert policy [projects/PROJECT_ID/alertPolicies/*POLICY_ID*].

Nächste Schritte