Sie können Cloud Monitoring verwenden, um Trends in Cloud Logging-Logs für Aufrufe des Dataform-Workflows zu beobachten und Sie zu benachrichtigen, wenn die von Ihnen beschriebenen Bedingungen auftreten.
Jeder Dataform-Workflow-Aufruf wird mit Cloud Logging protokolliert. Logging ist für Dataform-Workflow-Aufrufe automatisch aktiviert. Dies kann zu Cloud Logging-Abrechnungsgebühren führen. Weitere Informationen finden Sie unter Dataform-Preise.
Wenn Sie Benachrichtigungen erhalten möchten, wenn ein Dataform-Workflowaufruf fehlschlägt, können Sie logbasierte Benachrichtigungen erstellen.
Sie können logbasierte Benachrichtigungen auf der Seite Log-Explorer in der Google Cloud Console oder mit der Monitoring API erstellen. In diesem Leitfaden wird beschrieben, wie Sie mithilfe des Log-Explorers logbasierte Benachrichtigungen beim Aufruf von Dataform-Workflows erstellen.
Hinweis
Achten Sie beim Erstellen und Verwalten von logbasierten Benachrichtigungen darauf, dass Ihre Rolle für Identity and Access Management die Berechtigungen enthält, die unter Berechtigungen für logbasierte Benachrichtigungen beschrieben werden.
Logbasierte Benachrichtigungen für fehlgeschlagene Dataform-Workflowaufrufe konfigurieren
So konfigurieren Sie logbasierte Benachrichtigungen für fehlgeschlagene Aufrufe des Dataform-Workflows:
Wählen Sie in der Google Cloud Console Logging und dann Log-Explorer aus:
Wählen Sie im Bereich Abfrage die Option Abfrage anzeigen aus und geben Sie die folgende Abfrage ein:
resource.type="dataform.googleapis.com/Repository" jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry" jsonPayload.terminalState="FAILED"
Diese Abfrage benachrichtigt Sie über alle fehlgeschlagenen Aufrufe des Dataform-Workflows.
Optional: Um fehlgeschlagene Workflowaufrufe nach einer Releasekonfiguration zu filtern, fügen Sie der Abfrage Folgendes hinzu:
jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"
Optional: Um fehlgeschlagene Workflowaufrufe nach einer Workflowkonfiguration zu filtern, fügen Sie der Abfrage Folgendes hinzu:
jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"
Die folgende Abfrage benachrichtigt, wenn ein Dataform-Workflow-Aufruf im Zusammenhang mit der
daily
-Release-Konfiguration und derproduction
-Workflow-Konfiguration fehlschlägt:resource.type="dataform.googleapis.com/Repository" jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry" jsonPayload.terminalState="FAILED" jsonPayload.releaseConfigId="daily" jsonPayload.workflowConfigId="production"
Optional: Verwenden Sie im Bereich Abfrageergebnisse die Option Abfrage ausführen, um die Abfrage zu validieren.
Klicken Sie im Bereich Abfrageergebnisse auf Benachrichtigung erstellen. Ist das Fenster zu schmal, wird unter Umständen im Menü Aktionen die Option Benachrichtigung erstellen angezeigt.
Geben Sie im Bereich Benachrichtigungsdetails einen Namen und eine Beschreibung für die Benachrichtigung ein:
Geben Sie im Feld Benachrichtigungsname einen Namen für die Benachrichtigung ein. Beispiel: „Dataform: workflow fehlgeschlagen“.
Geben Sie eine Beschreibung dieser Benachrichtigung ein. Sie können auch Informationen angeben, die dem Empfänger einer Benachrichtigung helfen können, das Problem zu diagnostizieren. Im folgenden String wird der Grund für die Benachrichtigung zusammengefasst:
Log-based alert in project ${project} detected a failed Dataform workflow.
Informationen zum Formatieren und Anpassen des Inhalts dieses Felds finden Sie unter Markdown und Variablen in Dokumentationsvorlagen verwenden.
Um mit dem nächsten Schritt fortzufahren, klicken Sie auf Weiter.
Prüfen Sie im Bereich Logs auswählen, die in die Benachrichtigung aufgenommen werden sollen die Abfrage und die Ergebnisse. Klicken Sie dazu auf Logvorschau ansehen.
Wir empfehlen, die Abfrage im Bereich Abfrage des Log-Explorers zu erstellen. Die Abfrage, die Sie im Bereich Query (Abfrage) erstellt haben, wird auch in diesem Bereich angezeigt.
Bei Bedarf können Sie die Abfrage in diesem Bereich bearbeiten. Wenn Sie die Abfrage bearbeiten, prüfen Sie die Ergebnisse, indem Sie auf Logs als Vorschau ansehen klicken.
Klicken Sie auf Next (Weiter).
Wählen Sie die Mindestdauer zwischen Benachrichtigungen aus. Mit diesem Wert können Sie die Anzahl der Benachrichtigungen dieser Art steuern, wenn sie mehrmals ausgelöst wird. Wählen Sie für dieses Beispiel 5 Min. aus den Optionen aus.
Optional: Wählen Sie die Dauer für das automatische Schließen des Vorfalls aus. Standardmäßig ist die Dauer für das automatische Schließen von Vorfällen auf 7 Tage festgelegt.
Klicken Sie auf Next (Weiter).
Wählen Sie einen oder mehrere Benachrichtigungskanäle für Ihre Benachrichtigung aus. Wählen Sie für dieses Beispiel einen E-Mail-Benachrichtigungskanal aus.
Wenn Sie bereits einen E-Mail-Benachrichtigungskanal konfiguriert haben, können Sie ihn aus der Liste auswählen. Wenn nicht, klicken Sie auf Benachrichtigungskanäle verwalten und fügen Sie einen E-Mail-Kanal hinzu. Informationen zum Erstellen von Benachrichtigungskanälen finden Sie unter Benachrichtigungskanäle verwalten.
Klicken Sie auf Speichern.
Ihre logbasierte Benachrichtigung kann jetzt getestet werden. Eine Anleitung zum Testen der Benachrichtigung finden Sie unter Logbasierte Beispielbenachrichtigung testen.
Nächste Schritte
- Logbasierte Benachrichtigungen mit Cloud Logging konfigurieren
- Weitere Informationen zu Cloud Logging-Logs für Dataform.
- Weitere Informationen zu logbasierten Cloud Monitoring-Messwerten und logbasierten Benachrichtigungen
- Übersicht über Cloud-Audit-Logs und Cloud Monitoring