Auf dieser Seite wird beschrieben, wie Sie Benachrichtigungen für Datenpipelines in Cloud Data Fusion einrichten.
Sie können Benachrichtigungen über die folgenden Dienste erstellen:
Benachrichtigungen über Cloud Data Fusion: Diese Benachrichtigungen werden beim Entwerfen einer Batchpipeline in Cloud Data Fusion eingerichtet. Nachdem Sie die Pipeline bereitgestellt haben, können Sie keine Benachrichtigung mehr hinzufügen oder bearbeiten.
Logbasierte Benachrichtigungen über Cloud Monitoring: Sie richten diese Benachrichtigungen in der Google Cloud Console vor und nach der Bereitstellung der Pipeline ein.
Hinweise
Sie benötigen eine Cloud Data Fusion-Instanz. Weitere Informationen finden Sie unter Cloud Data Fusion-Instanz erstellen.
Benachrichtigung in Cloud Data Fusion hinzufügen
Öffnen Sie die Instanz.
Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.
Klicken Sie zum Öffnen der Instanz in Cloud Data Fusion Studio auf Instanzen und dann auf Instanz anzeigen.
Rufen Sie die Seite Studio auf, auf der Sie Ihre Pipeline entwerfen.
Klicken Sie auf Konfigurieren > Pipeline-Benachrichtigungen > Hinzufügen.
Wählen Sie die Benachrichtigung aus und konfigurieren Sie sie. Weitere Informationen zum Konfigurieren von Benachrichtigungen finden Sie unter Benachrichtigungen für Batch-Pipelines.
Klicken Sie nach dem Konfigurieren der Benachrichtigung auf Überprüfen, um nach Fehlern zu suchen, und klicken Sie dann auf Bestätigen.
Benachrichtigung in Monitoring erstellen
Aktivieren Sie Cloud Logging in Ihrer Cloud Data Fusion-Instanz.
Erstellen Sie eine logbasierte Benachrichtigung.
Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.
Auf dieser Seite können Sie Daten speichern, abfragen, aktualisieren und löschen.
Geben Sie die folgende Abfrage ein:
resource.type="cloud_dataproc_cluster" logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs" resource.labels.project_id="PROJECT_ID" severity=ERROR jsonPayload.message=~"Pipeline '.*' failed."
Ersetzen Sie
PROJECT_ID
durch die ID Ihres Projekts.Klicken Sie auf Benachrichtigung erstellen und konfigurieren Sie die Benachrichtigung.
Eine Benachrichtigung wird nur generiert, wenn die Pipeline in einem Dataproc-Cluster ausgeführt wird und fehlschlägt. Beim Erstellen von Dataproc-Clustern wird keine Benachrichtigung generiert.
Nächste Schritte
- Weitere Informationen finden Sie auf den Referenzseiten zu Batch-Pipeline-Benachrichtigungen von CDAP OS.