Pipelinebenachrichtigungen erstellen

Auf dieser Seite wird beschrieben, wie Sie Benachrichtigungen für Datenpipelines in Cloud Data Fusion einrichten.

Sie können Benachrichtigungen über die folgenden Dienste erstellen:

• Benachrichtigungen über Cloud Data Fusion: Sie richten diese Benachrichtigungen ein, wenn Sie eine Batch-Pipeline in Cloud Data Fusion entwerfen. Nach dem Bereitstellen der Pipeline können Sie keine Benachrichtigungen mehr hinzufügen oder bearbeiten.

• Logbasierte Benachrichtigungen über Cloud Monitoring: Sie richten diese Benachrichtigungen vor und nach dem Bereitstellen der Pipeline in der Google Cloud Console ein.

Hinweis

Sie benötigen eine Cloud Data Fusion-Instanz. Weitere Informationen finden Sie unter Cloud Data Fusion-Instanz erstellen.

Benachrichtigung in Cloud Data Fusion hinzufügen

Hinweis: Sie können in Cloud Data Fusion keine Benachrichtigungen für bereitgestellte Pipelines hinzufügen oder bearbeiten.

1. Öffnen Sie die Instanz.

   1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

   2. Wenn Sie die Instanz in Cloud Data Fusion Studio öffnen möchten, klicken Sie auf Instanzen und dann auf Instanz anzeigen.

      Zur Seite „VM-Instanzen“

2. Rufen Sie die Seite Studio auf, auf der Sie Ihre Pipeline entwerfen.

3. Klicken Sie auf Konfigurieren > Pipeline-Benachrichtigungen > Hinzufügen.

4. Wählen Sie die Benachrichtigung aus und konfigurieren Sie sie. Weitere Informationen zum Konfigurieren von Benachrichtigungen finden Sie unter Benachrichtigungen für Batch-Pipelines.

   Hinweis :Wenn Ihre Pipeline keinen lang laufenden Dataproc-Cluster mit einem SMTP-Server (Simple Mail Transfer Protocol) für E-Mail-Benachrichtigungen hat, geben Sie die Informationen zum E-Mail-Server oder Dienst ein, z. B. die Host- und Portanforderungen.

5. Klicken Sie nach der Konfiguration der Benachrichtigung auf Validieren, um nach Fehlern zu suchen, und dann auf Bestätigen.

Benachrichtigung in Monitoring erstellen

1. Aktivieren Sie Cloud Logging in Ihrer Cloud Data Fusion-Instanz.

2. Erstellen Sie eine logbasierte Benachrichtigung.

   1. Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.

      Zu „Log-Explorer“

      Auf dieser Seite können Sie Daten speichern, abfragen, aktualisieren und löschen.

   2. Geben Sie die folgende Abfrage ein:

      resource.type="cloud_dataproc_cluster"
      logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
      resource.labels.project_id="PROJECT_ID"
      severity=ERROR
      jsonPayload.message=~"Pipeline '.*' failed."
      

      Ersetzen Sie PROJECT_ID durch die ID Ihres Projekts.

   3. Klicken Sie auf Benachrichtigung erstellen und konfigurieren Sie die Benachrichtigung.

Eine Benachrichtigung wird nur generiert, wenn die Pipeline in einem Dataproc-Cluster ausgeführt wird und fehlschlägt. Bei fehlgeschlagenen Versuchen, einen Dataproc-Cluster zu erstellen, wird keine Benachrichtigung generiert.

Nächste Schritte

• Weitere Informationen finden Sie auf den Referenzseiten zu Batch Pipeline Alerts (Batch-Pipeline-Benachrichtigungen) des CDAP-Betriebssystems.