Pipelinebenachrichtigungen erstellen

Auf dieser Seite wird beschrieben, wie Sie Benachrichtigungen für Datenpipelines in Cloud Data Fusion.

Sie können Benachrichtigungen über die folgenden Dienste erstellen:

• Benachrichtigungen über Cloud Data Fusion: Sie richten diese Benachrichtigungen ein, wenn Sie Erstellen Sie eine Batchpipeline in Cloud Data Fusion. Nachdem Sie die Pipeline bereitgestellt haben, können Sie keine Benachrichtigungen hinzufügen oder bearbeiten.

• Logbasierte Benachrichtigungen über Cloud Monitoring: Sie richten diese Benachrichtigungen in vor und nach der Bereitstellung der Pipeline in der Google Cloud Console.

Hinweis

Sie benötigen eine Cloud Data Fusion-Instanz. Weitere Informationen finden Sie unter Cloud Data Fusion-Instanz erstellen.

Benachrichtigung in Cloud Data Fusion hinzufügen

Hinweis: Sie können keine Benachrichtigungen für bereitgestellte Pipelines in Cloud Data Fusion.

1. Öffnen Sie die Instanz.

   1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

   2. Um die Instanz in Cloud Data Fusion Studio zu öffnen, Klicken Sie auf Instanzen und dann auf Instanz ansehen.

      Zur Seite „VM-Instanzen“

2. Rufen Sie die Seite Studio auf, auf der Sie Ihre Pipeline entwerfen.

3. Klicken Sie auf Konfigurieren > Pipeline-Benachrichtigungen > Hinzufügen.

4. Wählen Sie die Benachrichtigung aus und konfigurieren Sie sie. Weitere Informationen zum Konfigurieren Warnungen finden Sie unter Batchpipeline-Benachrichtigungen.

   Hinweis: Wenn Ihre Pipeline keinen lang laufenden Dataproc-Cluster mit einem SMTP-Server (Simple Mail Transfer Protocol) für E-Mail-Benachrichtigungen hat, geben Sie die Informationen zum E-Mail-Server oder Dienst ein, z. B. die Host- und Portanforderungen.

5. Klicken Sie nach der Konfiguration der Benachrichtigung auf Validieren, um nach Fehlern zu suchen, und dann auf Bestätigen.

Benachrichtigung in Monitoring erstellen

1. Cloud Logging aktivieren in Ihrer Cloud Data Fusion-Instanz.

2. Erstellen Sie eine logbasierte Benachrichtigung.

   1. Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.

      Zu „Log-Explorer“

      Auf dieser Seite können Sie Daten speichern, abfragen, aktualisieren und löschen.

   2. Geben Sie die folgende Abfrage ein:

      resource.type="cloud_dataproc_cluster"
      logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
      resource.labels.project_id="PROJECT_ID"
      severity=ERROR
      jsonPayload.message=~"Pipeline '.*' failed."
      

      Ersetzen Sie PROJECT_ID durch die ID Ihres Projekts.

   3. Klicken Sie auf Benachrichtigung erstellen und konfigurieren Sie die Benachrichtigung.

Eine Benachrichtigung wird nur generiert, wenn die Pipeline in einem Dataproc-Cluster ausgeführt wird und scheitert. Bei fehlgeschlagenen Versuchen, einen Dataproc-Cluster zu erstellen, wird keine Benachrichtigung generiert.

Nächste Schritte

• Weitere Informationen finden Sie auf den Referenzseiten zu Batch Pipeline Alerts (Batch-Pipeline-Benachrichtigungen) des CDAP-Betriebssystems.