Pipelinebenachrichtigungen erstellen

Auf dieser Seite wird beschrieben, wie Sie Benachrichtigungen für Datenpipelines in Cloud Data Fusion einrichten.

Sie können Benachrichtigungen über die folgenden Dienste erstellen:

  • Benachrichtigungen über Cloud Data Fusion: Diese Benachrichtigungen werden beim Entwerfen einer Batchpipeline in Cloud Data Fusion eingerichtet. Nachdem Sie die Pipeline bereitgestellt haben, können Sie keine Benachrichtigung mehr hinzufügen oder bearbeiten.

  • Logbasierte Benachrichtigungen über Cloud Monitoring: Sie richten diese Benachrichtigungen in der Google Cloud Console vor und nach der Bereitstellung der Pipeline ein.

Hinweise

Sie benötigen eine Cloud Data Fusion-Instanz. Weitere Informationen finden Sie unter Cloud Data Fusion-Instanz erstellen.

Benachrichtigung in Cloud Data Fusion hinzufügen

  1. Öffnen Sie die Instanz.

    1. Rufen Sie in der Google Cloud Console die Seite „Cloud Data Fusion“ auf.

    2. Klicken Sie zum Öffnen der Instanz in der Cloud Data Fusion-Weboberfläche auf Instanzen und dann auf Instanz ansehen.

      Zur Seite „VM-Instanzen“

  2. Rufen Sie die Seite Studio auf, auf der Sie Ihre Pipeline entwerfen.

  3. Klicken Sie auf Konfigurieren > Pipeline-Benachrichtigungen > Hinzufügen.

  4. Wählen Sie die Benachrichtigung aus und konfigurieren Sie sie. Weitere Informationen zum Konfigurieren von Benachrichtigungen finden Sie unter Benachrichtigungen für Batch-Pipelines.

  5. Klicken Sie nach dem Konfigurieren der Benachrichtigung auf Überprüfen, um nach Fehlern zu suchen, und klicken Sie dann auf Bestätigen.

Benachrichtigung in Monitoring erstellen

  1. Aktivieren Sie Cloud Logging in Ihrer Cloud Data Fusion-Instanz.

  2. Erstellen Sie eine logbasierte Benachrichtigung.

    1. Rufen Sie in der Google Cloud Console die Seite Log-Explorer auf.

      Zu „Log-Explorer“

      Auf dieser Seite können Sie Daten speichern, abfragen, aktualisieren und löschen.

    2. Geben Sie die folgende Abfrage ein:

      resource.type="cloud_dataproc_cluster"
logName="projects/PROJECT_ID/logs/datafusion-pipeline-logs"
resource.labels.project_id="PROJECT_ID"
severity=ERROR
jsonPayload.message=~"Pipeline '.*' failed."

      Ersetzen Sie PROJECT_ID durch die ID Ihres Projekts.

    3. Klicken Sie auf Benachrichtigung erstellen und konfigurieren Sie die Benachrichtigung.

Eine Benachrichtigung wird nur generiert, wenn die Pipeline in einem Dataproc-Cluster ausgeführt wird und fehlschlägt. Beim Erstellen von Dataproc-Clustern wird keine Benachrichtigung generiert.

Nächste Schritte