Pipeline-Monitoring-Dashboard mit Cloud Monitoring erstellen

Hier erfahren Sie, wie Sie mit Cloud Monitoring ein Dashboard zum Überwachen von Pipelines erstellen.

Klicken Sie auf Anleitung, um die Schritt-für-Schritt-Anleitung für diese Aufgabe direkt in der Google Cloud Console auszuführen:

Anleitung

Hinweise

  1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  4. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  5. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  6. Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs aktivieren.

    Aktivieren Sie die APIs

  7. Zum Erstellen benutzerdefinierter Dashboards benötigen Sie die IAM-Rolle Monitoring-Bearbeiter (roles/monitoring.editor) für das Dienstkonto.

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Cloud Data Fusion-Instanz mit aktiviertem Cloud Logging erstellen

Um Cloud Logging mit Ihrer Cloud Data Fusion-Pipeline zu verwenden, erstellen Sie eine Cloud Data Fusion-Instanz mit aktiviertem Cloud Logging:

  1. Rufen Sie die Cloud Data Fusion-Seite Instanzen auf und klicken Sie auf Instanz erstellen.

    Instanz erstellen

  2. Geben Sie im Feld Instanzname einen Namen für die neue Instanz ein.

  3. Wählen Sie im Drop-down-Menü Region die Google Cloud-Region aus, in der Sie die Instanz erstellen möchten.

  4. Wählen Sie im Drop-down-Menü Version eine Cloud Data Fusion-Version aus.

  5. Wählen Sie eine Version aus.

  6. Maximieren Sie Erweiterte Optionen.

  7. Wählen Sie im Bereich Logging und Monitoring die Option Stackdriver Logging-Dienst aktivieren aus.

  8. Klicken Sie auf Erstellen.

Nachdem Sie eine Instanz erstellt haben, können Sie Cloud Logging in der Google Cloud Console nicht aktivieren.

Logbasierten Messwert erstellen

  1. Rufen Sie in Cloud Logging die Seite Logbasierte Messwerte auf:

    Zu „Logbasierte Messwerte”

  2. Klicken Sie auf Messwert erstellen.

  3. Führen Sie auf der Seite Messwert erstellen die folgenden Schritte aus:

    1. Wählen Sie für Messwerttyp die Option Zähler aus.
    2. Geben Sie im Feld Name des logbasierten Messwerts den Wert pipeline_logs ein.
    3. Geben Sie im Feld Units (Einheiten) 1 ein.

    4. Geben Sie im Feld Filter erstellen Folgendes ein:

      resource.type="cloud_dataproc_cluster"
log_name=~"projects/.*/logs/datafusion-pipeline-logs"

    5. Klicken Sie im Abschnitt Labels auf Label hinzufügen und erstellen Sie die folgenden Labels. Nachdem Sie alle Labels eingegeben haben, klicken Sie auf Fertig und noch einmal auf Label hinzufügen, um das nächste Label zu erstellen.

      Labelname Label-Typ Feldname
      Project STRING resource.labels.project_id
      Message STRING jsonPayload.message
      LoggerName STRING labels.loggerName
      ClusterName STRING resource.labels.cluster_name
      SparkPhase STRING labels.".workflowSparkId"
      Region STRING resource.labels.region
      Pipeline STRING labels.".applicationId"
      RunId STRING labels.".runId"
      Namespace STRING labels.".namespaceId"
      LogLevel STRING labels.levelName

    6. Klicken Sie auf Messwert erstellen.

      Der neu erstellte Messwert wird in der Tabelle der benutzerdefinierten Messwerte angezeigt. Wenn der Messwert nicht sofort sichtbar ist, aktualisieren Sie die Seite.

      Das Dashboard enthält die folgenden Diagramme:

      • Alle Pipelines
      • Abgeschlossene Pipelines
      • Fehlgeschlagene Pipelines
      • Alle Pipelineausführungen
      • Abgeschlossene Pipelineausführungen
      • Fehlgeschlagene Pipelineausführungen
      • Dataproc-Cluster für Ausführungen

      Nachdem ein Messwert erstellt wurde, kann es bis zu 24 Stunden dauern, bis die Zeitreihendaten angezeigt werden.

Dashboard installieren

  1. Laden Sie die JSON-Datei auf Ihren lokalen Computer herunter.

  2. Rufen Sie die Cloud Monitoring-Seite Dashboards auf:

    Zu den Monitoring-Dashboards

  3. Klicken Sie auf Dashboard erstellen.

  4. Klicken Sie auf Dashboard-Einstellungen > JSON > JSON-Editor.

  5. Öffnen Sie die heruntergeladene JSON-Datei in einem Texteditor.

  6. Kopieren Sie den Inhalt der heruntergeladenen JSON-Datei und fügen Sie ihn in den JSON-Editor ein. Ersetzen Sie dabei den Inhalt, den der JSON-Editor standardmäßig enthält.

  7. Klicken Sie auf Änderungen übernehmen.

    Dadurch wird das Dashboard aktualisiert. Die Cloud Data Fusion-Pipelines, die nach dem Erstellen des Messwerts ausgeführt werden, werden im Dashboard angezeigt. Wenn nach dem Erstellen des Messwerts keine Pipelines ausgeführt wurden, ist das Dashboard leer.

  8. Das automatische Speichern ist standardmäßig aktiviert. Wenn die automatische Speicherung deaktiviert ist, klicken Sie auf Speichern, um das Dashboard zu speichern.

  9. Klicken Sie auf Editor schließen.

    Das neue Dashboard wird in der Liste der Dashboards auf der Seite Monitoring-Übersicht angezeigt.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden.

Löschen Sie die Cloud Data Fusion-Instanz.

Folgen Sie der Anleitung, um die Cloud Data Fusion-Instanz zu löschen.

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten durch Löschen des für die Anleitung erstellten Projekts.

So löschen Sie das Projekt:

  1. Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.

    Zur Seite „Ressourcen verwalten“

  2. Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
  3. Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

Nächste Schritte