Pipeline-Monitoring-Dashboard mit Cloud Monitoring erstellen

Informationen zum Erstellen eines Dashboards zum Überwachen von Pipelines mit Cloud Monitoring

Klicken Sie auf Anleitung, um eine detaillierte Anleitung für diese Aufgabe direkt in der Google Cloud Console aufzurufen.

Anleitung

Hinweis

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.

    Enable the APIs

  7. Zum Erstellen benutzerdefinierter Dashboards benötigen Sie die Berechtigung Monitoring-Bearbeiter (roles/monitoring.editor) IAM-Rolle für das Dienstkonto.

    Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Cloud Data Fusion-Instanz mit aktiviertem Cloud Logging erstellen

Um Cloud Logging mit Ihrer Cloud Data Fusion-Pipeline zu verwenden, erstellen Sie einen Cloud Data Fusion-Instanz mit aktiviertem Cloud Logging:

  1. Rufen Sie die Seite Cloud Data Fusion-Instanzen auf und klicken Sie auf Instanz erstellen.

    Instanz erstellen

  2. Geben Sie im Feld Instanzname einen Namen für die neue Instanz ein.

  3. Wählen Sie im Drop-down-Menü Region die Google Cloud-Region aus, in der Sie die Instanz erstellen möchten.

  4. Wählen Sie im Drop-down-Menü Version eine Cloud Data Fusion-Version aus.

  5. Wählen Sie eine Ausgabe aus

  6. Maximieren Sie Erweiterte Optionen.

  7. Wählen Sie im Bereich Logging und Monitoring die Option Stackdriver Logging-Dienst aktivieren aus.

  8. Klicken Sie auf Erstellen.

Nachdem Sie eine Instanz erstellt haben, können Sie Cloud Logging nicht mehr in der Google Cloud Console aktivieren.

Logbasierten Messwert erstellen

  1. Rufen Sie in Cloud Logging die Seite Logbasierte Messwerte auf:

    Zu „Logbasierte Messwerte”

  2. Klicken Sie auf Messwert erstellen.

  3. Führen Sie auf der Seite Messwert erstellen folgende Schritte aus:

    1. Wählen Sie als Messwerttyp die Option Zähler aus.
    2. Geben Sie im Feld Name des logbasierten Messwerts den Wert pipeline_logs ein.
    3. Geben Sie im Feld Einheiten den Wert 1 ein.

    4. Geben Sie im Feld Filter erstellen Folgendes ein:

      resource.type="cloud_dataproc_cluster"
log_name=~"projects/.*/logs/datafusion-pipeline-logs"

    5. Klicken Sie im Abschnitt Labels auf Add label (Label hinzufügen) und erstellen Sie Folgendes: Labels. Klicken Sie nach Eingabe jedes Labels auf Fertig und dann noch einmal auf Label hinzufügen, um das nächste Label zu erstellen.

      Labelname Label-Typ Feldname
      Project STRING resource.labels.project_id
      Message STRING jsonPayload.message
      LoggerName STRING labels.loggerName
      ClusterName STRING resource.labels.cluster_name
      SparkPhase STRING labels.".workflowSparkId"
      Region STRING resource.labels.region
      Pipeline STRING labels.".applicationId"
      RunId STRING labels.".runId"
      Namespace STRING labels.".namespaceId"
      LogLevel STRING labels.levelName

    6. Klicken Sie auf Messwert erstellen.

      Der neu erstellte Messwert wird in der Tabelle mit benutzerdefinierten Messwerten angezeigt. Wenn der Messwert nicht sofort angezeigt wird, aktualisieren Sie die Seite.

      Das Dashboard enthält die folgenden Diagramme:

      • Alle Pipelines
      • Abgeschlossene Pipelines
      • Fehlgeschlagene Pipelines
      • Alle Pipelineausführungen
      • Abgeschlossene Pipelineausführungen
      • Fehlgeschlagene Pipelineausführungen
      • Dataproc-Cluster für Ausführungen

      Nach dem Erstellen eines Messwerts kann es bis zu 24 Stunden dauern, bis er beginnt um die Zeitreihendaten anzuzeigen.

Dashboard installieren

  1. Laden Sie die JSON-Datei auf Ihren lokalen Computer herunter.

  2. Rufen Sie die Cloud Monitoring-Seite Dashboards auf:

    Monitoring-Dashboards aufrufen

  3. Klicken Sie auf Dashboard erstellen.

  4. Klicken Sie auf Dashboard-Einstellungen. > JSON > JSON-Editor.

  5. Öffnen Sie die heruntergeladene JSON-Datei in einem Texteditor.

  6. Kopieren Sie den Inhalt der heruntergeladenen JSON-Datei und fügen Sie ihn in die JSON-Datei ein. Editor, der den Inhalt ersetzt, der standardmäßig im JSON-Editor enthalten ist.

  7. Klicken Sie auf Änderungen übernehmen.

    Dadurch wird das Dashboard aktualisiert. Die Cloud Data Fusion-Pipelines, die ausgeführt wurden nachdem der Messwert erstellt wurde, werden im Dashboard angezeigt. Wenn keine Pipelines nach dem Erstellen des Messwerts ausgeführt wurden, ist das Dashboard leer.

  8. Das automatische Speichern ist standardmäßig aktiviert. Wenn das automatische Speichern deaktiviert ist, klicken Sie auf Speichern. um das Dashboard zu speichern.

  9. Klicken Sie auf Editor schließen.

    Ihr neues Dashboard wird in der Liste der Dashboards auf der Seite Monitoring-Übersicht.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

Löschen Sie die Cloud Data Fusion-Instanz.

Folgen Sie der Anleitung, um die Cloud Data Fusion-Instanz zu löschen.

Projekt löschen

Am einfachsten vermeiden Sie weitere Kosten durch Löschen des für die Anleitung erstellten Projekts.

So löschen Sie das Projekt:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Nächste Schritte