Pipeline-Monitoring-Dashboard mit Cloud Monitoring erstellen
Informationen zum Erstellen eines Dashboards zum Überwachen von Pipelines mit Cloud Monitoring
Klicken Sie auf Anleitung, um eine detaillierte Anleitung für diese Aufgabe direkt in der Google Cloud Console aufzurufen.
Hinweis
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.
Zum Erstellen benutzerdefinierter Dashboards benötigen Sie die IAM-Rolle Monitoring-Bearbeiter (
roles/monitoring.editor
) für das Dienstkonto.Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.
Cloud Data Fusion-Instanz mit aktiviertem Cloud Logging erstellen
Wenn Sie Cloud Logging mit Ihrer Cloud Data Fusion-Pipeline verwenden möchten, erstellen Sie eine Cloud Data Fusion-Instanz mit aktiviertem Cloud Logging:
Rufen Sie die Seite Cloud Data Fusion-Instanzen auf und klicken Sie auf Instanz erstellen.
Geben Sie im Feld Instanzname einen Namen für die neue Instanz ein.
Wählen Sie im Drop-down-Menü Region die Google Cloud Region aus, in der Sie die Instanz erstellen möchten.
Wählen Sie im Drop-down-Menü Version eine Cloud Data Fusion-Version aus.
Wählen Sie eine Ausgabe aus
Maximieren Sie Erweiterte Optionen.
Wählen Sie im Bereich Logging und Monitoring die Option Stackdriver Logging-Dienst aktivieren aus.
Klicken Sie auf Erstellen.
Logbasierten Messwert erstellen
Rufen Sie in Cloud Logging die Seite Logbasierte Messwerte auf:
Klicken Sie auf Messwert erstellen.
Führen Sie auf der Seite Messwert erstellen folgende Schritte aus:
- Wählen Sie als Messwerttyp die Option Zähler aus.
- Geben Sie im Feld Name des logbasierten Messwerts
pipeline_logs
ein. - Geben Sie im Feld Einheiten den Wert
1
ein. Geben Sie im Feld Filter erstellen Folgendes ein:
resource.type="cloud_dataproc_cluster" log_name=~"projects/.*/logs/datafusion-pipeline-logs"
Klicken Sie im Bereich Labels auf Label hinzufügen und erstellen Sie die folgenden Labels. Klicken Sie nach der Eingabe der einzelnen Label auf Fertig und dann noch einmal auf Label hinzufügen, um das nächste Label zu erstellen.
Labelname Label-Typ Feldname Project
STRING
resource.labels.project_id
Message
STRING
jsonPayload.message
LoggerName
STRING
labels.loggerName
ClusterName
STRING
resource.labels.cluster_name
SparkPhase
STRING
labels.".workflowSparkId"
Region
STRING
resource.labels.region
Pipeline
STRING
labels.".applicationId"
RunId
STRING
labels.".runId"
Namespace
STRING
labels.".namespaceId"
LogLevel
STRING
labels.levelName
Klicken Sie auf Messwert erstellen.
Der neu erstellte Messwert wird in der Tabelle mit benutzerdefinierten Messwerten angezeigt. Wenn der Messwert nicht sofort angezeigt wird, aktualisieren Sie die Seite.
Das Dashboard enthält die folgenden Diagramme:
- Alle Pipelines
- Abgeschlossene Pipelines
- Fehlgeschlagene Pipelines
- Alle Pipelineausführungen
- Abgeschlossene Pipelineausführungen
- Fehlgeschlagene Pipelineausführungen
- Dataproc-Cluster für Ausführungen
Nach dem Erstellen eines Messwerts kann es bis zu 24 Stunden dauern, bis die Zeitreihendaten angezeigt werden.
Dashboard installieren
Laden Sie die JSON-Datei auf Ihren lokalen Computer herunter.
Rufen Sie die Cloud Monitoring-Seite Dashboards auf:
Klicken Sie auf Dashboard erstellen.
Klicken Sie auf > JSON > JSON-Editor.
Dashboard-EinstellungenÖffnen Sie die heruntergeladene JSON-Datei in einem Texteditor.
Kopieren Sie den Inhalt der heruntergeladenen JSON-Datei und fügen Sie ihn in den JSON-Editor ein. Dadurch wird der Inhalt ersetzt, der standardmäßig im JSON-Editor enthalten ist.
Klicken Sie auf Änderungen übernehmen.
Dadurch wird das Dashboard aktualisiert. Die Cloud Data Fusion-Pipelines, die ausgeführt wurden nachdem der Messwert erstellt wurde, werden im Dashboard angezeigt. Wenn keine Pipelines nach dem Erstellen des Messwerts ausgeführt wurden, ist das Dashboard leer.
Die automatische Speicherung ist standardmäßig aktiviert. Wenn die automatische Speicherung deaktiviert ist, klicken Sie auf Speichern, um das Dashboard zu speichern.
Klicken Sie auf Editor schließen.
Das neue Dashboard wird in der Liste der Dashboards auf der Seite Monitoring-Übersicht angezeigt.
Bereinigen
Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:
Löschen Sie die Cloud Data Fusion-Instanz.
Folgen Sie der Anleitung, um die Cloud Data Fusion-Instanz zu löschen.
Projekt löschen
Am einfachsten vermeiden Sie weitere Kosten durch Löschen des für die Anleitung erstellten Projekts.
So löschen Sie das Projekt:
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Nächste Schritte
- Mehr Informationen zu Cloud Monitoring