Wenn Sie eine Pipeline mit dem verwalteten Dataflow-Dienst ausführen, können Sie diesen und alle anderen Jobs über die webbasierte Monitoring-Oberfläche von Dataflow aufrufen. Über die Monitoring-Oberfläche können Sie Ihre Dataflow-Jobs ansehen und mit ihnen interagieren.
Sie können mit der Google Cloud Console auf die Monitoring-Oberfläche von Dataflow zugreifen. Auf dieser wird Folgendes angezeigt:
- Eine Liste aller ausgeführten Dataflow-Jobs und aller Jobs, die innerhalb der letzten 30 Tage ausgeführt wurden.
- Eine grafische Darstellung aller Pipelines
- Details zum Status Ihres Jobs, des Typs und der SDK-Version.
- Links zu Informationen zu den Google Cloud-Diensten, auf denen Ihre Pipeline ausgeführt wird, z. B. Compute Engine und Cloud Storage.
- Alle Fehler oder Warnungen, die während eines Jobs auftreten
- Zusätzliche Diagnosen für einen Job.
Sie können Jobvisualisierer auf der Dataflow-Monitoring-Oberfläche aufrufen. Diese Diagramme zeigen Messwerte für die Dauer eines Pipelinejobs und enthalten folgende Informationen:
- Sichtbarkeit auf Schrittebene zum Erkennen von Schritten, die Pipelineverzögerungen verursachen können
- Statistische Informationen, die auf ungewöhnliches Verhalten hinweisen können
- E/A-Messwerte, mit denen Sie Engpässe in Quellen und Senken identifizieren können.
Auf die Dataflow-Monitoring-Oberfläche zugreifen
So greifen Sie auf die Monitoring-Oberfläche von Dataflow zu:
- Melden Sie sich in der Google Cloud Console an.
- Wählen Sie Ihr Google Cloud-Projekt aus.
- Öffnen Sie das Navigationsmenü.
- Klicken Sie in Analytics auf Dataflow.
Eine Liste der Dataflow-Jobs mit ihrem Status wird angezeigt. Wenn Sie keine Jobs sehen, müssen Sie einen neuen Job ausführen. Informationen zum Ausführen eines Jobs finden Sie in der Java-Kurzanleitung, der Python-Kurzanleitung oder der Go-Kurzanleitung.
Ein Job kann folgende Statuswerte haben:
- –: Die Monitoring-Oberfläche hat noch keinen Status vom Dataflow-Dienst erhalten.
- Aktiv: Der Job wird ausgeführt.
- Starting... (Wird gestartet): Der Job ist erstellt, das System benötigt jedoch vor dem Start noch etwas Vorbereitungszeit.
- In der Warteschlange: Entweder wird ein FlexRS-Job in die Warteschlange gestellt oder ein Flex-Vorlagenjob gestartet (was mehrere Minuten in Anspruch nehmen kann).
- Canceling... (Wird abgebrochen): Der Job wird gerade abgebrochen.
- Abgebrochen: Der Job wurde abgebrochen.
- Draining… (Draining läuft…): Der Job wird gerade per Drain beendet.
- Draining angewendet: Der Job wird per Drain beendet.
- Updating… (Wird aktualisiert…): Der Job wird gerade aktualisiert.
- Aktualisiert: Der Job wurde aktualisiert.
- Succeeded (Erfolgreich): Der Job wurde erfolgreich abgeschlossen.
- Failed (Fehlgeschlagen): Der Job konnte nicht abgeschlossen werden.
Klicken Sie für weitere Informationen zu einer Pipeline auf den Namen des Jobs.
Auf Jobvisualisierer zugreifen
Klicken Sie auf der Dataflow-Monitoring-Oberfläche auf den Jobnamen, um auf Diagramme zum Monitoring Ihres Jobs zuzugreifen. Die Seite Jobdetails wird mit folgenden Informationen angezeigt:
- Jobgrafik: die visuelle Darstellung Ihrer Pipeline
- Ausführungsdetails: Tool zur Optimierung der Pipeline-Leistung
- Jobmesswerte: Messwerte zur Ausführung des Jobs
- Kosten: Messwerte zu den geschätzten Kosten Ihres Jobs
- Autoscaling: Messwerte im Zusammenhang mit Autoscaling-Ereignissen für Streamingjobs
- Bereich Jobinfo: beschreibende Informationen zu Ihrer Pipeline
- Joblogs: vom Dataflow-Dienst auf Jobebene generierte Logs
- Workerlogs: vom Dataflow-Dienst auf Worker-Ebene generierte Logs
- Diagnose: Tabelle, in der angezeigt wird, wo Fehler in der ausgewählten Zeitachse aufgetreten sind, sowie mögliche Empfehlungen für Ihre Pipeline
- Datenstichprobe: Tool, mit dem Sie die Daten bei jedem Schritt einer Pipeline beobachten können. Pipelinedaten mit Stichprobenerhebung beobachten
Auf der Seite mit den Jobdetails können Sie die Jobansicht über die Tabs Jobdiagramm, Ausführungsdetails, Jobmesswerte, Kosten und Autoscaling wechseln.
Jobgrafiken
Wenn Sie einen bestimmten Dataflow-Job auswählen, bietet die Monitoring-Oberfläche eine grafische Darstellung Ihrer Pipeline: die Jobgrafik. Die Seite „Jobgrafik“ in der Console enthält auch eine Jobübersicht, ein Joblog und Informationen zu jedem Schritt in der Pipeline. Weitere Informationen zu Jobgrafiken finden Sie in der Dataflow-Jobgrafik.
Jobmesswerte
Sie können Diagramme im Tab Job metrics der Dataflow-Weboberfläche ansehen. Die Messwerte sind in folgenden Dashboards organisiert:
Übersichtsmesswerte
Streamingmesswerte (nur Streamingpipelines)
- Datenaktualität (mit und ohne Streaming Engine)
- Systemlatenz (mit und ohne Streaming Engine)
- Rückstand
- Verarbeitung (nur Streaming Engine)
- Parallelität (nur Streaming Engine)
- Persistenz (nur Streaming Engine)
- Duplikate (nur Streaming Engine)
- Timer (nur Streaming Engine)
Ressourcenmesswerte
Eingabemesswerte
Ausgabemesswerte
Cloud Monitoring-Benachrichtigungen
Siehe Cloud Monitoring-Benachrichtigungen erstellen.
Kostenmonitoring
Auf der Seite Kosten in der Google Cloud Console werden die geschätzten Kosten Ihres aktuellen Dataflow-Jobs angezeigt. Die geschätzten Kosten werden durch Multiplikation der von Cloud Monitoring gezeigten Messwerte zur Ressourcennutzung mit dem Preis dieser Ressourcen in der Jobregion berechnet.
Kostenmonitoring verwenden
Die Kostenschätzungen für Jobs sind sowohl für Batch- als auch für Streamingjobs verfügbar. Die Seite Kosten in der Google Cloud Console enthält die folgenden Informationen:
- Details dazu, welche Ressourcen zu den Jobkosten beitragen und wie viel Zu den Ressourcen zählen vCPUs, Arbeitsspeicher, verarbeitete Dataflow Shuffle-Daten oder verarbeitete Streaming Engine-Daten sowie SSD- und HDD-Laufwerksnutzung.
- Kosten für bestimmte Zeitfenster, z. B. Zeit seit dem Start des Jobs, die vorherige Stunde, die letzten 24 Stunden, die letzten sieben Tage und ein benutzerdefinierter Zeitraum.
Mit Monitoring-Benachrichtigungen können Sie sich benachrichtigen lassen, wenn Ihre Jobkosten einen bestimmten Schwellenwert überschreiten. Sie können auch Benachrichtigungen verwenden, um Änderungen an Ihren Jobs vorzunehmen, z. B. zum Anhalten oder Abbrechen von Jobs basierend auf den von Ihnen festgelegten Schwellenwerten.
Klicken Sie zum Erstellen einer Cloud Monitoring-Benachrichtigungsregel auf Benachrichtigung erstellen. Eine Anleitung zum Konfigurieren dieser Benachrichtigungen finden Sie unter Cloud Monitoring für Dataflow-Pipelines verwenden.
Beschränkungen
Das Dataflow-Kostenmonitoring unterstützt keine Dataflow Prime-Jobs und GPU-Messwerte.
Messwerte für Autoscaling
Sie können Autoscaling-Monitoringdiagramme für Streamingjobs auf der Dataflow-Monitoring-Oberfläche aufrufen. Diese Diagramme zeigen Messwerte für die Dauer eines Pipelinejobs und enthalten folgende Informationen:
- Die Anzahl der Worker-Instanzen, die zu einem beliebigen Zeitpunkt von Ihrem Job verwendet werden
- Autoscaling-Logdateien
- Der geschätzte Rückstand im Zeitverlauf
- Durchschnittliche CPU-Auslastung im Zeitverlauf
Weitere Informationen finden Sie unter Dataflow-Autoscaling überwachen.
Empfehlungen und Diagnosen
Dataflow gibt Empfehlungen zur Verbesserung der Jobleistung, zur Reduzierung der Kosten und zur Fehlerbehebung. In diesem Abschnitt wird erläutert, wie Sie die Empfehlungen prüfen und interpretieren. Beachten Sie, dass einige Empfehlungen für Ihren Anwendungsfall möglicherweise nicht relevant sind.
Empfehlungen
Auf dem Tab Empfehlungen werden Informationen aus Dataflow zur Pipeline angezeigt. Anhand dieser Informationen lassen sich Situationen ermitteln, in denen die Kosten und die Leistung verbessert werden können.
Die Spalte Aktualisierungsdatum gibt an, wann eine Information das letzte Mal beobachtet wurde. Empfehlungen werden ab dem Aktualisierungsdatum 30 Tage lang gespeichert.
Programmatischer Zugriff auf Empfehlungen
Für den programmatischen Zugriff auf Empfehlungen verwenden Sie die Recommender API.
Empfehlung ablehnen
Sie können eine Empfehlung im Recommendation Hub für Ihr Projekt ablehnen.
Um eine Empfehlung abzulehnen, klicken Sie in der Google Cloud Console oben links auf das Navigationsmenü und wählen Sie Startseite > Empfehlungen aus. Klicken Sie auf der Dataflow-Diagnosekarte auf Alle ansehen, wählen Sie die Empfehlung aus, die Sie ablehnen möchten, und klicken Sie auf Ablehnen.
Diagnose
Im Tab Diagnose des Bereichs Logs werden bestimmte Logeinträge, die in Ihren Pipelines generiert wurden, erfasst und angezeigt. Dazu gehören Nachrichten, die auf ein wahrscheinliches Problem mit der Pipeline hinweisen, und Fehlermeldungen mit Stacktraces. Erfasste Logeinträge werden dedupliziert und in Fehlergruppen kombiniert.
Der Fehlerbericht enthält die folgenden Informationen:
- Eine Liste von Fehlern mit Fehlermeldungen
- Die Häufigkeit, mit der jeder Fehler aufgetreten ist
- Ein Histogramm, das angibt, wann der jeweilige Fehler aufgetreten ist
- Den Zeitpunkt, zu dem der Fehler zuletzt aufgetreten ist
- Gibt an, wann der Fehler das erste Mal aufgetreten ist.
- Der Status des Fehlers.
Klicken Sie in der Spalte Fehler auf die Beschreibung, um den Fehlerbericht für einen bestimmten Fehler aufzurufen. Die Seite Error Reporting wird angezeigt. Handelt es sich beim Fehler um einen Dienstfehler, wird ein zusätzlicher Link mit Dokumentation und weiteren Schritten angezeigt ("Anleitung zur Fehlerbehebung").
Weitere Informationen zu der Seite finden Sie unter Fehler ansehen.
Fehler ausblenden
Wenn Sie eine Fehlermeldung ausblenden möchten, öffnen Sie den Tab Diagnose und klicken Sie auf den Fehler, den Sie ausblenden möchten. Öffnen Sie dann das Menü für den Lösungsstatus (mit einem der folgenden Labels: Offen | Bestätigt | Behoben | Ausgeblendet) und wählen Sie Ausgeblendet aus.
Nächste Schritte
Ausführungsdetails zum Optimieren eines Dataflow-Jobs verwenden
Cloud Monitoring entdecken, um Benachrichtigungen zu erstellen und Dataflow-Messwerte einschließlich benutzerdefinierter Messwerte anzusehen