Wenn Sie eine Pipeline mit Dataflow ausführen, können Sie diesen und alle anderen Jobs über die webbasierte Monitoring-Oberfläche von Dataflow aufrufen. Über die Monitoring-Oberfläche können Sie Ihre Dataflow-Jobs ansehen und mit ihnen interagieren.
Sie können über die Google Cloud Console auf die Monitoring-Oberfläche von Dataflow zugreifen. Auf dieser wird Folgendes angezeigt:
- Eine Liste aller ausgeführten Dataflow-Jobs und aller Jobs, die innerhalb der letzten 30 Tage ausgeführt wurden.
- Eine grafische Darstellung aller Pipelines
- Details zum Status, zum Typ und zur SDK-Version eines Jobs
- Links zu Informationen zu den Google Cloud-Diensten, auf denen Ihre Pipeline ausgeführt wird, z. B. Compute Engine und Cloud Storage.
- Alle Fehler oder Warnungen, die während eines Jobs auftreten
- Zusätzliche Diagnosen für einen Job.
Sie können Jobvisualisierungen in der Dataflow-Monitoring-Oberfläche aufrufen. Diese Diagramme zeigen Messwerte für die Dauer eines Jobs und enthalten folgende Informationen:
- Sichtbarkeit auf Schrittebene zum Erkennen von Schritten, die Pipelineverzögerungen verursachen können
- Statistische Informationen, die auf ungewöhnliches Verhalten hinweisen können
- E/A-Messwerte, mit denen Sie Engpässe in Quellen und Senken identifizieren können.
Auf die Dataflow-Monitoring-Oberfläche zugreifen
So greifen Sie auf die Monitoring-Oberfläche von Dataflow zu:
- Melden Sie sich in der Google Cloud Console an.
- Wählen Sie Ihr Google Cloud-Projekt aus.
- Öffnen Sie das Navigationsmenü.
- Klicken Sie in Analytics auf Dataflow.
Eine Liste der Dataflow-Jobs mit ihrem Status wird angezeigt. Wenn Sie keine Jobs sehen, müssen Sie einen neuen Job ausführen. Informationen zum Ausführen eines Jobs finden Sie in der Java-Kurzanleitung, der Python-Kurzanleitung oder der Go-Kurzanleitung.
Ein Job kann folgende Statuswerte haben:
- –: Die Monitoring-Oberfläche hat noch keinen Status vom Dataflow-Dienst erhalten.
- Aktiv: Der Job wird ausgeführt.
- Starting... (Wird gestartet): Der Job ist erstellt, das System benötigt jedoch vor dem Start noch etwas Vorbereitungszeit.
- In der Warteschlange: Entweder wird ein FlexRS-Job in die Warteschlange gestellt oder ein Flex-Vorlagenjob gestartet (was mehrere Minuten in Anspruch nehmen kann).
- Canceling... (Wird abgebrochen): Der Job wird gerade abgebrochen.
- Abgebrochen: Der Job wurde abgebrochen.
- Draining… (Draining läuft…): Der Job wird gerade per Drain beendet.
- Draining angewendet: Der Job wird per Drain beendet.
- Updating… (Wird aktualisiert…): Der Job wird gerade aktualisiert.
- Aktualisiert: Der Job wurde aktualisiert.
- Succeeded (Erfolgreich): Der Job wurde erfolgreich abgeschlossen.
- Failed (Fehlgeschlagen): Der Job konnte nicht abgeschlossen werden.
Auf Jobvisualisierer zugreifen
Klicken Sie auf der Dataflow-Monitoring-Oberfläche auf den Jobnamen, um auf Diagramme zum Überwachen des Jobs zuzugreifen. Die Seite Jobdetails wird mit folgenden Informationen angezeigt:
- Jobgrafik: die visuelle Darstellung Ihrer Pipeline
- Ausführungsdetails: Tool zur Optimierung der Pipeline-Leistung
- Jobmesswerte: Messwerte zur Ausführung des Jobs
- Kosten: Messwerte zu den geschätzten Kosten Ihres Jobs
- Autoscaling: Messwerte im Zusammenhang mit Autoscaling-Ereignissen für Streamingjobs
- Bereich Jobinfo: beschreibende Informationen zu Ihrer Pipeline
- Joblogs: vom Dataflow-Dienst auf Jobebene generierte Logs
- Workerlogs: vom Dataflow-Dienst auf Worker-Ebene generierte Logs
- Diagnose: Tabelle, in der angezeigt wird, wo Fehler in der ausgewählten Zeitachse aufgetreten sind, sowie mögliche Empfehlungen für Ihre Pipeline
- Datenstichprobe: Tool, mit dem Sie die Daten bei jedem Schritt einer Pipeline beobachten können. Pipelinedaten mit Stichprobenerhebung beobachten
Auf der Seite mit den Jobdetails können Sie die Jobansicht über die Tabs Jobdiagramm, Ausführungsdetails, Jobmesswerte, Kosten und Autoscaling wechseln.
Jobgrafiken
Wenn Sie einen bestimmten Dataflow-Job auswählen, bietet die Monitoring-Oberfläche eine grafische Darstellung Ihrer Pipeline: die Jobgrafik. Die Seite „Jobgrafik“ in der Console enthält auch eine Jobübersicht, ein Joblog und Informationen zu jedem Schritt in der Pipeline. Weitere Informationen zu Job-Grafiken finden Sie unter Dataflow-Job-Grafiken.
Jobmesswerte
Sie können Diagramme im Tab Job metrics der Dataflow-Weboberfläche ansehen. Die Messwerte sind in folgenden Dashboards organisiert:
Übersichtsmesswerte
Streamingmesswerte (nur Streamingpipelines)
- Datenaktualität (mit und ohne Streaming Engine)
- Systemlatenz (mit und ohne Streaming Engine)
- Rückstand
- Verarbeitung (nur Streaming Engine)
- Parallelität (nur Streaming Engine)
- Persistenz (nur Streaming Engine)
- Duplikate (nur Streaming Engine)
- Timer (nur Streaming Engine)
Ressourcenmesswerte
Eingabemesswerte
Ausgabemesswerte
Cloud Monitoring-Benachrichtigungen
Siehe Cloud Monitoring-Benachrichtigungen erstellen.
Kostenmonitoring
Auf der Seite Kosten in der Google Cloud Console werden die geschätzten Kosten Ihres aktuellen Dataflow-Jobs angezeigt. Die geschätzten Kosten werden durch Multiplikation der von Cloud Monitoring gezeigten Messwerte zur Ressourcennutzung mit dem Preis dieser Ressourcen in der Jobregion berechnet.
Kostenmonitoring verwenden
Die Kostenschätzungen für Jobs sind sowohl für Batch- als auch für Streamingjobs verfügbar. Die Seite Kosten in der Google Cloud Console enthält die folgenden Informationen:
- Details dazu, welche Ressourcen zu den Jobkosten beitragen und wie viel Zu den Ressourcen zählen vCPUs, Arbeitsspeicher, verarbeitete Dataflow Shuffle-Daten oder verarbeitete Streaming Engine-Daten sowie SSD- und HDD-Laufwerksnutzung.
- Kosten für bestimmte Zeitfenster, z. B. Zeit seit dem Start des Jobs, die vorherige Stunde, die letzten 24 Stunden, die letzten sieben Tage und ein benutzerdefinierter Zeitraum.
Mit Monitoring-Benachrichtigungen können Sie sich benachrichtigen lassen, wenn Ihre Jobkosten einen bestimmten Schwellenwert überschreiten. Sie können auch Benachrichtigungen verwenden, um Änderungen an Ihren Jobs vorzunehmen, z. B. zum Anhalten oder Abbrechen von Jobs basierend auf den von Ihnen festgelegten Schwellenwerten.
Klicken Sie zum Erstellen einer Cloud Monitoring-Benachrichtigungsregel auf Benachrichtigung erstellen. Eine Anleitung zum Konfigurieren dieser Benachrichtigungen finden Sie unter Cloud Monitoring für Dataflow-Pipelines verwenden.
Beschränkungen
Das Dataflow-Kostenmonitoring unterstützt keine Dataflow Prime-Jobs und GPU-Messwerte.
Messwerte für Autoscaling
Sie können Diagramme zum Autoscaling-Monitoring für Streamingjobs in der Dataflow-Monitoring-Oberfläche aufrufen. Diese Diagramme zeigen Messwerte für die Dauer eines Pipelinejobs und enthalten folgende Informationen:
- Die Anzahl der Worker-Instanzen, die zu einem bestimmten Zeitpunkt von Ihrem Job verwendet werden
- Autoscaling-Logdateien
- Der geschätzte Rückstand im Zeitverlauf
- Durchschnittliche CPU-Auslastung im Zeitverlauf
Weitere Informationen finden Sie unter Dataflow-Autoscaling überwachen.
Empfehlungen und Diagnosen
Dataflow gibt Empfehlungen zur Verbesserung der Jobleistung, zur Reduzierung der Kosten und zur Fehlerbehebung. In diesem Abschnitt wird erläutert, wie Sie die Empfehlungen prüfen und interpretieren. Beachten Sie, dass einige Empfehlungen für Ihren Anwendungsfall möglicherweise nicht relevant sind.
Empfehlungen
Auf dem Tab Empfehlungen werden Informationen aus Dataflow zur Pipeline angezeigt. Anhand dieser Informationen lassen sich Situationen ermitteln, in denen die Kosten und die Leistung verbessert werden können.
Die Spalte Aktualisierungsdatum gibt an, wann eine Information das letzte Mal beobachtet wurde. Empfehlungen werden ab dem Aktualisierungsdatum 30 Tage lang gespeichert.
Programmatischer Zugriff auf Empfehlungen
Für den programmatischen Zugriff auf Empfehlungen verwenden Sie die Recommender API.
Empfehlung ablehnen
Sie können eine Empfehlung im Recommendation Hub für Ihr Projekt ablehnen.
So schließen Sie eine Empfehlung:
- Öffnen Sie in der Google Cloud Console das Navigationsmenü.
- Wählen Sie Startseite und dann Empfehlungen aus.
- Klicken Sie auf der Karte Dataflow-Diagnose auf Alle ansehen.
- Wählen Sie die Empfehlung aus, die Sie schließen möchten, und klicken Sie auf Schließen.
Diagnose
Auf dem Tab Diagnose des Bereichs Protokolle werden bestimmte Logeinträge erfasst und angezeigt, die in Ihren Pipelines generiert wurden. Dazu gehören Nachrichten, die auf ein wahrscheinliches Problem mit der Pipeline hinweisen, und Fehlermeldungen mit Stacktraces. Erfasste Logeinträge werden dedupliziert und in Fehlergruppen kombiniert.
Der Fehlerbericht enthält die folgenden Informationen:
- Eine Liste von Fehlern mit Fehlermeldungen
- Häufigkeit, mit der jeder Fehler aufgetreten ist
- Ein Histogramm, das angibt, wann der jeweilige Fehler aufgetreten ist
- Den Zeitpunkt, zu dem der Fehler zuletzt aufgetreten ist
- Gibt an, wann der Fehler das erste Mal aufgetreten ist.
- Der Status des Fehlers
Klicken Sie in der Spalte Fehler auf die Beschreibung, um den Fehlerbericht für einen bestimmten Fehler aufzurufen. Die Seite Error Reporting wird angezeigt. Handelt es sich beim Fehler um einen Dienstfehler, wird ein Link zur Anleitung zur Fehlerbehebung angezeigt.
Weitere Informationen zu dieser Seite finden Sie unter Fehler ansehen und filtern.
Fehler ausblenden
So deaktivieren Sie eine Fehlermeldung:
- Öffnen Sie den Tab Diagnose.
- Klicken Sie auf den Fehler, den Sie stummschalten möchten.
- Öffnen Sie das Menü „Auflösungsstatus“. Die Status haben die folgenden Labels: Offen, Bestätigt, Behoben oder Ausgeblendet.
- Wählen Sie Stummgeschaltet aus.
Nächste Schritte
Ausführungsdetails zum Optimieren eines Dataflow-Jobs verwenden
Cloud Monitoring entdecken, um Benachrichtigungen zu erstellen und Dataflow-Messwerte einschließlich benutzerdefinierter Messwerte anzusehen