Dataflow-Job-Monitoring-Oberfläche verwenden

Wenn Sie eine Pipeline mit dem verwalteten Dataflow-Dienst ausführen, können Sie diesen und alle anderen Jobs über die webbasierte Monitoring-Oberfläche von Dataflow aufrufen. Über die Monitoring-Oberfläche können Sie Ihre Dataflow-Jobs ansehen und mit ihnen interagieren.

Sie können mit der Google Cloud Console auf die Monitoring-Oberfläche von Dataflow zugreifen. Auf dieser wird Folgendes angezeigt:

  • Eine Liste aller ausgeführten Dataflow-Jobs und aller Jobs, die innerhalb der letzten 30 Tage ausgeführt wurden.
  • Eine grafische Darstellung aller Pipelines
  • Details zum Status Ihres Jobs, des Typs und der SDK-Version.
  • Links zu Informationen zu den Google Cloud-Diensten, auf denen Ihre Pipeline ausgeführt wird, z. B. Compute Engine und Cloud Storage.
  • Alle Fehler oder Warnungen, die während eines Jobs auftreten
  • Zusätzliche Diagnosen für einen Job.

Sie können Jobvisualisierer auf der Dataflow-Monitoring-Oberfläche aufrufen. Diese Diagramme zeigen Messwerte für die Dauer eines Pipelinejobs und enthalten folgende Informationen:

  • Sichtbarkeit auf Schrittebene zum Erkennen von Schritten, die Pipelineverzögerungen verursachen können
  • Statistische Informationen, die auf ungewöhnliches Verhalten hinweisen können
  • E/A-Messwerte, mit denen Sie Engpässe in Quellen und Senken identifizieren können.

Auf die Dataflow-Monitoring-Oberfläche zugreifen

So greifen Sie auf die Monitoring-Oberfläche von Dataflow zu:

  1. Melden Sie sich in der Google Cloud Console an.
  2. Wählen Sie Ihr Google Cloud-Projekt aus.
  3. Öffnen Sie das Navigationsmenü.
  4. Klicken Sie in Analytics auf Dataflow.

Eine Liste der Dataflow-Jobs mit ihrem Status wird angezeigt. Wenn Sie keine Jobs sehen, müssen Sie einen neuen Job ausführen. Informationen zum Ausführen eines Jobs finden Sie in der Java-Kurzanleitung, der Python-Kurzanleitung oder der Go-Kurzanleitung.

Liste der Dataflow-Jobs mit Jobs im Status „Aktiv”, „Erfolgreich” und „Fehlgeschlagen”.
Abbildung 1: Eine Liste von Dataflow-Jobs in der Google Cloud Console mit Jobs im Status Aktiv, Fehlgeschlagen und Erfolgreich.

Ein Job kann folgende Statuswerte haben:

  • –: Die Monitoring-Oberfläche hat noch keinen Status vom Dataflow-Dienst erhalten.
  • Aktiv: Der Job wird ausgeführt.
  • Starting... (Wird gestartet): Der Job ist erstellt, das System benötigt jedoch vor dem Start noch etwas Vorbereitungszeit.
  • In der Warteschlange: Entweder wird ein FlexRS-Job in die Warteschlange gestellt oder ein Flex-Vorlagenjob gestartet (was mehrere Minuten in Anspruch nehmen kann).
  • Canceling... (Wird abgebrochen): Der Job wird gerade abgebrochen.
  • Abgebrochen: Der Job wurde abgebrochen.
  • Draining… (Draining läuft…): Der Job wird gerade per Drain beendet.
  • Draining angewendet: Der Job wird per Drain beendet.
  • Updating… (Wird aktualisiert…): Der Job wird gerade aktualisiert.
  • Aktualisiert: Der Job wurde aktualisiert.
  • Succeeded (Erfolgreich): Der Job wurde erfolgreich abgeschlossen.
  • Failed (Fehlgeschlagen): Der Job konnte nicht abgeschlossen werden.

Klicken Sie für weitere Informationen zu einer Pipeline auf den Namen des Jobs.

Auf Jobvisualisierer zugreifen

Klicken Sie auf der Dataflow-Monitoring-Oberfläche auf den Jobnamen, um auf Diagramme zum Monitoring Ihres Jobs zuzugreifen. Die Seite Jobdetails wird mit folgenden Informationen angezeigt:

  • Jobgrafik: die visuelle Darstellung Ihrer Pipeline
  • Ausführungsdetails: Tool zur Optimierung der Pipeline-Leistung
  • Jobmesswerte: Messwerte zur Ausführung des Jobs
  • Kosten: Messwerte zu den geschätzten Kosten Ihres Jobs
  • Autoscaling: Messwerte im Zusammenhang mit Autoscaling-Ereignissen für Streamingjobs
  • Bereich Jobinfo: beschreibende Informationen zu Ihrer Pipeline
  • Joblogs: vom Dataflow-Dienst auf Jobebene generierte Logs
  • Workerlogs: vom Dataflow-Dienst auf Worker-Ebene generierte Logs
  • Diagnose: Tabelle, in der angezeigt wird, wo Fehler in der ausgewählten Zeitachse aufgetreten sind, sowie mögliche Empfehlungen für Ihre Pipeline
  • Datenstichprobe: Tool, mit dem Sie die Daten bei jedem Schritt einer Pipeline beobachten können. Pipelinedaten mit Stichprobenerhebung beobachten

Auf der Seite mit den Jobdetails können Sie die Jobansicht über die Tabs Jobdiagramm, Ausführungsdetails, Jobmesswerte, Kosten und Autoscaling wechseln.

Jobgrafiken

Wenn Sie einen bestimmten Dataflow-Job auswählen, bietet die Monitoring-Oberfläche eine grafische Darstellung Ihrer Pipeline: die Jobgrafik. Die Seite „Jobgrafik“ in der Console enthält auch eine Jobübersicht, ein Joblog und Informationen zu jedem Schritt in der Pipeline. Weitere Informationen zu Jobgrafiken finden Sie in der Dataflow-Jobgrafik.

Jobmesswerte

Sie können Diagramme im Tab Job metrics der Dataflow-Weboberfläche ansehen. Die Messwerte sind in folgenden Dashboards organisiert:

Übersichtsmesswerte

Streamingmesswerte (nur Streamingpipelines)

Ressourcenmesswerte

Eingabemesswerte

Ausgabemesswerte

Cloud Monitoring-Benachrichtigungen

Siehe Cloud Monitoring-Benachrichtigungen erstellen.

Kostenmonitoring

Auf der Seite Kosten in der Google Cloud Console werden die geschätzten Kosten Ihres aktuellen Dataflow-Jobs angezeigt. Die geschätzten Kosten werden durch Multiplikation der von Cloud Monitoring gezeigten Messwerte zur Ressourcennutzung mit dem Preis dieser Ressourcen in der Jobregion berechnet.

Kostenmonitoring verwenden

Die Kostenschätzungen für Jobs sind sowohl für Batch- als auch für Streamingjobs verfügbar. Die Seite Kosten in der Google Cloud Console enthält die folgenden Informationen:

  • Details dazu, welche Ressourcen zu den Jobkosten beitragen und wie viel Zu den Ressourcen zählen vCPUs, Arbeitsspeicher, verarbeitete Dataflow Shuffle-Daten oder verarbeitete Streaming Engine-Daten sowie SSD- und HDD-Laufwerksnutzung.
  • Kosten für bestimmte Zeitfenster, z. B. Zeit seit dem Start des Jobs, die vorherige Stunde, die letzten 24 Stunden, die letzten sieben Tage und ein benutzerdefinierter Zeitraum.

Mit Monitoring-Benachrichtigungen können Sie sich benachrichtigen lassen, wenn Ihre Jobkosten einen bestimmten Schwellenwert überschreiten. Sie können auch Benachrichtigungen verwenden, um Änderungen an Ihren Jobs vorzunehmen, z. B. zum Anhalten oder Abbrechen von Jobs basierend auf den von Ihnen festgelegten Schwellenwerten.

Klicken Sie zum Erstellen einer Cloud Monitoring-Benachrichtigungsregel auf Benachrichtigung erstellen. Eine Anleitung zum Konfigurieren dieser Benachrichtigungen finden Sie unter Cloud Monitoring für Dataflow-Pipelines verwenden.

Beschränkungen

Das Dataflow-Kostenmonitoring unterstützt keine Dataflow Prime-Jobs und GPU-Messwerte.

Messwerte für Autoscaling

Sie können Autoscaling-Monitoringdiagramme für Streamingjobs auf der Dataflow-Monitoring-Oberfläche aufrufen. Diese Diagramme zeigen Messwerte für die Dauer eines Pipelinejobs und enthalten folgende Informationen:

  • Die Anzahl der Worker-Instanzen, die zu einem beliebigen Zeitpunkt von Ihrem Job verwendet werden
  • Autoscaling-Logdateien
  • Der geschätzte Rückstand im Zeitverlauf
  • Durchschnittliche CPU-Auslastung im Zeitverlauf

Weitere Informationen finden Sie unter Dataflow-Autoscaling überwachen.

Empfehlungen und Diagnosen

Dataflow gibt Empfehlungen zur Verbesserung der Jobleistung, zur Reduzierung der Kosten und zur Fehlerbehebung. In diesem Abschnitt wird erläutert, wie Sie die Empfehlungen prüfen und interpretieren. Beachten Sie, dass einige Empfehlungen für Ihren Anwendungsfall möglicherweise nicht relevant sind.

Empfehlungen

Auf dem Tab Empfehlungen werden Informationen aus Dataflow zur Pipeline angezeigt. Anhand dieser Informationen lassen sich Situationen ermitteln, in denen die Kosten und die Leistung verbessert werden können.

Der Tab "Empfehlungen" für einen Dataflow-Job mit Beispielempfehlungen.

Die Spalte Aktualisierungsdatum gibt an, wann eine Information das letzte Mal beobachtet wurde. Empfehlungen werden ab dem Aktualisierungsdatum 30 Tage lang gespeichert.

Programmatischer Zugriff auf Empfehlungen

Für den programmatischen Zugriff auf Empfehlungen verwenden Sie die Recommender API.

Empfehlung ablehnen

Sie können eine Empfehlung im Recommendation Hub für Ihr Projekt ablehnen.

Um eine Empfehlung abzulehnen, klicken Sie in der Google Cloud Console oben links auf das Navigationsmenü und wählen Sie Startseite > Empfehlungen aus. Klicken Sie auf der Dataflow-Diagnosekarte auf Alle ansehen, wählen Sie die Empfehlung aus, die Sie ablehnen möchten, und klicken Sie auf Ablehnen.

Diagnose

Im Tab Diagnose des Bereichs Logs werden bestimmte Logeinträge, die in Ihren Pipelines generiert wurden, erfasst und angezeigt. Dazu gehören Nachrichten, die auf ein wahrscheinliches Problem mit der Pipeline hinweisen, und Fehlermeldungen mit Stacktraces. Erfasste Logeinträge werden dedupliziert und in Fehlergruppen kombiniert.

Der Tab „Diagnose“ für einen Dataflow-Job mit einer Fehlergruppe „Dienstfehler“.

Der Fehlerbericht enthält die folgenden Informationen:

  • Eine Liste von Fehlern mit Fehlermeldungen
  • Die Häufigkeit, mit der jeder Fehler aufgetreten ist
  • Ein Histogramm, das angibt, wann der jeweilige Fehler aufgetreten ist
  • Den Zeitpunkt, zu dem der Fehler zuletzt aufgetreten ist
  • Gibt an, wann der Fehler das erste Mal aufgetreten ist.
  • Der Status des Fehlers.

Klicken Sie in der Spalte Fehler auf die Beschreibung, um den Fehlerbericht für einen bestimmten Fehler aufzurufen. Die Seite Error Reporting wird angezeigt. Handelt es sich beim Fehler um einen Dienstfehler, wird ein zusätzlicher Link mit Dokumentation und weiteren Schritten angezeigt ("Anleitung zur Fehlerbehebung").

Die Seite mit den Fehlergruppendetails für einen Dataflow-Dienstfehler.

Weitere Informationen zu der Seite finden Sie unter Fehler ansehen.

Fehler ausblenden

Wenn Sie eine Fehlermeldung ausblenden möchten, öffnen Sie den Tab Diagnose und klicken Sie auf den Fehler, den Sie ausblenden möchten. Öffnen Sie dann das Menü für den Lösungsstatus (mit einem der folgenden Labels: Offen | Bestätigt | Behoben | Ausgeblendet) und wählen Sie Ausgeblendet aus.

Nächste Schritte