Monitoring-Dashboard für Dataflow-Projekt

Die webbasierte Monitoring-Oberfläche von Dataflow enthält ein Dashboard, das Ihre Dataflow-Jobs auf Projektebene überwacht. Die Diagramme zeigen Daten für alle Jobs in einem Projekt.

Zum Dashboard

Das Dashboard kann Ihnen bei den folgenden Aufgaben helfen:

  • Erkennen und identifizieren Sie die Quelle von Kontingentfehlern.
  • Erkennen Sie ungewöhnliches horizontales Autoscaling in einem Job.
  • Ermitteln Sie langsame oder hängende Streamingjobs.

Das Dashboard verwendet Cloud Monitoring, um auf Dataflow-Jobmesswerte zuzugreifen. Mit dem Metrics Explorer können Sie die in den Diagrammen angezeigten Informationen anpassen.

Features

Das Dashboard enthält die folgenden Funktionen:

  • Wählen Sie mithilfe von regulären Ausdrücken aus, welche Jobs im Dashboard angezeigt werden.
  • Rufen Sie die Seite mit den Jobdetails über einzelne Diagramme auf.
  • Personalisieren Sie die Dashboard-Widgets und -Diagramme.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Monitoring-Betrachter (roles/monitoring.viewer) zu gewähren, um die Berechtigung zum Aufrufen der Grafikdaten zu erhalten. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigung monitoring.timeSeries.list, die zum Aufrufen der Grafikdaten erforderlich ist.

Sie können diese Berechtigung auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Messwerte

Standardmäßig werden die folgenden Diagramme in Ihrem Dashboard angezeigt. Weitere Informationen zu den angezeigten Messwerten finden Sie unter Jobmesswerte.

Diagramm Beschreibung Support
Aktive Jobs Ein Zeitachsendiagramm, das die Anzahl der im Projekt ausgeführten Jobs anzeigt. Batch- und Streamingjobs
Workers pro Job Ein Zeitachsendiagramm, das die Anzahl der Worker pro Job zeigt. In diesem Diagramm erhalten Sie Informationen zum Verhalten des Autoscalings im gesamten Projekt. Sie können prüfen, ob Jobs ein unerwartetes oder ungewöhnliches Skalierungsverhalten aufweisen.

Verwenden Sie dieses Diagramm mit den Kontingent- und CPU-Diagrammen, um Jobs zu identifizieren, deren Skalierung durch Kontingentfehler begrenzt ist.		 Batch- und Streamingjobs
Fehler durch Kontingentüberschreitung Ein Zeitachsendiagramm, das den Verlauf von Kontingentüberschreitungen im Projekt zeigt, die auf Compute Engine-CPU-Kontingente beschränkt sind. Compute Engine hat sowohl ein CPU-Kontingent pro Region als auch ein Kontingent für einige Maschinenfamilien pro Region. Jedes dieser Kontingente kann verhindern, dass ein Job gestartet oder hochskaliert wird.

Verwenden Sie dieses Diagramm mit den Kontingent- und CPU-Diagrammen, um die Quelle von Kontingentfehlern zu ermitteln.		 Batch- und Streamingjobs
CPUs pro Job Ein Zeitachsendiagramm, das die Anzahl der CPUs zeigt, die von den Workern jedes Jobs verwendet werden. In diesem Diagramm werden auch der Maschinentyp und der Standort für jeden Job angezeigt. Maschinentypen in derselben Familie haben unterschiedliche CPUs. Die Gesamtzahl der CPUs wirkt sich auf Compute Engine-Kontingente aus.

Verwenden Sie dieses Diagramm, um die Quelle von Kontingentfehlern zu ermitteln.		 Batch- und Streamingjobs
Systemlatenz Ein Zeitachsendiagramm, das die maximale Anzahl von Sekunden zeigt, die ein Datenelement für jeden Job verarbeitet wurde oder auf die Verarbeitung wartet.

Verwenden Sie dieses Diagramm, um Streamingjobs mit ungewöhnlichen Verzögerungen zwischen dem Zeitpunkt, an dem Daten in einer Quelle angezeigt werden, und dem Schreiben in alle Senken zu identifizieren.		 Streamingjobs
Datenaktualität Ein Zeitachsendiagramm, das die maximale Datenaktualität für jede Phase in jedem Job zeigt.

In diesem Diagramm finden Sie Streamingjobs, die möglicherweise langsam oder hängen bleiben.		 Streamingjobs
Max. Rückstand in Byte Ein Zeitachsendiagramm, das die maximalen Rückstandsbyte für jede Phase in jedem Job anzeigt.

Verwenden Sie dieses Diagramm, um Anomalien zu ermitteln, die auf einen Verarbeitungsengpass hindeuten.		 Streamingjobs

Auf Dashboard zugreifen

So greifen Sie auf das Dashboard zu:

  1. Melden Sie sich in der Google Cloud Console an.
  2. Wählen Sie Ihr Google Cloud-Projekt aus.
  3. Öffnen Sie das Navigationsmenü.
  4. Klicken Sie in Analytics auf Dataflow.

  5. Klicken Sie im Navigationsmenü auf Monitoring.

    Zum Dashboard

Dashboard personalisieren

Sie können den Inhalt des Dashboards und die in den Diagrammen angezeigten Informationen anpassen. Wenn Sie das Dashboard bearbeiten, wird ein neues benutzerdefiniertes Dashboard erstellt.

Das Dashboard verwendet Cloud Monitoring, um auf Dataflow-Jobmesswerte zuzugreifen. Passen Sie die Diagramme mit den Cloud Monitoring-Tools an.

  1. Öffnen Sie das Dashboard und klicken Sie auf Dashboard anpassen.
  2. Ändern Sie das Dashboard.
  3. Klicken Sie auf Speichern und anschließend auf Benutzerdefiniertes Dashboard anzeigen.

Nachdem Sie ein benutzerdefiniertes Dashboard erstellt haben, wählen Sie im Menü Dashboard die Option Vordefinierte aus, um zum Standard-Dashboard zurückzukehren.

Fehlerbehebung

Dieser Abschnitt enthält Anleitungen zur Behebung häufiger Probleme.

Keine Daten verfügbar

Wenn Sie Ihr Dashboard öffnen, wird in einem oder mehreren Diagrammen die folgende Meldung angezeigt:

No data is available for the selected time frame.

Diese Meldung wird angezeigt, wenn der in den Diagrammen abgedeckte Zeitraum keine Daten enthält. Ändern Sie den Zeitraum oder erweitern Sie den Zeitraum, um dieses Problem zu beheben.

Wenn Sie den angezeigten Zeitraum ändern möchten, klicken Sie im Diagramm auf Daten auswerten und verwenden Sie dann die Zeitraumauswahl.

Gelöschte Widgets können nicht wiederhergestellt werden

Wenn Sie ein Widget aus dem Dashboard entfernen, erstellen Sie ein benutzerdefiniertes Dashboard. Nachdem Sie ein benutzerdefiniertes Dashboard erstellt haben, wählen Sie im Menü Dashboard die Option Vordefinierte aus, um zum Standard-Dashboard zurückzukehren.

Diagramme können nicht angezeigt werden

Zum Aufrufen der Diagrammdaten benötigen Sie die Berechtigung monitoring.timeSeries.list. Weitere Informationen finden Sie unter Erforderliche Rollen.

Nächste Schritte