Cloud Data Fusion-System, -Instanz und -Pipeline im Blick behalten

In dieser Anleitung wird beschrieben, wie Sie Cloud Data Fusion-Instanzen und ‑Pipelines überwachen. Sie können sich wichtige Messwerte im Cloud Data Fusion-Monitoring-Dashboard ansehen. Für zusätzliche Aggregation oder Filterung können Sie die Messwerte in Cloud Monitoring ansehen.

Hinweise

Bevor Sie mit der Überwachung von Cloud Data Fusion-Instanzen und ‑Pipelines beginnen, sollten Sie sich die Preise ansehen und die erforderlichen Rollen zuweisen.

Preise

Für die Nutzung von Cloud Monitoring fallen Gebühren an. Weitere Informationen finden Sie unter Google Cloud Observability-Preise.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Monitoring Viewer (roles/monitoring.viewer) für Ihr Projekt zuzuweisen, um die Berechtigungen zu erhalten, die Sie zum Aufrufen von Messwerten benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

In Cloud Data Fusion überwachen

Sie können Messwerte für Ihre Instanzen und Pipelines direkt in Cloud Data Fusion über das Monitoring-Dashboard ansehen und filtern:

  1. Rufen Sie in der Google Cloud Console die Cloud Data Fusion-Seite auf.

  2. Klicken Sie auf Instanzen und dann auf den Namen der Instanz, um die Seite Instanzdetails aufzurufen.

    Zur Seite „VM-Instanzen“

  3. Klicken Sie auf den Tab Monitoring. Daraufhin wird ein Dashboard mit Diagrammen für Ihre Instanz und die zugehörigen Pipelines angezeigt.

    Das Dashboard enthält die folgenden Ansichten:

    • Übersicht:Überwacht Cloud Data Fusion-Systemmesswerte.
    • Instanz:Überwacht alle Cloud Data Fusion-Instanzen im Projekt.
    • Pipeline:Enthält Informationen zu Pipelineausführungen und zur Leistung.

    Wenn Sie detaillierte Informationen zu den Messwerten in einer beliebigen Ansicht aufrufen möchten, bewegen Sie den Mauszeiger auf das Widget und klicken Sie auf Mehr > Im Metrics Explorer ansehen.

Widgets im Monitoring-Dashboard

In den folgenden Abschnitten werden die Widgets beschrieben, die in den Ansichten Übersicht, Instanz und Pipeline verfügbar sind.

Widgets in der Übersichtsansicht

In dieser Tabelle werden die Widgets in der Ansicht Übersicht beschrieben:

Widget Beschreibung
Appfabric-Dienststatus Verfügbarkeit von Appfabric-Diensten
Messwert-Dienststatus Verfügbarkeit von Diensten für Messwerte
Wrangler-Dienststatus Verfügbarkeit des Wrangler-Dienstes
Dataset Executor-Status Verfügbarkeit von Diensten für Dataset
Pipeline Studio-Status Verfügbarkeit von Diensten für Pipeline Studio
Laufzeit-Dienststatus Verfügbarkeit des Dienstes zur Laufzeit
Log Saver-Dienststatus Verfügbarkeit des Log Saver-Dienstes
Metadaten-Dienststatus Verfügbarkeit von Diensten für Metadaten

Widgets für die Pipelineansicht

In dieser Tabelle werden die Widgets in der Ansicht Pipeline beschrieben:

Widget Beschreibung
Erfolgreiche Pipelineausführungen Kumulative Anzahl erfolgreicher Pipelineausführungen.
Fehlgeschlagene Pipelineausführungen Kumulative Anzahl fehlgeschlagener Pipelineausführungen.
Beendete Pipelineausführungen Kumulative Anzahl der beendeten Pipelineausführungen.
Abgelehnte Pipelineausführungen Kumulative Anzahl der abgelehnten Pipelineausführungen.
Zeit der erfolgreichen Pipelineausführungen Zeit, die für den Abschluss erfolgreicher Pipelineausführungen benötigt wird.
Latenz beim Pipelinestart Zeit, die benötigt wird, bis eine Pipelineausführung den Status „Wird ausgeführt“ erreicht.
Dataproc-Bereitstellungslatenz Zeit, die zum Bereitstellen des Dataproc-Clusters benötigt wurde.
Anzahl der Dataproc API-Anfragen Kumulative Anzahl der API-Anfragen an Dataproc.
Zeit der erfolgreichen Vorschauausführungen Zeit, die für den Abschluss erfolgreicher Vorschauausführungen benötigt wurde.
Vorschauausführungen Anzahl der Vorschauausführungen.
Gelesene Pipelinebytes Kumulative Anzahl der von einer Pipeline gelesenen Byte.
Geschriebene Pipelinebytes Kumulative Anzahl der von einer Pipeline geschriebenen Byte.
Nach Zufallsprinzip umverteilte Pipelinebytes Kumulative Anzahl der in einer Pipeline gemischten Byte.
Verarbeitete eingehende Plug‑in-Datensätze Kumulative Anzahl der Datensätze, die in ein Plug-in eingehen.
Verarbeitete ausgehende Plug‑in-Datensätze Kumulative Anzahl der Datensätze, die ein Plug-in verlassen.

Widgets für die Instanzansicht

In dieser Tabelle werden die Widgets in der Ansicht Instanz beschrieben:

Widget Beschreibung
Gleichzeitig ausgeführte Pipelines Anzahl der gleichzeitig ausgeführten Pipelines.
Gleichzeitig gestartete Pipelines Anzahl der Pipelines im Status „Wird bereitgestellt“ oder „Wird gestartet“.
Empfangene API-Anfragen Kumulative Anzahl der empfangenen API-Anfragen.
Anzahl der API-Antworten Kumulative Anzahl der gesendeten API-Antworten.
Anzahl der Autorisierungsprüfungen Kumulative Anzahl der Autorisierungsprüfungen.
Zeit der Autorisierungsprüfungen Latenz von Autorisierungsprüfungen.
Anzahl der bereitgestellten Pipelines Anzahl der bereitgestellten Pipelines.
Anzahl der Pipelineentwürfe Anzahl der Pipelineentwürfe.
Anzahl der Namespaces Anzahl der Namespaces.

Messwerte für die erweiterte Analyse in Cloud Monitoring ansehen

Zusätzliche Filter- und Aggregationsoptionen finden Sie, wenn Sie Ihre Messwerte in Cloud Monitoring ansehen:

  1. Rufen Sie in der Google Cloud Console die Seite Cloud Monitoring > Metrics Explorer auf.

    Zu Metrics Explorer

  2. Wählen Sie die überwachte Ressource Cloud Data Fusion aus.

  3. Wählen Sie einen Messwert aus.

  4. Wählen Sie Filter und Aggregation aus.

Nächste Schritte