Messwerte – Übersicht

Auf dieser Seite werden die Messwerte beschrieben, mit denen Sie den Zustand und die Leistung Ihrer Cloud Data Fusion-Instanzen und ‑Pipelines überwachen können. Verwenden Sie Cloud Monitoring, um diese Messwerte zu überwachen. Die Messwerte liefern Informationen zu Pipelineausführungen, Instanzdetails, API-Anfragen und Autorisierungsprüfungen.

Die Messwerte werden entweder als Pipeline-Messwerte oder als Instanzmesswerte kategorisiert:

  • Pipelinemesswerte liefern Daten zu einzelnen Pipelineausführungen, z. B. Ausführungsstatus, Dauer, Latenz und Datendurchsatz.
  • Instanzmesswerte enthalten aggregierte Informationen zu den Pipelines in einer Instanz, einschließlich der Dienstverfügbarkeit, der Anzahl der bereitgestellten Pipelines und der Anzahl der API-Anfragen.

Filtern und aggregieren Sie Cloud Data Fusion-Pipeline- und ‑Instanzmesswerte in Monitoring mit den Labels metric und monitored-resource. Wenn Sie Messwertansichten anpassen, können Sie einen oder beide dieser Labeltypen verwenden.

Labels für überwachte Ressourcen in Cloud Data Fusion-Pipelines

Filtern und aggregieren Sie die Messwerte mit den folgenden Labels für überwachte Ressourcen vom Typ Cloud Data Fusion-Pipeline:

Labelname Beschreibung
resource_container Die ID des Kundenprojekts.
org_id Die ID der Organisation, zu der das Kundenprojekt gehört.
location Die Zone oder Region, in der die Instanz gehostet wird.
edition Die Edition der Cloud Data Fusion-Instanz.
is_private_ip_enabled Gibt an, ob die Instanz eine interne IP-Adresse verwendet.
version Die Cloud Data Fusion-Datenebeneversion der Instanz.
instance_id Die Cloud Data Fusion-Instanz-ID.
namespace Der Namespace der Pipeline.
pipeline_id Die Pipeline-ID.
run_id Die Ausführungs-ID für die Pipeline.

Labels für Pipeline-Messwerte

Filtern und aggregieren Sie die Messwerte mit den folgenden Cloud Data Fusion-Messwertlabels in Monitoring:

Name Messwert Beschreibung Messwertlabels
Status der Pipelineausführung datafusion.googleapis.com/pipeline/v2/runs_completed_count Die kumulative Anzahl der Pipelines, die einen Lauf abgeschlossen haben.
  • complete_state
  • previous_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Dauer der Pipelineausführung datafusion.googleapis.com/pipeline/v2/pipeline_duration Die für die Ausführung der Pipeline benötigte Zeit.
  • complete_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Latenz beim Pipelinestart datafusion.googleapis.com/pipeline/v2/pipeline_start_latency Die Zeit, die die Pipeline benötigt, um den Status Wird ausgeführt zu erreichen.
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Bereitstellungslatenz datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency Die Bereitstellungslatenz des Dataproc-Clusters.
  • provisioner
  • enable_rbac
  • private_service_connect_enabled
Dataproc API-Anfragen datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count Die kumulative Anzahl der Dataproc API-Anfragen.
  • provisioner
  • method
  • response_code
  • region
  • launch_mode
  • image_version
  • enable_rbac
  • private_service_connect_enabled
Zeit der Pipeline-Vorschauausführung datafusion.googleapis.com/pipeline/v2/preview_duration Zeitaufwand für die Vorschau.
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Geschriebene Pipelinebytes datafusion.googleapis.com/pipeline/v2/write_bytes_count Die kumulative Anzahl der von einer Pipeline geschriebenen Byte.
  • enable_rbac
  • private_service_connect_enabled
Gelesene Pipelinebytes datafusion.googleapis.com/pipeline/v2/read_bytes_count Die kumulative Anzahl der von einer Pipeline gelesenen Byte.
  • enable_rbac
  • private_service_connect_enabled
Nach Zufallsprinzip umverteilte Pipelinebytes datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count Die kumulative Anzahl der in einer Pipeline gemischten Byte.
  • enable_rbac
  • private_service_connect_enabled
Verarbeitete eingehende Plug‑in-Datensätze datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count Kumulative Anzahl der Datensätze, die in ein Plug-in eingehen.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name
Verarbeitete ausgehende Plug‑in-Datensätze datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count Die kumulative Anzahl der Datensätze, die ein Plug-in verlassen.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name

Labels für überwachte Ressourcen für Cloud Data Fusion-Instanzen

Filtern und aggregieren Sie die Messwerte mit den folgenden Labels für die überwachte Ressource Cloud Data Fusion-Instanz:

Labelname Beschreibung
resource_container Die ID des Kundenprojekts.
org_id Die ID der Organisation, zu der das Kundenprojekt gehört.
location Die Zone oder Region, in der die Instanz gehostet wird.
edition Die Edition der Instanz.
is_private_ip_enabled Gibt an, ob die Instanz eine interne IP-Adresse verwendet.
version Die Cloud Data Fusion-Datenebeneversion der Instanz.
instance_id Die Cloud Data Fusion-Instanz-ID.
namespace Namespace-Name

Labels von Instanzmesswerten

Filtern und aggregieren Sie die Messwerte mit den folgenden Cloud Data Fusion-Messwertlabels in Monitoring:

Name Messwert Beschreibung Messwertlabels
Dienststatus datafusion.googleapis.com/instance/v2/service_available Die Verfügbarkeit von Cloud Data Fusion-Diensten.
  • service
  • enable_rbac
  • private_service_connect_enabled
Anzahl der bereitgestellten Pipelines datafusion.googleapis.com/instance/v2/pipelines Die Anzahl der bereitgestellten Pipelines.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Anzahl der gleichzeitig ausgeführten Pipelines datafusion.googleapis.com/instance/v2/concurrent_pipelines_running Die Anzahl der Pipelines, die gleichzeitig ausgeführt werden.
  • enable_rbac
  • private_service_connect_enabled
Anzahl der gleichzeitig gestarteten Pipelines datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched Die Anzahl der Pipelines im Status Provisioning (Bereitstellung) oder Starting (Wird gestartet).
  • enable_rbac
  • private_service_connect_enabled
Empfangene CDAP REST API-Anfragen datafusion.googleapis.com/instance/v2/api_request_count Die kumulative Anzahl der REST API-Anfragen, die von einem Dienst im Backend empfangen wurden.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Gesendete CDAP REST API-Antworten datafusion.googleapis.com/instance/v2/api_response_count Die kumulative Anzahl der von einem Dienst im Backend gesendeten REST API-Antworten.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Anzahl der Autorisierungsprüfungen datafusion.googleapis.com/instance/v2/authorization_check_count Die kumulative Anzahl der Autorisierungsprüfungen, die vom Access Enforcer durchgeführt wurden.
  • enable_rbac
  • type
  • private_service_connect_enabled
Zeit der Autorisierungsprüfungen datafusion.googleapis.com/instance/v2/authorization_check_time Die Latenz von Autorisierungsprüfungen, die vom Access Enforcer durchgeführt werden.
  • enable_rbac
  • type
  • private_service_connect_enabled
Anzahl der Pipelineentwürfe datafusion.googleapis.com/instance/v2/draft_pipelines Die Anzahl der Pipelineentwürfe.
  • enable_rbac
  • private_service_connect_enabled
Anzahl der Namespaces datafusion.googleapis.com/instance/v2/namespaces Die Anzahl der Namespaces.
  • enable_rbac
  • private_service_connect_enabled

Nächste Schritte