Présentation des métriques

Cette page décrit les métriques qui vous aident à surveiller l'état et les performances de vos instances et pipelines Cloud Data Fusion. Utilisez Cloud Monitoring pour surveiller ces métriques. Les métriques fournissent des informations sur les exécutions de pipelines, les détails des instances, les requêtes d'API et les vérifications d'autorisation.

Les métriques sont classées dans les catégories Métriques du pipeline ou Métriques de l'instance :

  • Les métriques de pipeline fournissent des données sur les exécutions de pipeline individuelles, telles que l'état d'exécution, la durée, la latence et le débit de données.
  • Les métriques d'instance fournissent des informations agrégées sur les pipelines d'une instance, y compris la disponibilité du service, le nombre de pipelines déployés et le nombre de requêtes d'API.

Filtrez et agrégez les métriques des pipelines et des instances Cloud Data Fusion dans Monitoring à l'aide des libellés metric et monitored-resource. Lorsque vous personnalisez vos vues de métriques, vous pouvez utiliser l'un ou l'autre de ces types de libellés, ou les deux.

Libellés de ressources surveillées des pipelines Cloud Data Fusion

Filtrez et agrégez les métriques avec les libellés de ressources surveillées Cloud Data Fusion Pipeline suivants :

Nom du libellé Description
resource_container ID du projet client.
org_id ID de l'organisation à laquelle appartient le projet client.
location Zone ou région où l'instance est hébergée.
edition Édition de l'instance Cloud Data Fusion.
is_private_ip_enabled Indique si l'instance utilise une adresse IP interne.
version Version du plan de données Cloud Data Fusion de l'instance.
instance_id ID de l'instance Cloud Data Fusion.
namespace Espace de noms du pipeline.
pipeline_id ID du pipeline.
run_id ID d'exécution du pipeline.

Libellés des métriques de pipeline

Filtrez et agrégez les métriques avec les libellés de métriques Cloud Data Fusion suivants dans Monitoring :

Nom Métrique Description Étiquettes de métriques
État d'exécution du pipeline datafusion.googleapis.com/pipeline/v2/runs_completed_count Nombre cumulé de pipelines ayant terminé une exécution.
  • complete_state
  • previous_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Durée d'exécution du pipeline datafusion.googleapis.com/pipeline/v2/pipeline_duration Temps nécessaire pour exécuter le pipeline.
  • complete_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Latence de démarrage du pipeline datafusion.googleapis.com/pipeline/v2/pipeline_start_latency Temps nécessaire au pipeline pour atteindre l'état En cours d'exécution.
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Latence de provisionnement datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency Latence de provisionnement du cluster Dataproc.
  • provisioner
  • enable_rbac
  • private_service_connect_enabled
Requêtes API Dataproc datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count Nombre cumulé de requêtes API Dataproc.
  • provisioner
  • method
  • response_code
  • region
  • launch_mode
  • image_version
  • enable_rbac
  • private_service_connect_enabled
Durée d'exécution de l'aperçu du pipeline datafusion.googleapis.com/pipeline/v2/preview_duration Temps nécessaire pour terminer l'aperçu.
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Octets écrits par le pipeline datafusion.googleapis.com/pipeline/v2/write_bytes_count Nombre cumulé d'octets écrits par un pipeline.
  • enable_rbac
  • private_service_connect_enabled
Octets lus par le pipeline datafusion.googleapis.com/pipeline/v2/read_bytes_count Nombre cumulé d'octets lus par un pipeline.
  • enable_rbac
  • private_service_connect_enabled
Octets brassés par le pipeline datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count Nombre cumulé d'octets mélangés dans un pipeline.
  • enable_rbac
  • private_service_connect_enabled
Enregistrements de plug-ins traités en entrée datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count Nombre cumulé d'enregistrements entrant dans un plug-in.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name
Enregistrements de plug-in traités en sortie datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count Nombre cumulé d'enregistrements quittant un plug-in.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name

Libellés de ressources surveillées des instances Cloud Data Fusion

Filtrez et agrégez les métriques avec les libellés de ressources surveillées Instance Cloud Data Fusion suivants :

Nom du libellé Description
resource_container ID du projet client.
org_id ID de l'organisation à laquelle appartient le projet client.
location Zone ou région où l'instance est hébergée.
edition Édition de l'instance.
is_private_ip_enabled Indique si l'instance utilise une adresse IP interne.
version Version du plan de données Cloud Data Fusion de l'instance.
instance_id ID de l'instance Cloud Data Fusion.
namespace Nom de l'espace de noms.

Étiquettes de métriques d'instance

Filtrez et agrégez les métriques avec les libellés de métriques Cloud Data Fusion suivants dans Monitoring :

Nom Métrique Description Étiquettes de métriques
État du service datafusion.googleapis.com/instance/v2/service_available Disponibilité des services Cloud Data Fusion.
  • service
  • enable_rbac
  • private_service_connect_enabled
Nombre de pipelines déployés datafusion.googleapis.com/instance/v2/pipelines Nombre de pipelines déployés.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Nombre de pipelines en cours d'exécution datafusion.googleapis.com/instance/v2/concurrent_pipelines_running Nombre de pipelines exécutés simultanément.
  • enable_rbac
  • private_service_connect_enabled
Nombre de lancements de pipelines simultanés datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched Nombre de pipelines à l'état Provisionnement ou Démarrage.
  • enable_rbac
  • private_service_connect_enabled
Requêtes API REST CDAP reçues datafusion.googleapis.com/instance/v2/api_request_count Nombre cumulé de requêtes d'API REST reçues par un service dans le backend.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Réponses de l'API REST CDAP envoyées datafusion.googleapis.com/instance/v2/api_response_count Nombre cumulé de réponses d'API REST envoyées par un service dans le backend.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Nombre de vérifications d'autorisation datafusion.googleapis.com/instance/v2/authorization_check_count Nombre cumulé de vérifications d'autorisation effectuées par l'application des règles d'accès.
  • enable_rbac
  • type
  • private_service_connect_enabled
Heure de vérification de l'autorisation datafusion.googleapis.com/instance/v2/authorization_check_time Latence des vérifications d'autorisation effectuées par l'application des règles d'accès.
  • enable_rbac
  • type
  • private_service_connect_enabled
Nombre de pipelines à l'état de brouillon datafusion.googleapis.com/instance/v2/draft_pipelines Nombre de pipelines brouillons.
  • enable_rbac
  • private_service_connect_enabled
Nombre d'espaces de noms datafusion.googleapis.com/instance/v2/namespaces Nombre d'espaces de noms.
  • enable_rbac
  • private_service_connect_enabled

Étapes suivantes