Vista geral das métricas

Esta página descreve as métricas que ajudam a monitorizar o estado e o desempenho das suas instâncias e pipelines do Cloud Data Fusion. Use o Cloud Monitoring para monitorizar estas métricas. As métricas fornecem estatísticas sobre as execuções de pipelines, os detalhes das instâncias, os pedidos de API e as verificações de autorização.

As métricas são categorizadas como métricas de pipeline ou métricas de instância:

  • As métricas de pipeline fornecem dados sobre execuções de pipeline individuais, como o estado de execução, a duração, a latência e o débito de dados.
  • As métricas de instância fornecem informações agregadas sobre os pipelines numa instância, incluindo a disponibilidade do serviço, o número de pipelines implementados e as contagens de pedidos de API.

Filtre e agregue as métricas de pipeline e de instância do Cloud Data Fusion na monitorização através de etiquetas metric e monitored-resource. Quando personaliza as vistas de métricas, pode usar um ou ambos os tipos de etiquetas.

Etiquetas de recursos monitorizados do pipeline do Cloud Data Fusion

Filtre e agregue as métricas com as seguintes etiquetas de recursos monitorizados do Cloud Data Fusion Pipeline:

Nome da etiqueta Descrição
resource_container O ID do projeto do cliente.
org_id O ID da organização à qual o projeto do cliente pertence.
location A zona ou a região onde a instância está alojada.
edition A edição da instância do Cloud Data Fusion.
is_private_ip_enabled Se a instância usa um endereço IP interno.
version A versão do plano de dados do Cloud Data Fusion da instância.
instance_id O ID da instância do Cloud Data Fusion.
namespace O espaço de nomes do pipeline.
pipeline_id O ID do pipeline.
run_id O ID de execução do pipeline.

Etiquetas de métricas de pipeline

Filtre e agregue as métricas com as seguintes etiquetas de métricas do Cloud Data Fusion no Monitoring:

Nome Métrica Descrição Etiquetas de métricas
Estado de execução do pipeline datafusion.googleapis.com/pipeline/v2/runs_completed_count A contagem cumulativa de pipelines que concluíram uma execução.
  • complete_state
  • previous_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Tempo de execução do pipeline datafusion.googleapis.com/pipeline/v2/pipeline_duration Tempo necessário para concluir a execução da pipeline.
  • complete_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Latência de início do pipeline datafusion.googleapis.com/pipeline/v2/pipeline_start_latency O tempo que o pipeline demorou a atingir o estado Em execução.
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Latência de aprovisionamento datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency A latência de aprovisionamento do cluster do Dataproc.
  • provisioner
  • enable_rbac
  • private_service_connect_enabled
Pedidos da API Dataproc datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count A contagem cumulativa de pedidos da API Dataproc.
  • provisioner
  • method
  • response_code
  • region
  • launch_mode
  • image_version
  • enable_rbac
  • private_service_connect_enabled
Tempo de execução da pré-visualização do pipeline datafusion.googleapis.com/pipeline/v2/preview_duration Tempo necessário para concluir a pré-visualização.
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Bytes de pipeline escritos datafusion.googleapis.com/pipeline/v2/write_bytes_count A contagem cumulativa de bytes escritos por um pipeline.
  • enable_rbac
  • private_service_connect_enabled
Bytes de pipeline lidos datafusion.googleapis.com/pipeline/v2/read_bytes_count A contagem cumulativa de bytes lidos por um pipeline.
  • enable_rbac
  • private_service_connect_enabled
Bytes de pipeline aleatórios datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count A contagem cumulativa de bytes baralhados num pipeline.
  • enable_rbac
  • private_service_connect_enabled
Registos de plug-ins processados em datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count Contagem cumulativa de registos que entram num plug-in.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name
Registos de plugins processados datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count A contagem cumulativa de registos que saem de um plug-in.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name

Etiquetas de recursos monitorizados da instância do Cloud Data Fusion

Filtre e agregue as métricas com as seguintes etiquetas de recursos monitorizados da instância do Cloud Data Fusion:

Nome da etiqueta Descrição
resource_container O ID do projeto do cliente.
org_id O ID da organização à qual o projeto do cliente pertence.
location A zona ou a região onde a instância está alojada.
edition A edição da instância.
is_private_ip_enabled Se a instância usa um endereço IP interno.
version A versão do plano de dados do Cloud Data Fusion da instância.
instance_id O ID da instância do Cloud Data Fusion.
namespace O nome do espaço de nomes.

Etiquetas de métricas de instâncias

Filtre e agregue as métricas com as seguintes etiquetas de métricas do Cloud Data Fusion no Monitoring:

Nome Métrica Descrição Etiquetas de métricas
Estado do serviço datafusion.googleapis.com/instance/v2/service_available A disponibilidade dos serviços do Cloud Data Fusion.
  • service
  • enable_rbac
  • private_service_connect_enabled
Contagem de pipelines implementadas datafusion.googleapis.com/instance/v2/pipelines O número de pipelines implementadas.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Contagem de pipelines em execução em simultâneo datafusion.googleapis.com/instance/v2/concurrent_pipelines_running O número de pipelines em execução em simultâneo.
  • enable_rbac
  • private_service_connect_enabled
Número de inícios de pipelines simultâneos datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched O número de pipelines no estado Aprovisionamento ou Início.
  • enable_rbac
  • private_service_connect_enabled
Pedidos da API REST do CDAP recebidos datafusion.googleapis.com/instance/v2/api_request_count A contagem cumulativa de pedidos da API REST recebidos por um serviço no back-end.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Respostas da API REST do CDAP enviadas datafusion.googleapis.com/instance/v2/api_response_count A contagem cumulativa de respostas da API REST enviadas por um serviço no back-end.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Número de verificações de autorização datafusion.googleapis.com/instance/v2/authorization_check_count A contagem cumulativa de verificações de autorização feitas pelo aplicador de acesso.
  • enable_rbac
  • type
  • private_service_connect_enabled
Hora da verificação da autorização datafusion.googleapis.com/instance/v2/authorization_check_time A latência das verificações de autorização feitas pelo aplicador de acesso.
  • enable_rbac
  • type
  • private_service_connect_enabled
Número de pipelines de rascunho datafusion.googleapis.com/instance/v2/draft_pipelines O número de pipelines de rascunho.
  • enable_rbac
  • private_service_connect_enabled
Contagem de espaços de nomes datafusion.googleapis.com/instance/v2/namespaces O número de espaços de nomes.
  • enable_rbac
  • private_service_connect_enabled

O que se segue?