Esta página foi traduzida pela API Cloud Translation.

Aspectos gerais das métricas

Nesta página, descrevemos as métricas que ajudam a monitorar a integridade e o desempenho das instâncias e dos pipelines do Cloud Data Fusion. Use o Cloud Monitoring para monitorar essas métricas. As métricas fornecem insights sobre execuções de pipeline, detalhes da instância, solicitações de API e verificações de autorização.

As métricas são categorizadas como métricas de pipeline ou métricas de instância:

As métricas de pipeline fornecem dados sobre execuções individuais, como status, duração, latência e taxa de transferência de dados.
As métricas de instância fornecem informações agregadas sobre os pipelines em uma instância, incluindo disponibilidade de serviço, o número de pipelines implantados e contagens de solicitações de API.

Filtre e agregue métricas de pipeline e instância do Cloud Data Fusion no Monitoring usando rótulos metric e monitored-resource. Ao personalizar as visualizações de métricas, você pode usar um ou os dois tipos de rótulo.

Rótulos de recursos monitorados do pipeline do Cloud Data Fusion

Filtre e agregue as métricas com os seguintes rótulos de recurso monitorado do pipeline do Cloud Data Fusion:

Nome do rótulo	Descrição
`resource_container`	O ID do projeto do cliente.
`org_id`	O ID da organização a que o projeto do cliente pertence.
`location`	A zona ou região em que a instância está hospedada.
`edition`	A edição da instância do Cloud Data Fusion.
`is_private_ip_enabled`	Se a instância usa um endereço IP interno.
`version`	A versão do plano de dados do Cloud Data Fusion da instância.
`instance_id`	O ID da instância do Cloud Data Fusion.
`namespace`	O namespace do pipeline.
`pipeline_id`	O ID do pipeline.
`run_id`	O ID de execução do pipeline.

Rótulos de métricas de pipeline

Filtre e agregue as métricas com os seguintes identificadores de métricas do Cloud Data Fusion no Monitoring:

Nome	Métrica	Descrição	Rótulos de métrica
Status de execução do pipeline	`datafusion.googleapis.com/pipeline/v2/runs_completed_count`	A contagem cumulativa de pipelines que concluíram uma execução.	`complete_state` `previous_state` `program` `provisioner` `cluster_state` `compute_profile_id` `enable_rbac` `private_service_connect_enabled`
Tempo de execução do pipeline	`datafusion.googleapis.com/pipeline/v2/pipeline_duration`	Tempo gasto para concluir a execução do pipeline.	`complete_state` `program` `provisioner` `cluster_state` `compute_profile_id` `enable_rbac` `private_service_connect_enabled`
Latência de início do pipeline	`datafusion.googleapis.com/pipeline/v2/pipeline_start_latency`	O tempo necessário para que o pipeline atinja o estado Em execução.	`program` `provisioner` `cluster_state` `compute_profile_id` `complete_state` `enable_rbac` `private_service_connect_enabled`
Latência de provisionamento	`datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency`	A latência de provisionamento do cluster do Dataproc.	`provisioner` `enable_rbac` `private_service_connect_enabled`
Solicitações da API Dataproc	`datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count`	A contagem cumulativa de solicitações da API Dataproc.	`provisioner` `method` `response_code` `region` `launch_mode` `image_version` `enable_rbac` `private_service_connect_enabled`
Tempo de execução da visualização do pipeline	`datafusion.googleapis.com/pipeline/v2/preview_duration`	Tempo gasto para concluir a prévia.	`complete_state` `enable_rbac` `private_service_connect_enabled`
Bytes de pipeline gravados	`datafusion.googleapis.com/pipeline/v2/write_bytes_count`	A contagem cumulativa de bytes gravados por um pipeline.	`enable_rbac` `private_service_connect_enabled`
Bytes de pipeline lidos	`datafusion.googleapis.com/pipeline/v2/read_bytes_count`	A contagem cumulativa de bytes lidos por um pipeline.	`enable_rbac` `private_service_connect_enabled`
Bytes de pipeline embaralhados	`datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count`	A contagem cumulativa de bytes embaralhados em um pipeline.	`enable_rbac` `private_service_connect_enabled`
Registros de plug-in processados em	`datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count`	Contagem cumulativa de registros que entram em um plug-in.	`enable_rbac` `private_service_connect_enabled` `stage_name`
Registros de plug-in processados	`datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count`	A contagem cumulativa de registros que saem de um plug-in.	`enable_rbac` `private_service_connect_enabled` `stage_name`

Rótulos de recursos monitorados da instância do Cloud Data Fusion

Filtre e agregue as métricas com os seguintes rótulos de recursos monitorados da instância do Cloud Data Fusion:

Nome do rótulo	Descrição
`resource_container`	O ID do projeto do cliente.
`org_id`	O ID da organização a que o projeto do cliente pertence.
`location`	A zona ou região em que a instância está hospedada.
`edition`	A edição da instância.
`is_private_ip_enabled`	Se a instância usa um endereço IP interno.
`version`	A versão do plano de dados do Cloud Data Fusion da instância.
`instance_id`	O ID da instância do Cloud Data Fusion.
`namespace`	O nome do namespace.

Rótulos de métricas da instância