Vista geral do controlo de fluxo do Cloud Data Fusion

Um mecanismo de controlo de fluxo no Cloud Data Fusion impede o envio de demasiados pedidos, o que pode causar execuções de pipelines bloqueadas ou com falhas. Este mecanismo aplica-se a pedidos de início (Launch) para os seguintes pipelines e tarefas em todas as edições do Cloud Data Fusion, versões 6.6 e posteriores:

  • Pipelines em lote
  • Pipelines em tempo real
  • Tarefas de replicação

Limites

Para controlar o número de pedidos de início pendentes no Cloud Data Fusion, o controlo de fluxo baseia-se em dois limites:

Limite de lançamento
Limita o número de pedidos de lançamento que estão a ser feitos. Se o número de pedidos de lançamento recebidos pelo Cloud Data Fusion que ainda não estão no estado Running for superior ao limite de lançamento (número de pedidos de lançamento que ainda não estão em execução > limite de lançamento), o pedido é rejeitado. O número inclui pipelines em lote, pipelines em tempo real e tarefas de replicação.
Limite de execuções
Limita o número de pedidos de lançamento pendentes no sistema. Se o número de pedidos de lançamento pendentes recebidos pelo Cloud Data Fusion que ainda não foram concluídos for superior a um limite de execuções especificado (número de pedidos pendentes que ainda não foram concluídos > limite de execuções), o pedido é rejeitado.

Pedidos rejeitados

Se qualquer um dos limites for atingido, todos os novos pedidos de início são rejeitados. Por exemplo, uma pipeline de processamento em lote rejeitada tem o estado Rejected nos registos e uma caixa de diálogo na IU descreve o motivo pelo qual o lançamento foi rejeitado.

Métrica

Pode aceder ao número de pipelines lançados e em execução, juntamente com o número de pipelines rejeitados no sistema, através do serviço de métricas da seguinte forma.

Launching métrica

Comunica o número de pedidos de lançamento no sistema. Ou seja, comunica o número de pedidos de lançamento que se encontram nos estados Provisioning ou Starting.

Nome das métricas: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running métrica

Comunica o número de pipelines e tarefas em execução no sistema. O limite de publicação baseia-se na soma dos valores das métricas Launching e Running.

Nome das métricas: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected métrica

Comunica o número de execuções rejeitadas devido ao mecanismo de controlo de fluxo.

Nome das métricas: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

O que se segue?