Visão geral do controle de fluxo do Cloud Data Fusion

Um mecanismo de controle de fluxo no Cloud Data Fusion impede que você envie muitas solicitações, o que pode causar falhas ou falhas nas execuções do pipeline. Esse mecanismo se aplica a solicitações de início (Launch) para os seguintes pipelines e trabalhos em todas as edições do Cloud Data Fusion, versões 6.6 e mais recentes:

  • Pipelines em lote
  • Pipelines em tempo real
  • Jobs de replicação

Limites

Para controlar o número de solicitações de início pendentes no Cloud Data Fusion, o controle de fluxo depende de dois limites:

Limite de inicialização
Limita o número de solicitações de inicialização feitas. Se o número de solicitações de inicialização recebidas pelo Cloud Data Fusion que ainda não estão no estado Running for maior que o limite de inicialização (número de solicitações de inicialização que ainda não estão em execução > limite de inicialização), a solicitação será rejeitada. O número inclui pipelines em lote, pipelines em tempo real e jobs de replicação.
Limite de execuções
Limita o número de solicitações de inicialização pendentes no sistema. Se o número de solicitações de inicialização pendentes recebidas pela Cloud Data Fusion que ainda não foram concluídas for maior que um limite de execuções especificado (número de solicitações pendentes que ainda não foram concluídas > limite de execuções), a solicitação será rejeitada.

Solicitações rejeitadas

Se um dos limites for atendido, todas as novas solicitações de início serão rejeitadas. Por exemplo, um pipeline de lote rejeitado tem um status Rejected nos registros, e uma caixa de diálogo na interface descreve por que a inicialização foi rejeitada.

Métricas

O número de pipelines em execução e de lançamento, além do número de pipelines rejeitados no sistema, pode ser acessado pelo serviço de métricas da seguinte maneira.

Métrica Launching

Informa o número de solicitações de inicialização no sistema. Ou seja, ele informa o número de solicitações de inicialização que estão nos estados Provisioning ou Starting.

Nome das métricas: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Métrica Running

Informa o número de pipelines e jobs em execução no sistema. O limite de execução é baseado na soma dos valores das métricas Launching e Running.

Nome das métricas: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Métrica Rejected

Informa o número de execuções rejeitadas devido ao mecanismo de controle de fluxo.

Nome das métricas: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

A seguir