Visão geral do controle de fluxo do Cloud Data Fusion

Um mecanismo de controle de fluxo no Cloud Data Fusion impede que você envie muitas solicitações, o que pode causar execuções de pipeline travadas ou com falha. Esse mecanismo se aplica a solicitações iniciais (Launch) para os seguintes pipelines e jobs em todas as edições do Cloud Data Fusion, versão 6.6 e mais recentes:

  • Pipelines em lote
  • Pipelines em tempo real
  • Jobs de replicação

Limites

Para controlar o número de solicitações de inicialização pendentes no Cloud Data Fusion, o controle de fluxo depende de dois limites:

Limite de lançamento
Limita o número de solicitações de inicialização feitas. Se o número de solicitações de lançamento recebidas pelo Cloud Data Fusion que ainda não estão no estado Running for maior que o limite de inicialização (número de solicitações de inicialização que ainda não estão em execução > limite de inicialização), a solicitação será rejeitada. O número inclui pipelines em lote, em tempo real e jobs de replicação.
Limite de execuções
Limita o número de solicitações de inicialização pendentes no sistema. Se o número de solicitações de lançamento pendentes recebidas pelo Cloud Data Fusion que ainda não foram concluídas for maior que um limite de execuções especificado (número de solicitações pendentes que ainda não foram concluídas > limite de execuções), a solicitação será rejeitada.

Solicitações rejeitadas

Se um dos limites for atingido, todas as novas solicitações de início serão rejeitadas. Por exemplo, um pipeline em lote rejeitado tem um status Rejected nos registros e uma caixa de diálogo na UI descreve por que a inicialização foi rejeitada.

Métricas

O número de pipelines iniciados e executados, além do número de pipelines rejeitados no sistema, pode ser acessado por meio do serviço de métricas da seguinte maneira:

Métrica Launching

Informa o número de solicitações de inicialização no sistema. Ou seja, ela informa o número de solicitações de inicialização que estão nos estados Provisioning ou Starting.

Nome da métrica: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Métrica Running

Informa o número de pipelines e jobs em execução no sistema. O limite de execução é baseado na soma dos valores das métricas Launching e Running.

Nome da métrica: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Métrica Rejected

Informa o número de execuções rejeitadas devido ao mecanismo de controle de fluxo.

Nome da métrica: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

A seguir