Visão geral do controle de fluxo do Cloud Data Fusion

Um mecanismo de controle de fluxo no Cloud Data Fusion impede o envio de muitas solicitações, o que pode gerar execuções travadas ou com falha no pipeline. Esse mecanismo se aplica a solicitações (Launch) para os seguintes pipelines e jobs em todas as edições do Cloud Data Fusion, 6.6 e versões posteriores:

  • Pipelines em lote
  • Pipelines em tempo real
  • Jobs de replicação

Limites

Para controlar o número de solicitações de início pendentes no Cloud Data Fusion, o controle de fluxo depende de dois limites:

Limite de lançamento
Limita o número de solicitações de lançamento que estão sendo feitas. Se o número de solicitações de lançamento recebidas pelo Cloud Data Fusion que ainda não estiverem no estado Running for maior que o limite de lançamento (número de solicitações de lançamento que ainda não estão em execução > limite de lançamento), a solicitação será rejeitada. O número inclui pipelines em lote, pipelines em tempo real e jobs de replicação.
Limite de execuções
Limita o número de solicitações de lançamento pendentes no sistema. Se o número de solicitações de lançamento pendentes recebidas pelo Cloud Data Fusion que ainda não tiverem sido concluídas for maior que um limite de execuções especificado (número de solicitações pendentes que ainda não foram concluídas, a solicitação será rejeitada).

Solicitações recusadas

Se um dos limites for atingido, todas as novas solicitações de início serão rejeitadas. Por exemplo, um pipeline em lote rejeitado tem um status Rejected nos registros e uma caixa de diálogo na IU descreve por que o lançamento foi rejeitado.

Métrica

O número de pipelines de inicialização e execução, além do número de pipelines rejeitados no sistema, podem ser acessados por meio do serviço de métricas da seguinte maneira.

Launching métrica

Relata o número de solicitações de lançamento no sistema. Ou seja, ele informa o número de solicitações de lançamento que estão nos estados Provisioning ou Starting.

Nome das métricas: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running métrica

Relata o número de pipelines e jobs em execução no sistema. O limite de execução é baseado na soma dos valores das métricas Launching e Running.

Nome das métricas: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected métrica

Relata o número de execuções rejeitadas devido ao mecanismo de controle de fluxo.

Nome das métricas: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

Próximas etapas