Visão geral do controle de fluxo do Cloud Data Fusion

Um mecanismo de controle de fluxo no Cloud Data Fusion impede o envio muitas solicitações, o que pode causar falhas ou travamentos nas execuções de pipelines. Esse mecanismo se aplica a solicitações de início (Launch) para os seguintes pipelines e jobs em todas do Cloud Data Fusion, versões 6.6 e mais recentes:

  • Pipelines em lote
  • Pipelines em tempo real
  • Jobs de replicação

Limites

Para controlar o número de solicitações de início pendentes no Cloud Data Fusion, o controle de fluxo depende de dois limites:

Limite de lançamento
Limita o número de solicitações de inicialização feitas. Se o o número de solicitações de lançamento recebidas pelo Cloud Data Fusion que ainda não estão no O estado Running é maior que o limite de inicialização (número de solicitações de inicialização). que ainda não estão em execução > limite de lançamento), a solicitação será rejeitada. O inclui pipelines em lote, em tempo real e jobs de replicação.
Limite de execuções
Limita o número de solicitações de inicialização pendentes no sistema. Se o número de solicitações de inicialização pendentes recebidas pela Cloud Data Fusion que ainda não foram concluídas for maior que um limite de execuções especificado (número de solicitações pendentes que ainda não foram concluídas > limite de execuções), a solicitação será rejeitada.

Solicitações rejeitadas

Se um desses limites for atingido, todas as novas solicitações de início serão rejeitadas. Por exemplo: Um pipeline em lote rejeitado tem um status Rejected nos registros e uma caixa de diálogo no a UI descreve por que o lançamento foi rejeitado.

Métrica

O número de pipelines em execução e em execução, além do número de pipelines Os pipelines no sistema podem ser acessados pelo serviço de métricas da seguinte maneira.

Métrica Launching

Informa o número de solicitações de inicialização no sistema. Ou seja, ele informa o número de solicitações de inicialização que estão nos estados Provisioning ou Starting.

Nome das métricas: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Métrica Running

Informa o número de pipelines e jobs em execução no sistema. O limite de execução é baseado na soma dos valores das métricas Launching e Running.

Nome das métricas: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Métrica Rejected

Informa o número de execuções rejeitadas devido ao mecanismo de controle de fluxo.

Nome das métricas: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

A seguir