Présentation du contrôle de flux Cloud Data Fusion

Un mécanisme de contrôle de flux dans Cloud Data Fusion vous empêche d'envoyer trop de requêtes, ce qui peut entraîner des blocages ou des échecs d'exécution de pipeline. Ce mécanisme s'applique aux requêtes de démarrage (Launch) pour les pipelines et jobs suivants dans toutes Éditions de Cloud Data Fusion 6.6 et ultérieures:

  • Pipelines par lots
  • Pipelines en temps réel
  • Tâches de réplication

Seuils

Pour contrôler le nombre de requêtes de démarrage en attente dans Cloud Data Fusion, le contrôle de flux s'appuie sur deux seuils:

Seuil de lancement
Limite le nombre de demandes de lancement effectuées. Si le nombre de requêtes de lancement reçues par Cloud Data Fusion qui ne sont pas encore dans l'état Running est supérieur au seuil de lancement (nombre de requêtes de lancement qui ne sont pas encore exécutées > seuil de lancement), la requête est rejetée. Ce nombre inclut les pipelines par lot, les pipelines en temps réel et les tâches de réplication.
Seuil d'exécutions
Limite le nombre de requêtes de lancement en attente dans le système. Si le nombre de requêtes de lancement en attente reçues par Cloud Data Fusion qui ne sont pas encore terminées est supérieur à un seuil d'exécution spécifié (nombre de requêtes en attente qui ne sont pas encore terminées > seuil d'exécution), la requête est rejetée.

Demandes refusées

Si l'un de ces seuils est atteint, toutes les nouvelles requêtes de démarrage sont rejetées. Par exemple, un pipeline de traitement par lot refusé a un état Rejected dans les journaux, et une boîte de dialogue dans l'UI décrit pourquoi le lancement a été refusé.

Métriques

Vous pouvez accéder au nombre de pipelines de lancement et d'exécution, ainsi qu'au nombre de pipelines rejetés dans le système via le service de métriques comme suit.

Métrique Launching

Indique le nombre de requêtes de lancement dans le système. Autrement dit, elle indique le nombre de requêtes de lancement dont l'état est Provisioning ou Starting.

Nom des métriques : flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Métrique Running

Indique le nombre de pipelines et de jobs en cours d'exécution dans le système. Le seuil d'exécution est basé sur la somme des valeurs des métriques Launching et Running.

Nom des métriques : flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Métrique Rejected

Indique le nombre d'exécutions refusées en raison du mécanisme de contrôle de flux.

Nom de la métrique: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

Étape suivante