Un mécanisme de contrôle de flux dans Cloud Data Fusion vous empêche d'envoyer trop de requêtes, ce qui peut entraîner le blocage ou l'échec de l'exécution du pipeline. Ce mécanisme s'applique aux requêtes de démarrage (Launch) pour les pipelines et les tâches suivants dans toutes les éditions de Cloud Data Fusion, versions 6.6 et ultérieures:
- Pipelines par lots
- Pipelines en temps réel
- Jobs de réplication
Seuils
Pour contrôler le nombre de requêtes de démarrage en attente dans Cloud Data Fusion, le contrôle de flux s'appuie sur deux seuils:
- Seuil de lancement
- Limite le nombre de demandes de lancement effectuées. Si le nombre de requêtes de lancement reçues par Cloud Data Fusion qui ne sont pas encore à l'état
Runningest supérieur au seuil de lancement (nombre de requêtes de lancement qui ne sont pas encore en cours d'exécution > seuil de lancement), la requête est rejetée. Ce nombre inclut les pipelines de traitement par lot, les pipelines en temps réel et les tâches de réplication. - Seuil d'exécutions
- Limite le nombre de demandes de lancement en attente dans le système. Si le nombre de demandes de lancement en attente reçues par Cloud Data Fusion qui n'ont pas encore été terminées est supérieur à un seuil d'exécutions spécifié (nombre de requêtes en attente qui ne sont pas encore terminées > seuil d'exécutions), la requête est rejetée.
Demandes refusées
Si l'un des seuils est atteint, chaque nouvelle requête de démarrage est rejetée. Par exemple, un pipeline par lot refusé présente l'état Rejected dans les journaux et une boîte de dialogue dans l'interface utilisateur décrit le motif du refus.
Métriques
Le service de métriques permet d'accéder au nombre de pipelines de lancement et d'exécution ainsi que de nombre de pipelines refusés dans le système, comme suit.
Métrique Launching
Indique le nombre de requêtes de lancement dans le système. Autrement dit, elle indique le nombre de requêtes de lancement dont l'état est Provisioning ou Starting.
Nom de la métrique: flowcontrol.launching.count
POST /v3/metrics/query?metric=system.flowcontrol.launching.count
Métrique Running
Indique le nombre de pipelines et de tâches en cours d'exécution dans le système. Le seuil d'exécution est basé sur la somme des valeurs des métriques Launching et Running.
Nom de la métrique: flowcontrol.running.count
POST /v3/metrics/query?metric=system.flowcontrol.running.count
Métrique Rejected
Indique le nombre d'exécutions refusées en raison du mécanisme de contrôle de flux.
Nom de la métrique: program.rejected.runs
POST /v3/metrics/query?metric=system.program.rejected.runs
Étapes suivantes
- Pour obtenir des exemples de fourniture de tags et d'agrégation de la métrique
Rejectedpour différents pipelines, consultez la page Microservices de métriques CDAP.