Cloud Data Fusion-Ablaufsteuerung – Übersicht

Ein Flusssteuerungsmechanismus in Cloud Data Fusion verhindert, dass Sie zu viele Anfragen senden, was zu blockierten oder fehlgeschlagenen Pipelineausführungen führen kann. Dieser Mechanismus gilt für Startanfragen (Launch) für die folgenden Pipelines und Jobs in allen Versionen von Cloud Data Fusion, Versionen 6.6 und höher:

• Batchpipelines
• Echtzeitpipelines
• Replikationsjobs

Grenzwerte

Um die Anzahl der ausstehenden Startanfragen in Cloud Data Fusion zu steuern, basiert die Ablaufsteuerung auf zwei Grenzwerten:

Startschwellenwert

Begrenzt die Anzahl der Startanfragen. Wenn die Anzahl der von Cloud Data Fusion erhaltenen Startanfragen, die noch nicht in Der Status „Running“ liegt über dem Startgrenzwert (Anzahl der Startanfragen) die noch nicht geschaltet werden > Startschwelle), wird die Anfrage abgelehnt. Diese Zahl umfasst Batch-Pipelines, Echtzeit-Pipelines und Replikationsjobs.

Grenzwert für Ausführungen

Begrenzt die Anzahl der ausstehenden Startanfragen im System. Wenn die Anzahl der ausstehenden Anfragen Die noch nicht abgeschlossene Cloud Data Fusion ist größer als ein angegebenes Ausführungsgrenzwert (Anzahl der ausstehenden Anfragen, die noch nicht abgeschlossen sind > Ausführungen) Grenzwert), wird die Anfrage abgelehnt.

Abgelehnte Anfragen

Wird einer der beiden Schwellenwerte erreicht, wird jede neue Startanfrage abgelehnt. Beispiel: hat eine abgelehnte Batchpipeline den Status Rejected in den Logs und ein Dialogfeld im In der Benutzeroberfläche wird beschrieben, warum die Einführung abgelehnt wurde.

Messwerte

Die Anzahl der gestarteten und ausgeführten Pipelines sowie die Anzahl der abgelehnten Pipelines Pipelines im System können wie folgt über den Messwertdienst aufgerufen werden.

Launching-Messwert

Meldet die Anzahl der Startanfragen im System. Das heißt, sie meldet die Anzahl der Startanfragen im Status Provisioning oder Starting.

Name des Messwerts: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running-Messwert

Meldet die Anzahl der ausgeführten Pipelines und Jobs im System. Lauftraining Der Schwellenwert basiert auf der Summe der Messwerte Launching und Running.

Name des Messwerts: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected-Messwert

Gibt die Anzahl der aufgrund des Ablaufsteuerungsmechanismus abgelehnten Ausführungen an.

Name des Messwerts: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

Nächste Schritte

• Beispiele für das Bereitstellen von Tags und das Aggregieren des Messwerts Rejected für verschiedene Pipelines finden Sie unter CDAP-Messwert-Mikrodienste.