Ein Verfahren zur Ablaufsteuerung in Cloud Data Fusion verhindert, dass Sie zu viele Anfragen senden, was zu hängenden oder fehlgeschlagenen Pipelineausführungen führen kann. Dieser Mechanismus gilt für Startanfragen (Launch) für die folgenden Pipelines und Jobs in allen Versionen von Cloud Data Fusion ab Version 6.6:
- Batchpipelines
- Echtzeitpipelines
- Replikationsjobs
Grenzwerte
Die Ablaufsteuerung stützt sich auf zwei Schwellenwerte, um die Anzahl der ausstehenden Startanfragen in Cloud Data Fusion zu steuern:
- Startgrenzwert
- Schränkt die Anzahl der gestellten Startanfragen ein. Wenn die Anzahl der Startanfragen, die von Cloud Data Fusion empfangen werden und den Status
Runningnoch nicht haben, größer ist als der Startgrenzwert (Anzahl der noch nicht ausgeführten Startanfragen > Startgrenzwert), wird die Anfrage abgelehnt. Die Zahl umfasst Batchpipelines, Echtzeitpipelines und Replikationsjobs. - Ausführungsgrenzwert
- Begrenzt die Anzahl der ausstehenden Startanfragen im System. Wenn die Anzahl der ausstehenden Startanfragen, die noch nicht abgeschlossen wurden, von Cloud Data Fusion empfangen werden und einen bestimmten Ausführungsgrenzwert (Anzahl der ausstehenden Anfragen, die noch nicht abgeschlossen sind) über dem Grenzwert für die Ausführungen liegen, wird die Anfrage abgelehnt.
Abgelehnte Anfragen
Wenn einer der Schwellenwerte erreicht wird, wird jede neue Startanfrage abgelehnt. Eine abgelehnte Batchpipeline hat beispielsweise den Status Rejected in den Logs und in einem Dialogfeld in der UI wird beschrieben, warum der Start abgelehnt wurde.
Messwerte
Die Anzahl der gestarteten und ausgeführten Pipelines sowie die Anzahl der abgelehnten Pipelines im System kann über den Messwertdienst wie folgt abgerufen werden.
Launching-Messwert
Meldet die Anzahl der Startanfragen im System. Das heißt, sie meldet die Anzahl der Startanfragen mit dem Status Provisioning oder Starting.
Messwertname: flowcontrol.launching.count
POST /v3/metrics/query?metric=system.flowcontrol.launching.count
Running-Messwert
Meldet die Anzahl der im System ausgeführten Pipelines und Jobs. Der Ausführungsgrenzwert basiert auf der Summe der Messwerte Launching und Running.
Messwertname: flowcontrol.running.count
POST /v3/metrics/query?metric=system.flowcontrol.running.count
Rejected-Messwert
Meldet die Anzahl der aufgrund des Ablaufsteuerungsmechanismus abgelehnten Ausführungen.
Messwertname: program.rejected.runs
POST /v3/metrics/query?metric=system.program.rejected.runs
Nächste Schritte
- Beispiele für das Bereitstellen von Tags und das Aggregieren des Messwerts
Rejectedfür verschiedene Pipelines finden Sie unter CDAP Metrics Microservices.