Cloud Data Fusion의 흐름 제어 메커니즘은 너무 많은 요청을 제출하지 못하도록 하여 파이프라인 실행 중단 또는 실패를 초래할 수 있습니다. 이 메커니즘은 Cloud Data Fusion 버전 6.6 이상의 모든 버전에서 다음 파이프라인과 작업에 대한 시작(Launch) 요청에 적용됩니다.
일괄 파이프라인
실시간 파이프라인
복제 작업
기준
Cloud Data Fusion에서 미해결 시작 요청 수를 제어하기 위해 흐름 제어는 2가지 기준을 사용합니다.
출시 기준
실행되는 출시 요청 수를 제한합니다. 아직 Running 상태가 아닌 Cloud Data Fusion에서 수신한 실행 요청 수가 출시 임곗값(아직 실행되지 않은 출시 요청 수 > 출시 임곗값)보다 큰 경우 요청이 거부됩니다. 이 숫자에는 일괄 파이프라인, 실시간 파이프라인, 복제 작업이 포함됩니다.
실행 임곗값
시스템에서 미해결 실행 요청 수를 제한합니다. 아직 완료되지 않은 Cloud Data Fusion에서 수신한 미실행 요청 수가 지정된 실행 임곗값(아직 완료되지 않은 미실행 요청 수 > 실행 임곗값)보다 큰 경우 요청이 거부됩니다.
거부된 요청
임계값 중 하나가 충족되면 모든 새 시작 요청이 거부됩니다. 예를 들어 거부된 일괄 파이프라인은 로그에 Rejected 상태로 표시되고, UI의 대화상자에는 출시가 거부된 이유를 설명합니다.
측정항목
출시 및 실행 중인 파이프라인 수와 시스템에서 거부된 파이프라인 수는 다음과 같이 측정항목 서비스를 통해 액세스할 수 있습니다.
Launching 측정항목
시스템에서 출시된 요청 수를 보고합니다. 즉, Provisioning 또는 Starting 상태의 출시 요청 수를 보고합니다.
측정항목 이름: flowcontrol.launching.count
POST /v3/metrics/query?metric=system.flowcontrol.launching.count
Running 측정항목
시스템에서 실행 중인 파이프라인 및 작업의 수를 보고합니다. 실행 기준은 Launching 및 Running 측정항목 값의 합계를 기반으로 합니다.
측정항목 이름: flowcontrol.running.count
POST /v3/metrics/query?metric=system.flowcontrol.running.count
Rejected 측정항목
흐름 제어 메커니즘으로 인해 거부된 실행 수를 보고합니다.
측정항목 이름: program.rejected.runs
POST /v3/metrics/query?metric=system.program.rejected.runs
다음 단계
태그를 제공하고 여러 파이프라인의 Rejected 측정항목을 집계하는 예시는 CDAP 측정항목 마이크로서비스를 참조하세요.
[[["이해하기 쉬움","easyToUnderstand","thumb-up"],["문제가 해결됨","solvedMyProblem","thumb-up"],["기타","otherUp","thumb-up"]],[["이해하기 어려움","hardToUnderstand","thumb-down"],["잘못된 정보 또는 샘플 코드","incorrectInformationOrSampleCode","thumb-down"],["필요한 정보/샘플이 없음","missingTheInformationSamplesINeed","thumb-down"],["번역 문제","translationIssue","thumb-down"],["기타","otherDown","thumb-down"]],["최종 업데이트: 2025-09-04(UTC)"],[[["\u003cp\u003eCloud Data Fusion employs a flow control mechanism to prevent an excess of start requests, which could lead to pipeline issues.\u003c/p\u003e\n"],["\u003cp\u003eThe flow control mechanism uses a launch threshold that limits the number of launch requests not yet in the "Running" state and a runs threshold that limits the number of outstanding requests not yet finished.\u003c/p\u003e\n"],["\u003cp\u003eWhen either the launch or runs threshold is exceeded, new start requests will be rejected, and the rejection will be noted in the logs and displayed in the UI.\u003c/p\u003e\n"],["\u003cp\u003eMetrics are available to monitor the number of launching requests (\u003ccode\u003eflowcontrol.launching.count\u003c/code\u003e), running pipelines and jobs (\u003ccode\u003eflowcontrol.running.count\u003c/code\u003e), and rejected runs (\u003ccode\u003eprogram.rejected.runs\u003c/code\u003e).\u003c/p\u003e\n"]]],[],null,["# Cloud Data Fusion flow control overview\n\nA flow control mechanism in Cloud Data Fusion prevents you from submitting\ntoo many requests, which can cause stuck or failed pipeline runs. This mechanism\napplies to start (`Launch`) requests for the following pipelines and jobs in all\neditions of Cloud Data Fusion, versions 6.6 and later:\n\n- Batch pipelines\n- Real-time pipelines\n- Replication jobs\n\nThresholds\n----------\n\nTo control the number of outstanding start requests in Cloud Data Fusion,\nflow control relies on two thresholds:\n\nLaunch threshold\n: Limits the number of launch requests being made. If the\n number of launch requests received by Cloud Data Fusion that are not yet in\n `Running` state is greater than the launch threshold (number of launch requests\n that aren't running yet \\\u003e launch threshold), the request is rejected. The\n number includes batch pipelines, real-time pipelines, and\n replication jobs.\n\nRuns threshold\n: Limits the number of outstanding launch requests in\n the system. If the number of outstanding launch requests received by\n Cloud Data Fusion that have not yet finished is greater than a specified\n runs threshold (number of outstanding requests that aren't finished yet \\\u003e runs\n threshold), the request is rejected.\n\nRejected requests\n-----------------\n\nIf either threshold is met, every new start request gets rejected. For example,\na rejected batch pipeline has a `Rejected` status in the logs, and a dialog in\nthe UI describes why the launch was rejected.\n\nMetrics\n-------\n\nThe number of launching and running pipelines along with the number of rejected\npipelines in the system can be accessed through the metrics service as follows.\n\n### `Launching` metric\n\nReports the number of launching requests in the system. That is, it reports the\nnumber of launch requests that are in `Provisioning` or `Starting` states.\n\nMetrics name: `flowcontrol.launching.count` \n\n POST /v3/metrics/query?metric=system.flowcontrol.launching.count\n\n### `Running` metric\n\nReports the number of running pipelines and jobs in the system. The run\nthreshold is based on the sum of the `Launching` and `Running` metrics values.\n\nMetrics name: `flowcontrol.running.count` \n\n POST /v3/metrics/query?metric=system.flowcontrol.running.count\n\n### `Rejected` metric\n\nReports the number of rejected runs due to the flow control mechanism.\n\nMetrics name: `program.rejected.runs` \n\n POST /v3/metrics/query?metric=system.program.rejected.runs\n\nWhat's next\n-----------\n\n- For examples of providing tags and aggregating the `Rejected` metric for different pipelines, see [CDAP Metrics Microservices](https://cdap.atlassian.net/wiki/spaces/DOCS/pages/477692194/Metrics+Microservices#Querying-a-Metric)."]]
