Cloud Data Fusion 흐름 제어 개요

Cloud Data Fusion의 흐름 제어 메커니즘은 너무 많은 요청을 제출하지 못하도록 하여 파이프라인 실행 중단 또는 실패를 초래할 수 있습니다. 이 메커니즘은 Cloud Data Fusion 버전 6.6 이상의 모든 버전에서 다음 파이프라인과 작업에 대한 시작(Launch) 요청에 적용됩니다.

  • 일괄 파이프라인
  • 실시간 파이프라인
  • 복제 작업

기준

Cloud Data Fusion에서 미해결 시작 요청 수를 제어하기 위해 흐름 제어는 2가지 기준을 사용합니다.

출시 기준
실행되는 출시 요청 수를 제한합니다. 아직 Running 상태가 아닌 Cloud Data Fusion에서 수신한 실행 요청 수가 출시 임곗값(아직 실행되지 않은 출시 요청 수 > 출시 임곗값)보다 큰 경우 요청이 거부됩니다. 이 숫자에는 일괄 파이프라인, 실시간 파이프라인, 복제 작업이 포함됩니다.
실행 임곗값
시스템에서 미해결 실행 요청 수를 제한합니다. 아직 완료되지 않은 Cloud Data Fusion에서 수신한 미실행 요청 수가 지정된 실행 임곗값(아직 완료되지 않은 미실행 요청 수 > 실행 임곗값)보다 큰 경우 요청이 거부됩니다.

거부된 요청

임계값 중 하나가 충족되면 모든 새 시작 요청이 거부됩니다. 예를 들어 거부된 일괄 파이프라인은 로그에 Rejected 상태로 표시되고, UI의 대화상자에는 출시가 거부된 이유를 설명합니다.

측정항목

출시 및 실행 중인 파이프라인 수와 시스템에서 거부된 파이프라인 수는 다음과 같이 측정항목 서비스를 통해 액세스할 수 있습니다.

Launching 측정항목

시스템에서 출시된 요청 수를 보고합니다. 즉, Provisioning 또는 Starting 상태의 출시 요청 수를 보고합니다.

측정항목 이름: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running 측정항목

시스템에서 실행 중인 파이프라인 및 작업의 수를 보고합니다. 실행 기준은 Launching 및 Running 측정항목 값의 합계를 기반으로 합니다.

측정항목 이름: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected 측정항목

흐름 제어 메커니즘으로 인해 거부된 실행 수를 보고합니다.

측정항목 이름: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

다음 단계