Cloud Data Fusion 흐름 제어 개요

Cloud Data Fusion의 흐름 제어 메커니즘은 너무 많은 요청을 제출하지 못하도록 막아 파이프라인 실행이 중단되거나 실패할 수 있습니다. 이 메커니즘은 모든 버전의 Cloud Data Fusion 버전 6.6 이상에서 다음 파이프라인 및 작업에 대한 시작(Launch) 요청에 적용됩니다.

  • 일괄 파이프라인
  • 실시간 파이프라인
  • 복제 작업

기준

Cloud Data Fusion에서 미해결 시작 요청 수를 제어하기 위해 흐름 제어는 2가지 기준을 사용합니다.

실행 기준
실행 요청 수를 제한합니다. 아직 Running 상태가 아닌 Cloud Data Fusion에서 수신한 실행 요청 수가 실행 임곗값(아직 실행되지 않는 실행 요청 수 > 실행 임곗값)보다 큰 경우 요청이 거부됩니다. 이 수치에는 일괄 파이프라인, 실시간 파이프라인, 복제 작업이 포함됩니다.
실행 임곗값
시스템에서 미해결 실행 요청 수를 제한합니다. 아직 완료되지 않은 Cloud Data Fusion에서 수신한 미실행 요청 수가 지정된 실행 임곗값(아직 완료되지 않은 미실행 요청 수 > 실행 임곗값)보다 큰 경우 요청이 거부됩니다.

거부된 요청

두 임곗값 중 하나가 충족되면 모든 새 시작 요청이 거부됩니다. 예를 들어 거부된 일괄 파이프라인은 로그에서 Rejected 상태를 가지며 UI의 대화상자는 실행이 거부된 이유를 설명합니다.

측정항목

시스템에서 거부된 파이프라인 수와 함께 실행 및 실행 중인 파이프라인 수는 다음과 같이 측정항목 서비스를 통해 액세스할 수 있습니다.

Launching 측정항목

시스템에서 실행 요청 수를 보고합니다. 즉, Provisioning 또는 Starting 상태인 실행 요청 수를 보고합니다.

측정항목 이름: flowcontrol.launching.count

POST /v3/metrics/query?metric=system.flowcontrol.launching.count

Running 측정항목

시스템에서 실행 중인 파이프라인 및 작업 수를 보고합니다. 실행 임곗값은 LaunchingRunning 측정항목 값의 합계를 기반으로 합니다.

측정항목 이름: flowcontrol.running.count

POST /v3/metrics/query?metric=system.flowcontrol.running.count

Rejected 측정항목

흐름 제어 메커니즘으로 인해 거부된 실행 수를 보고합니다.

측정항목 이름: program.rejected.runs

POST /v3/metrics/query?metric=system.program.rejected.runs

다음 단계