스트리밍 파이프라인을 위한 수평 자동 확장 조정

입력 데이터가 많은 스트리밍 파이프라인에서는 일반적으로 비용과 지연 시간 간에 상충 관계가 있습니다. 짧은 지연 시간을 유지하려면 Dataflow에서 트래픽 볼륨 증가에 따라 작업자를 추가해야 합니다. 또 다른 요소는 파이프라인이 입력 데이터 속도 변화에 따라 빠르게 수직 확장되거나 축소되어야 합니다.

Dataflow 자동 확장 처리에는 많은 워크로드에 적합한 기본 설정이 있습니다. 하지만 특정 시나리오에 맞게 이 동작을 조정할 수 있습니다. 예를 들어 비용 절감을 위해 좀 더 긴 평균 지연 시간을 허용하거나 트래픽 급증에 대응하여 Dataflow가 더 빠르게 수직 확장하도록 할 수 있습니다.

수평 자동 확장을 최적화하려면 다음 매개변수를 조정하면 됩니다.

자동 확장 범위: 할당할 최소 및 최대 작업자 수입니다.
작업자 사용률 힌트: 작업자의 대상 CPU 사용률입니다.

자동 확장 범위 설정

새 스트리밍 작업을 만들 때 초기 작업자 수와 최대 작업자 수를 설정할 수 있습니다. 이렇게 하려면 다음 파이프라인 옵션을 지정합니다.

자바

--numWorkers: 파이프라인 실행이 시작될 때 사용할 수 있는 초기 작업자 수
--maxNumWorkers: 파이프라인에 사용할 수 있는 최대 작업자 수

Python

--num_workers: 파이프라인 실행이 시작될 때 사용할 수 있는 초기 작업자 수
--max_num_workers: 파이프라인에 사용할 수 있는 최대 작업자 수

Go

--num_workers: 파이프라인 실행이 시작될 때 사용할 수 있는 초기 작업자 수
--max_num_workers: 파이프라인에 사용할 수 있는 최대 작업자 수

Streaming Engine을 사용하는 스트리밍 작업의 경우 --maxNumWorkers 플래그는 선택 사항입니다. 기본값은 100입니다. Streaming Engine을 사용하지 않는 스트리밍 작업의 경우 수평 자동 확장이 사용 설정되면 --maxNumWorkers가 필요합니다.

--maxNumWorkers의 시작 값은 작업에 할당되는 Persistent Disk 수도 결정합니다. 파이프라인은 --maxNumWorkers와 같은 수로 영구 디스크의 고정 풀과 함께 배포됩니다. 스트리밍 중에 각 작업자에게 동일한 수의 연결된 디스크가 할당되도록 영구 디스크가 재분배됩니다.

--maxNumWorkers를 설정한 경우 값이 파이프라인에 충분한 디스크를 제공하는지 확인합니다. 초기 값을 설정할 때는 향후 증가를 고려하세요. Persistent Disk 성능은 Persistent Disk 및 VM 구성을 참조하세요. Dataflow는 영구 디스크 사용량에 따라 요금을 청구하며 영구 디스크 할당량을 비롯한 Compute Engine 할당량을 적용합니다.

기본적으로 최소 작업자 수는 Streaming Engine을 사용하는 스트리밍 작업의 경우 1이고 Streaming Engine을 사용하지 않는 작업의 경우 반올림된 (maxNumWorkers/15)입니다.

자동 확장 범위 업데이트

Streaming Engine을 사용하는 작업의 경우 작업을 중지하거나 대체하지 않고도 최소 및 최대 작업자 수를 조정할 수 있습니다. 이러한 값을 조정하려면 진행 중인 작업 업데이트를 사용합니다. 다음 작업 옵션을 업데이트합니다.

--min-num-workers: 최소 작업자 수입니다.
--max-num-workers: 최대 작업자 수입니다.

gcloud

gcloud dataflow jobs update-options 명령어를 사용합니다.

gcloud dataflow jobs update-options \
  --region=REGION \
  --min-num-workers=MINIMUM_WORKERS \
  --max-num-workers=MAXIMUM_WORKERS \
  JOB_ID

다음을 바꿉니다.

REGION: 작업 리전 엔드포인트의 리전 ID
MINIMUM_WORKERS: 최소 Compute Engine 인스턴스 수
MAXIMUM_WORKERS: 최대 Compute Engine 인스턴스 수
JOB_ID: 업데이트할 작업의 ID

--min-num-workers 및 --max-num-workers를 개별적으로 업데이트할 수도 있습니다.

REST

projects.locations.jobs.update 메서드를 사용합니다.

PUT https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID?updateMask=runtime_updatable_params.max_num_workers,runtime_updatable_params.min_num_workers
{
  "runtime_updatable_params": {
    "min_num_workers": MINIMUM_WORKERS,
    "max_num_workers": MAXIMUM_WORKERS
  }
}

다음을 바꿉니다.

PROJECT_ID: Dataflow 작업의 Google Cloud 프로젝트 ID입니다.
REGION: 작업 리전 엔드포인트의 리전 ID
JOB_ID: 업데이트할 작업의 ID
MINIMUM_WORKERS: 최소 Compute Engine 인스턴스 수
MAXIMUM_WORKERS: 최대 Compute Engine 인스턴스 수

min_num_workers 및 max_num_workers를 개별적으로 업데이트할 수도 있습니다. updateMask 쿼리 매개변수에서 업데이트할 매개변수를 지정하고 요청 본문의 runtimeUpdatableParams 필드에 업데이트된 값을 포함합니다. 다음 예시는 min_num_workers를 업데이트합니다.

PUT https://dataflow.googleapis.com/v1b3/projects/my_project/locations/us-central1/jobs/job1?updateMask=runtime_updatable_params.min_num_workers
{
  "runtime_updatable_params": {
    "min_num_workers": 5
  }
}

Streaming Engine을 사용하지 않는 작업의 경우 maxNumWorkers의 업데이트된 값으로 기존 작업을 바꿀 수 있습니다.

Streaming Engine을 사용하지 않는 스트리밍 작업을 업데이트하면 기본적으로 수평 자동 확장이 업데이트된 작업에서 중지됩니다. 자동 확장을 사용 설정된 상태로 유지하려면 업데이트된 작업에 --autoscalingAlgorithm 및 --maxNumWorkers를 지정합니다.

작업자 사용률 힌트 설정

Dataflow는 평균 CPU 사용률을 수평 자동 확장을 적용할 시기에 대한 신호로 사용합니다. 기본적으로 Dataflow는 대상 CPU 사용률을 0.8로 설정합니다. 사용률이 이 범위를 벗어나면 Dataflow에서 작업자를 추가하거나 삭제할 수 있습니다.

자동 확장 동작을 보다 세부적으로 제어하려면 대상 CPU 사용률을 [0.1, 0.9] 범위 이내 값으로 설정하면 됩니다.

최대 지연 시간을 줄이려면 CPU 사용률 값을 낮게 설정합니다. 값이 낮을수록 Dataflow가 작업자 사용률 증가에 대응하여 더 적극적으로 수평 확장하고 안정성이 향상되도록 더 보수적으로 축소할 수 있습니다. 또한 값이 낮을수록 파이프라인이 안정적인 상태에서 실행될 때 더 많은 여유 공간을 제공하므로 일반적으로 꼬리 지연 시간이 짧아집니다. 꼬리 지연 시간은 새 레코드가 처리되기 전 가장 긴 대기 시간을 측정합니다.
리소스를 절약하고 트래픽이 급증할 때 비용을 낮추려면 더 높은 값을 설정합니다. 값이 클수록 과도한 확장이 방지되지만 지연 시간이 길어집니다.

비템플릿 작업을 실행할 때 사용률 힌트를 구성하려면 worker_utilization_hint 서비스 옵션을 설정합니다. 템플릿 작업의 경우 서비스 옵션이 지원되지 않으므로 대신 사용률 힌트를 업데이트합니다.

다음 예시에서는 worker_utilization_hint를 사용하는 방법을 보여줍니다.

자바

--dataflowServiceOptions=worker_utilization_hint=TARGET_UTILIZATION

TARGET_UTILIZATION을 [0.1, 0.9] 범위 이내 값으로 바꿉니다.

Python

--dataflow_service_options=worker_utilization_hint=TARGET_UTILIZATION

TARGET_UTILIZATION을 [0.1, 0.9] 범위 이내 값으로 바꿉니다.

Go

--dataflow_service_options=worker_utilization_hint=TARGET_UTILIZATION

TARGET_UTILIZATION을 [0.1, 0.9] 범위 이내 값으로 바꿉니다.

새 파이프라인의 경우 기본 설정을 사용하여 실제 부하에서 테스트하는 것이 좋습니다. 그런 다음 파이프라인에 적용되는 자동 확장 동작을 평가하고 필요에 따라 조정합니다.

사용률 힌트는 Dataflow에서 작업자 확장 여부를 결정할 때 사용하는 한 가지 요소에 불과합니다. 백로그 및 사용 가능한 키와 같은 다른 요소에서 힌트 값을 재정의할 수 있습니다. 또한 힌트는 엄격한 대상이 아닙니다. 자동 확장 처리는 힌트 값 범위 내에서 CPU 사용률을 유지하려고 하지만 집계된 사용률 측정항목이 더 높거나 낮을 수 있습니다. 자세한 내용은 스트리밍 자동 확장 휴리스틱을 참조하세요.

사용률 힌트 업데이트

작업이 실행되는 동안 사용률 힌트를 업데이트하려면 다음과 같이 진행 중인 업데이트를 수행합니다.

gcloud

gcloud dataflow jobs update-options 명령어를 사용합니다.

gcloud dataflow jobs update-options \
  --region=REGION \
  --worker-utilization-hint=TARGET_UTILIZATION \
  JOB_ID

다음을 바꿉니다.

REGION: 작업 리전 엔드포인트의 리전 ID
JOB_ID: 업데이트할 작업의 ID
TARGET_UTILIZATION: [0.1, 0.9] 범위 이내 값

사용률 힌트를 기본값으로 재설정하려면 다음 gcloud 명령어를 사용합니다.

gcloud dataflow jobs update-options \
  --unset-worker-utilization-hint \
  --region=REGION \
  --project=PROJECT_ID \
  JOB_ID

REST

projects.locations.jobs.update 메서드를 사용합니다.

PUT https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION/jobs/JOB_ID?updateMask=runtime_updatable_params.worker_utilization_hint
{
  "runtime_updatable_params": {
    "worker_utilization_hint": TARGET_UTILIZATION
  }
}

다음을 바꿉니다.

PROJECT_ID: Dataflow 작업의 Google Cloud 프로젝트 ID입니다.
REGION: 작업의 리전 엔드포인트의 리전 ID입니다.
JOB_ID: 업데이트할 작업의 ID입니다.
TARGET_UTILIZATION: [0.1, 0.9] 범위 이내 값

스트리밍 자동 확장 휴리스틱

스트리밍 파이프라인에서 수평 자동 확장의 목표는 작업자 사용률과 처리량을 극대화하면서 백로그를 최소화하고 부하 급증에 빠르게 대처하는 것입니다.

Dataflow는 자동 확장 시 다음과 같은 여러 요소를 고려합니다.

백로그. 예상 백로그 시간은 입력 소스에서 계속 처리할 처리량과 백로그 바이트에서 계산됩니다. 예상 백로그 시간이 15초를 초과하면 파이프라인은 백로그된 것으로 간주됩니다.
대상 CPU 사용률. 평균 CPU 사용률의 기본 목표는 0.8입니다. 이 값을 재정의할 수 있습니다.
사용 가능한 키. 키는 Dataflow의 동시 로드 기본 단위입니다.

경우에 따라 Dataflow에서 자동 확장 결정에 다음 요소를 사용합니다. 이러한 요소가 작업에 사용되는 경우 자동 확장 측정항목 탭에서 해당 정보를 확인할 수 있습니다.

한 작업자만 한 번에 각 키를 처리할 수 있으므로 키 기반 제한은 작업에서 수신한 처리 키 수를 사용하여 사용자 작업자의 간격을 계산합니다.
축소 감쇠. Dataflow에서 불안정한 자동 확장 결정 발생을 감지하면 안정성 향상을 위해 축소 속도가 느려집니다.
CPU 기반 확장은 확장 기준으로 높은 CPU 사용률을 사용합니다.
Streaming Engine을 사용하지 않는 스트리밍 작업의 경우 확장이 Persistent Disk 수에 따라 제한될 수 있습니다. 자세한 내용은 자동 확장 범위 설정을 참조하세요.

확장. 스트리밍 파이프라인이 몇 분 동안 작업자에서 충분한 동시 로드로 백로그되면 Dataflow는 확장됩니다. Dataflow는 현재 작업자 당 처리량을 고려하여 확장 후 약 150초 이내에 백로그를 지우려고 합니다. 백로그가 있지만 작업자에 추가 작업자를 위한 동시 로드가 부족하면 파이프라인은 수직 확장되지 않습니다. 동시 로드 처리에 사용할 수 있는 키 수 이상으로 작업자 수를 확장해도 백로그가 더 빠르게 처리되지 않습니다.

축소. 자동 확장 처리가 축소를 결정할 때는 백로그가 우선순위가 가장 높은 요소입니다. 자동 확장 처리는 15초 미만의 백로그를 목표로 합니다. 백로그가 10초 미만으로 저하되고 평균 작업자 사용률이 CPU 사용률 목표 미만이면 Dataflow가 축소됩니다. 백로그가 허용되는 한 자동 확장 처리는 CPU 사용률을 대상 CPU 사용률과 가깝게 유지하려고 합니다. 하지만 사용률이 이미 목표에 충분히 가까운 경우 각 축소 단계에서 비용이 발생하므로 자동 확장 처리에서 작업자 수를 변경하지 않을 수 있습니다.

또한 Streaming Engine은 타이머 백로그를 기반으로 하는 예측 자동 확장 기술을 사용합니다. 스트리밍 파이프라인의 바인딩되지 않은 데이터는 타임스탬프별로 그룹화된 기간으로 나뉩니다. 기간 끝에서 타이머가 해당 기간에서 처리되는 키마다 실행됩니다. 타이머 실행은 지정된 키 기간이 만료되었음을 나타냅니다. Streaming Engine은 타이머 백로그를 측정하고 기간 끝에서 실행될 타이머 수를 예측할 수 있습니다. 타이머 백로그를 신호로 사용하면 Dataflow에서 향후 타이머가 실행될 때 필요한 처리량을 예측할 수 있습니다. Dataflow는 예상 향후 로드를 기준으로 예상되는 수요에 맞게 미리 자동 확장됩니다.

측정항목

작업의 현재 자동 확장 한도를 찾으려면 다음 측정항목을 쿼리합니다.

job/max_worker_instances_limit: 최대 작업자 수
job/min_worker_instances_limit: 최소 작업자 수

작업자 사용률에 대한 정보를 가져오려면 다음 측정항목을 쿼리합니다.

job/aggregated_worker_utilization: 집계된 작업자 사용률입니다.
job/worker_utilization_hint: 현재 작업자 사용률 힌트입니다.

자동 확장 처리 동작에 대한 통계를 가져오려면 다음 측정항목을 쿼리합니다.

job.worker_utilization_hint_is_actively_used: 자동 확장 처리가 작업자 사용률 힌트를 적극적으로 사용하고 있는지 여부를 나타냅니다. 이 측정항목이 샘플링될 때 다른 요소에서 힌트를 재정의하면 값은 false입니다.
job/horizontal_worker_scaling: 자동 확장 처리에서 내린 결정을 설명합니다. 이 측정항목에는 다음 라벨이 포함됩니다.
- direction: 자동 확장 처리가 수직 확장 또는 축소되거나 조치를 취하지 않았는지 여부를 지정합니다.
- rationale: 자동 확장 처리 결정의 근거를 지정합니다.

자세한 내용은 Cloud Monitoring 측정항목을 참조하세요. 이러한 측정항목은 자동 확장 모니터링 차트에도 표시됩니다.

스트리밍 파이프라인을 위한 수평 자동 확장 조정

자동 확장 범위 설정

자바

Python

Go

자동 확장 범위 업데이트

gcloud

REST

작업자 사용률 힌트 설정

자바

Python

Go

사용률 힌트 업데이트

gcloud

REST

스트리밍 자동 확장 휴리스틱

측정항목

다음 단계