Spark 자동 확장을 위한 서버리스 Dataproc

Spark 워크로드를 제출하면 Spark를 위한 서버리스 Dataproc가 실행자 수와 같은 워크로드 리소스를 동적으로 확장하여 워크로드를 효율적으로 실행합니다. Dataproc 서버리스 자동 확장은 기본 동작이며 Spark 동적 리소스 할당을 사용하여 워크로드 확장 여부, 방법, 시간을 결정합니다.

Spark 동적 할당 속성

다음 표에서는 자동 확장 제어를 위해 일괄 워크로드를 제출할 때 설정할 수 있는 Spark 동적 할당 속성을 보여줍니다(Spark 속성 설정 방법 참조).

속성 설명
spark.dynamicAllocation.enabled 워크로드에 따라 실행자 수를 늘리거나 줄이는 동적 리소스 할당을 사용할지 여부입니다. 기본 설정은 true(동적 리소스 할당 사용 설정됨)입니다. 값을 false로 설정하면 워크로드에 대해 자동 확장이 사용 중지됩니다. 기본값은 true입니다.
spark.dynamicAllocation.initialExecutors 워크로드에 할당된 초기 실행자 수입니다. 워크로드가 시작된 후 자동 확장에 따라 활성 실행자 수가 변경될 수 있습니다. 최솟값은 2이고 최댓값은 100입니다. 기본값: 2.
spark.dynamicAllocation.minExecutors 워크로드를 축소할 수 있는 최소 실행자 수입니다. 최솟값은 2입니다. 기본값: 2.
spark.dynamicAllocation.maxExecutors 워크로드를 확장할 수 있는 최대 실행자 수입니다. 최댓값은 1000입니다. 기본값: 1,000.
:

측정항목 모니터링

Spark 일괄 워크로드는 Spark 동적 리소스 할당에 따라 측정항목을 생성합니다. 이러한 측정항목을 사용하여 Spark 일괄 워크로드를 모니터링할 수 있습니다. Console의 Dataproc 일괄 페이지에서 일괄 ID를 클릭하여 일괄 세부정보 페이지를 엽니다. 여기에는 모니터링 탭 아래에 일괄 워크로드에 대한 측정항목 그래프가 표시됩니다.