Spark 속성

Spark 배치 워크로드를 제출할 때 Spark 속성을 설정할 수 있습니다.

예:

gcloud dataproc batches submit spark
    --properties=spark.checkpoint.compress=true \\
    --region=region \\
    other args ...

참고:

  • Spark용 서버리스 Dataproc은 대부분의 Spark 속성을 지원하지만 spark.master=yarnspark.shuffle.service.enabled와 같은 YARN 관련 및 셔플 관련 Spark 속성은 지원하지 않습니다. Spark 애플리케이션 코드가 YARN 또는 셔플 속성을 설정하면 애플리케이션에 오류가 발생합니다.

  • Compute Engine의 Dataproc 클러스터 속성과 달리 Spark를 위한 서버리스 Dataproc 워크로드 속성에는 'spark:' 프리픽스가 포함되지 않습니다.

  • Spark를 위한 서버리스 Dataproc 자동 확장은 Spark 리소스 할당 속성에 의해 제어됩니다.

커스텀 Spark 속성

Spark를 위한 서버리스 Dataproc는 다음과 같은 커스텀 Spark 속성을 지원합니다.

속성 기본 설명 예시
spark.dataproc.driver.disk.size 코어당 100GiB 드라이버 노드(SparkContext가 초기화된 드라이버 프로세스)에 사용할 디스크 양이며 크기 단위 서픽스('k', 'm', 'g' 또는 't')로 지정됩니다. 1,024g, 2t
spark.dataproc.executor.disk.size 코어당 100GiB 실행자 프로세스가 실행되는 실행자 노드에 사용할 디스크 크기로, 크기 단위 서픽스('k', 'm', 'g' 또는 't')로 지정됩니다. 1,024g, 2t
spark.dataproc.driverEnv.<EnvironmentVariableName> EnvironmentVariableName를 드라이버 프로세스에 추가합니다. 환경 변수를 여러 개 지정할 수 있습니다.

리소스 할당 속성

서버리스 Dataproc는 Spark 속성을 사용하여 워크로드를 할당하는 컴퓨팅, 메모리, 디스크 리소스를 결정합니다. 이러한 속성 값은 워크로드가 사용하는 할당량과 비용에 영향을 줄 수 있습니다. 서버리스 Dataproc 할당량서버리스 Dataproc 가격 책정을 참조하세요.

속성 효과
spark.driver.cores Spark 드라이버에 할당할 코어(vCPU) 수입니다. 드라이버 메모리는 고정 비율(약 4GB/코어)의 드라이버 코어에 따라 확장되며 현재 독립적으로 제어할 수 없습니다. 기본값: 4. 유효한 값: 4, 8, 16.
spark.executor.cores 각 Spark 실행자에 할당할 코어(vCPU) 수입니다. 실행자 메모리는 실행자 코어가 고정 비율(약 4GB/코어)로 확장되며 현재 독립적으로 제어할 수 없습니다. 기본값: 4. 유효한 값: 4, 8, 16.
spark.dataproc.driver.disk.size 드라이버에 할당할 디스크 공간 크기 200GB 이상이어야 합니다.
spark.dataproc.executor.disk.size 각 실행자에 할당할 디스크 공간 크기 실행자 디스크 공간은 데이터 셔플과 종속 항목을 스테이징하는 데 사용할 수 있습니다. 200GB 이상이어야 합니다.
spark.executor.instances 할당할 초기 실행자 수입니다. 일괄 실행이 시작되면 자동 확장이 활성 실행자 수를 변경할 수 있습니다. 최소 2~최대 100 사이여야 합니다.
spark.dynamicAllocation.initialExecutors 자동 확장에서 요청할 초기 실행자 수입니다. 일괄 실행이 시작되면 자동 확장이 활성 실행자 수를 변경할 수 있습니다. 최소 2~최대 100 사이여야 합니다.
spark.dynamicAllocation.minExecutors 일괄 실행이 축소할 수 있는 최소 실행자 수입니다. 2 이상이어야 합니다.
spark.dynamicAllocation.maxExecutors 일괄 실행이 확장할 수 있는 최대 실행자 수입니다. 1000 이하여야 합니다.