Spark 배치 워크로드를 제출할 때 Spark 속성을 설정할 수 있습니다.
예:
gcloud dataproc batches submit spark --properties=spark.checkpoint.compress=true \\ --region=region \\ other args ...
참고:
Spark용 서버리스 Dataproc은 대부분의 Spark 속성을 지원하지만
spark.master=yarn및spark.shuffle.service.enabled와 같은 YARN 관련 및 셔플 관련 Spark 속성은 지원하지 않습니다. Spark 애플리케이션 코드가 YARN 또는 셔플 속성을 설정하면 애플리케이션에 오류가 발생합니다.Compute Engine의 Dataproc 클러스터 속성과 달리 Spark를 위한 서버리스 Dataproc 워크로드 속성에는 'spark:' 프리픽스가 포함되지 않습니다.
커스텀 Spark 속성
Spark를 위한 서버리스 Dataproc는 다음과 같은 커스텀 Spark 속성을 지원합니다.
| 속성 | 기본 | 설명 | 예시 |
|---|---|---|---|
spark.dataproc.driver.disk.size |
코어당 100GiB | 드라이버 노드(SparkContext가 초기화된 드라이버 프로세스)에 사용할 디스크 양이며 크기 단위 서픽스('k', 'm', 'g' 또는 't')로 지정됩니다. | 1,024g, 2t |
spark.dataproc.executor.disk.size |
코어당 100GiB | 실행자 프로세스가 실행되는 실행자 노드에 사용할 디스크 크기로, 크기 단위 서픽스('k', 'm', 'g' 또는 't')로 지정됩니다. | 1,024g, 2t |
spark.dataproc.driverEnv.<EnvironmentVariableName> |
EnvironmentVariableName를 드라이버 프로세스에 추가합니다. 환경 변수를 여러 개 지정할 수 있습니다. |
리소스 할당 속성
서버리스 Dataproc는 Spark 속성을 사용하여 워크로드를 할당하는 컴퓨팅, 메모리, 디스크 리소스를 결정합니다. 이러한 속성 값은 워크로드가 사용하는 할당량과 비용에 영향을 줄 수 있습니다. 서버리스 Dataproc 할당량 및 서버리스 Dataproc 가격 책정을 참조하세요.
| 속성 | 효과 |
|---|---|
spark.driver.cores
|
Spark 드라이버에 할당할 코어(vCPU) 수입니다. 드라이버 메모리는 고정 비율(약 4GB/코어)의 드라이버 코어에 따라 확장되며 현재 독립적으로 제어할 수 없습니다. 기본값: 4. 유효한 값: 4, 8, 16. |
spark.executor.cores
|
각 Spark 실행자에 할당할 코어(vCPU) 수입니다. 실행자 메모리는 실행자 코어가 고정 비율(약 4GB/코어)로 확장되며 현재 독립적으로 제어할 수 없습니다. 기본값: 4. 유효한 값: 4, 8, 16. |
spark.dataproc.driver.disk.size
|
드라이버에 할당할 디스크 공간 크기 200GB 이상이어야 합니다. |
spark.dataproc.executor.disk.size
|
각 실행자에 할당할 디스크 공간 크기 실행자 디스크 공간은 데이터 셔플과 종속 항목을 스테이징하는 데 사용할 수 있습니다. 200GB 이상이어야 합니다. |
spark.executor.instances
|
할당할 초기 실행자 수입니다. 일괄 실행이 시작되면 자동 확장이 활성 실행자 수를 변경할 수 있습니다. 최소 2~최대 100 사이여야 합니다. |
spark.dynamicAllocation.initialExecutors
|
자동 확장에서 요청할 초기 실행자 수입니다. 일괄 실행이 시작되면 자동 확장이 활성 실행자 수를 변경할 수 있습니다. 최소 2~최대 100 사이여야 합니다. |
spark.dynamicAllocation.minExecutors
|
일괄 실행이 축소할 수 있는 최소 실행자 수입니다. 2 이상이어야 합니다. |
spark.dynamicAllocation.maxExecutors
|
일괄 실행이 확장할 수 있는 최대 실행자 수입니다. 1000 이하여야 합니다. |