Apache Spark용 서버리스는 고객이 성능 요구사항과 기능 액세스를 최적의 비용으로 조정할 수 있도록 두 등급(표준 등급 및 프리미엄(고성능) 등급)을 제공합니다.
프리미엄 등급 혜택
프리미엄 등급은 추가 기능과 기능으로 표준 등급과 차별화됩니다. 프리미엄 등급은 복잡하거나 지연 시간에 민감한 워크로드에 필요한 고급 쿼리 가속, 가속화된 컴퓨팅, 디스크, 메모리를 제공합니다.
프리미엄 등급 기능
다음 표에서는 Apache Spark용 서버리스 전용 프리미엄 등급 기능과 기능을 강조합니다.
| 기능 | 표준 | 프리미엄 |
|---|---|---|
| Lightning Engine (쿼리 가속화) |  |
(기본값: 대화형 세션을 제외하고 사용 설정됨) |
| 대화형 워크로드 (세션) | |
(기본값: 사용 설정됨) |
| 셔플 집약적 작업 (프리미엄 디스크) | |
(기본값: 사용 중지됨) |
| 메모리 집약적 작업 (확장 메모리) | |
(기본값: 사용 중지됨) |
| GPU 지원 | |
(기본값: 사용 중지됨) |
| 일괄 워크로드 | ||
| 자동 확장 | ||
| 서버리스 Spark UI | ||
| 계보, 보안 및 규정 준수 (VPC-SC, CMEK) |
프리미엄 등급 일괄 워크로드 및 세션
다음 워크로드 및 세션에는 프리미엄 등급이 필요합니다.
- Lightning Engine: 프리미엄 등급에서만 사용할 수 있는 Lightning Engine은 최적화된 쿼리 실행을 통해 Spark 성능을 가속화하는 중요한 기능입니다.
dataproc.tier속성을premium로 설정하여 배치 워크로드의 프리미엄 등급을 선택하면 기본적으로 사용 설정됩니다. - 대화형 세션: 대화형 세션은 자동으로 가치가 높은 프리미엄 기능으로 취급됩니다. Dataproc 세션 API를 통해 시작되며 프리미엄 DCU 요금으로 청구되어 지연 시간이 짧은 상호작용 및 상태 관리와 같은 기능을 제공합니다. 대화형 세션의 경우
spark.dataproc.engine속성을lightningEngine로 설정하여 Lightning Engine을 사용 설정합니다. - GPU 지원: GPU 지원은 프리미엄 등급에서만 제공됩니다. 기본적으로 중지됩니다. 구성 플래그를 통해 사용 설정합니다. GPU 지원은 특수 인프라를 사용하며 추가 컴퓨팅 비용 없이 프리미엄 DCU 요금이 적용됩니다.
예측 가능한 프리미엄 등급 가격 책정 모델
프리미엄 등급은 핵심 기능에 대해 간소화된 포괄적인 가격 책정 모델을 사용합니다. 프리미엄 DCU 요금은 Lightning Engine, 확장 메모리, 셔플 집약적인 작업에 필요한 특수 인프라와 같은 고가치 기능에 대한 액세스를 포함합니다. 구성 플래그를 통해 이러한 기능을 사용 설정하면 기본 프리미엄 DCU 요금에 포함되며 추가 컴퓨팅 비용이 발생하지 않습니다. 즉, 프리미엄 등급의 고급 기능을 모두 이용할 수 있는 단일하고 예측 가능한 프리미엄 요금을 지불합니다.