Dataproc Serverless 가격 책정
Spark용 Dataproc 서버리스 가격은 데이터 컴퓨팅 단위 (DCU), 사용된 가속기 수, 사용된 셔플 스토리지 양에 따라 결정됩니다. DCU, 액셀러레이터, 셔플 스토리지는 초 단위로 청구되며 DCU 및 셔플 스토리지의 경우 최소 1분, 액셀러레이터의 경우 최소 5분부터 청구됩니다.
각 Dataproc vCPU는 0.6 DCU로 계산됩니다. 8GB 미만과 초과의 RAM에 대한 요금이 다릅니다 vCPU당 8기가바이트 미만의 RAM은 0.1 DCU로 계산되며, vCPU당 8기가바이트 초과하는 RAM은 0.2 DCU로 계산됩니다. Spark 드라이버와 실행자가 사용하는 메모리와 시스템 메모리 사용량은 DCU 사용량에 산입됩니다.
기본적으로 각 Dataproc Serverless for Spark 일괄 및 대화형 워크로드는 워크로드 기간 동안 최소 12개의 DCU를 사용합니다. 드라이버는 vCPU 4개와 RAM 16GB를 사용하며 4개의 DCU를 사용하고, 2개의 실행자는 각각 vCPU 4개와 RAM 16GB를 사용하며 4개의 DCU를 사용합니다. Spark 속성을 설정하여 vCPU 수와 vCPU당 메모리 양을 맞춤설정할 수 있습니다. Compute Engine VM 또는 Persistent Disk에 대한 추가 요금이 부과되지 않습니다.
데이터 컴퓨팅 단위 (DCU) 가격 책정
아래에 표시된 DCU 요금은 시간당 요금입니다. 초 단위로 비율에 따라 청구되며
최소 1분의 요금이 부과됩니다
Spark용 Dataproc Serverless 대화형 워크로드는 Premium 요금으로 청구됩니다.
Shuffle 스토리지 가격 책정
아래에 표시된 셔플 스토리지 요금은 월별 요금입니다. Standard Shuffle Storage의 경우 최소 1분, Premium Shuffle Storage의 경우 최소 5분의 비용이 청구되며 비율에 따라 초 단위로 청구됩니다 Premium 셔플 스토리지는 Premium 컴퓨팅 단위에서만 사용할 수 있습니다.
가속기 가격 책정
아래에 표시된 가속기 요금은 시간당 요금입니다. 분할된 후 초 단위로 청구되며
최소 5분의 요금이 부과됩니다
가격 책정 예시
Spark 배치용 Dataproc Serverless 워크로드가 us-central1 리전에서 24시간 동안 12DCU(spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)로 실행되고 25GB의 셔플 스토리지를 소비하는 경우 가격은 다음과 같이 계산됩니다.
Total compute cost = 12 * 24 * $0.060000 = $17.28 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $17.28 + $0.03 = $17.31
참고:
- 이 예에서는 한 달을 30일로 가정합니다. 일괄 워크로드 기간이 1일 이므로 월간 셔플 스토리지 비율은 30으로 나뉩니다.
Spark 일괄 처리용 Dataproc Serverless 워크로드가 12개의 DPU와 2개의 L4 GPU (spark.driver.cores=4,spark.executor.cores=4,
spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium,
spark.dataproc.executor.compute.tier=premium,
spark.dataproc.executor.disk.tier=premium,
spark.dataproc.executor.resource.accelerator.type=l4)를 사용해 us-central1 리전에서 24시간 동안 실행되고 25GB의 셔플 스토리지를 소비하는 경우 가격은 다음과 같이 계산됩니다.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.1/301) = $0.083 Total accelerator cost = 2 * 24 * $0.6720 = $48.39 ------------------------------------------------ Total cost = $25.632 + $0.083 + $48.39 = $74.105
참고:
- 이 예에서는 한 달을 30일로 가정합니다. 일괄 워크로드 기간이 1일 이므로 월간 셔플 스토리지 비율은 30으로 나뉩니다.
us-central1 리전에서 24시간 동안 12DCU(spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)로 실행되는 Spark용 Dataproc Serverless 대화형 워크로드가 25GB의 셔플 스토리지를 소비하는 경우 가격은 다음과 같이 계산됩니다.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $25.632 + $0.03 = $25.662
참고:
- 이 예에서는 한 달을 30일로 가정합니다. 일괄 워크로드 기간이 1일 이므로 월간 셔플 스토리지 비율은 30으로 나뉩니다.
가격 책정 예측 예시
배치 워크로드가 완료되면 Spark용 Dataproc Serverless는 UsageMetrics를 계산합니다. 여기에는 완료된 워크로드에서 소비한 총 DCU, 가속기, 셔플 스토리지 리소스의 대략적인 수치가 포함됩니다. 워크로드를 실행한 후 gcloud dataproc batches describe BATCH_ID 명령어를 실행하여 워크로드 사용 측정항목을 확인하여 워크로드 실행 비용을 추정할 수 있습니다.
예:
Spark용 Dataproc Serverless는 마스터 1개와 작업자 2개로 구성된 임시 클러스터에서 워크로드를 실행합니다. 각 노드는 4개의 DCU (기본값은 코어당 4개의 DCU임 - spark.dataproc.driver.disk.size참조)와 400GB의 셔플 스토리지(기본값은 코어당 100GB임 -spark.driver.cores참조)를 사용합니다. 워크로드 실행 시간은 60초입니다. 또한 각 작업자에는 GPU가 1개씩 있어
클러스터 전체에 총 2개의 GPU가 있습니다
사용자가 사용량 측정항목을 가져오기 위해 gcloud dataproc batches describe BATCH_ID --region REGION
을 실행합니다. 명령어 출력에는 다음 스니펫이 포함됩니다
(milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 =
720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 =
120000, shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):
runtimeInfo:
approximateUsage:
milliDcuSeconds: '720000'
shuffleStorageGbSeconds: '72000'
milliAcceleratorSeconds: '120000'
기타 Google Cloud 리소스 사용
Spark용 Dataproc Serverless 워크로드에서 다음을 포함한 여러 리소스를 활용할 수 있으며 각기 해당하는 가격에 따라 요금이 청구됩니다.
다음 단계
- Dataproc Serverless 문서 읽어보기
- Dataproc 서버리스 시작하기
- 가격 계산기 사용해 보기