Dataproc Serverless 가격 책정
Spark용 Dataproc Serverless 가격은 데이터 컴퓨팅 단위 (DCU) 수, 사용된 가속기 수, 사용된 셔플 스토리지 양을 기준으로 책정됩니다. DCU, 가속기, 셔플 스토리지 요금은 초 단위로 청구되며 DCU 및 셔플 스토리지 최소 요금은 1분, 가속기의 최소 요금은 5분입니다.
각 Dataproc vCPU는 0.6DCU로 계산됩니다. RAM은 8GB 미만과 8GB를 초과하는 요금이 다르게 청구됩니다. vCPU당 8GGB 미만의 각 RAM은 0.1DCU로 계산되며, vCPU당 8GGB를 초과하는 각 RAM은 0.2DCU로 계산됩니다. Spark 드라이버 및 실행자에서 사용하는 메모리와 시스템 메모리 사용량이 DCU 사용량에 따라 계산됩니다.
기본적으로 Spark 배치 및 대화형 워크로드용 Dataproc 서버리스 워크로드는 워크로드 지속 기간 동안 최소 12개의 DCU를 사용합니다. 드라이버는 vCPU 4개와 RAM 16GB를 사용하고 DCU 4개를 사용하며, 2개의 실행자가 각각 vCPU 4개와 16GB RAM을 사용하며 DCU 4개를 사용합니다. Spark 속성을 설정하여 vCPU 수와 vCPU당 메모리 양을 맞춤설정할 수 있습니다. 추가 Compute Engine VM 또는 영구 디스크 요금이 적용되지 않습니다.
데이터 컴퓨팅 단위 (DCU) 가격 책정
아래에 표시된 DCU 요금은 시간당 요금입니다. 요금은 일할 계산되어 초당 청구되며 최소 요금은 1분입니다.
Spark 대화형 워크로드용 Dataproc 서버리스는 프리미엄에서 요금이 청구됩니다.
셔플 스토리지 가격 책정
아래에 표시된 셔플 스토리지 요금은 월별 요금입니다. 요금은 일할 계산되어 초당 청구되며 표준 셔플 스토리지의 최소 요금은 1분, 프리미엄 셔플 스토리지는 최소 5분입니다. 프리미엄 셔플 스토리지는 프리미엄 컴퓨팅 단위에만 사용할 수 있습니다.
가속기 가격 책정
아래에 표시된 가속기 속도는 시간당 요금입니다. 요금은 일할 계산되어 초당 청구되며 최소 요금은 5분입니다.
가격 책정 예시
Spark용 Dataproc 서버리스 일괄 워크로드가 us-central1 리전에서 12개의 DCU(spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)로 24시간 동안 실행되고 25GB의 셔플 스토리지를 사용하는 경우 가격은 다음과 같이 계산됩니다.
Total compute cost = 12 * 24 * $0.060000 = $17.28 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $17.28 + $0.03 = $17.31
참고:
- 이 예시에서는 한 달을 30일로 가정합니다. 일괄 워크로드 기간이 1일이므로 월별 셔플 스토리지 비율은 30으로 나뉩니다.
Spark용 Dataproc 일괄 워크로드가 us-central1 리전에서 12개의 DCU 및 2개의 L4 GPU (spark.driver.cores=4,spark.executor.cores=4, spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium, spark.dataproc.executor.compute.tier=premium, spark.dataproc.executor.disk.tier=premium, spark.dataproc.executor.resource.accelerator.type=l4)로 실행되고 25GB의 셔플 스토리지를 소비하는 경우의 가격은 다음과 같이 계산됩니다.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.1/301) = $0.083 Total accelerator cost = 2 * 24 * $0.6720 = $48.39 ------------------------------------------------ Total cost = $25.632 + $0.083 + $48.39 = $74.105
참고:
- 이 예시에서는 한 달을 30일로 가정합니다. 일괄 워크로드 기간이 1일이므로 월별 셔플 스토리지 비율은 30으로 나뉩니다.
Spark용 Dataproc 서버리스 대화형 워크로드가 us-central1 리전에서 12개의 DCU(spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)로 24시간 동안 실행되고 25GB의 셔플 스토리지를 사용하는 경우 가격은 다음과 같이 계산됩니다.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $25.632 + $0.03 = $25.662
참고:
- 이 예시에서는 한 달을 30일로 가정합니다. 일괄 워크로드 기간이 1일이므로 월별 셔플 스토리지 비율은 30으로 나뉩니다.
가격 추정 예시
일괄 워크로드가 완료되면 Spark용 Dataproc Serverless는 완료된 워크로드에서 소비한 총 DCU, 가속기, 셔플 스토리지 리소스의 근사치를 포함하는 UsageMetrics를 계산합니다. 워크로드를 실행한 후 gcloud dataproc batches describe BATCH_ID 명령어를 실행하면 워크로드 실행 비용을 예측하는 데 도움이 되는 워크로드 사용량 측정항목을 볼 수 있습니다.
예:
Spark용 Dataproc Serverless는 마스터가 한 개이고 작업자가 2개인 임시 클러스터에서 워크로드를 실행합니다. 각 노드는 4개의 DCU (기본값은 코어당 4DCU, spark.dataproc.driver.disk.size 참고)와 400GB 셔플 스토리지(기본값은 코어당 100GB, spark.driver.cores 참고)를 사용합니다. 워크로드 실행 시간은 60초입니다. 또한 각 작업자에는 클러스터 전체에서 GPU가 1개 있어
총 2개입니다
사용자는 gcloud dataproc batches describe BATCH_ID --region REGION를 실행하여 사용량 측정항목을 가져옵니다. 명령어 결과에는 다음 스니펫(milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 =
720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 =
120000, shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000)이 포함됩니다.
runtimeInfo:
approximateUsage:
milliDcuSeconds: '720000'
shuffleStorageGbSeconds: '72000'
milliAcceleratorSeconds: '120000'
기타 Google Cloud 리소스 사용
Spark용 Dataproc 서버리스 워크로드에서는 다음을 포함하되 이에 국한되지 않은 다음 리소스를 선택적으로 활용할 수 있으며 각기 해당하는 가격에 따라 요금이 청구됩니다.
다음 단계
- Dataproc 서버리스 문서 읽어보기
- Dataproc Serverless 시작하기
- 가격 계산기 사용해 보기