Dataproc 서버리스 가격 책정
Spark용 Dataproc 서버리스 가격은 데이터 컴퓨팅 단위 (DCU), 사용된 가속기 수, 사용된 셔플 스토리지 양에 따라 책정됩니다. DCU, 가속기, 셔플 스토리지의 요금은 초 단위로 청구되며 DCU 및 셔플 스토리지는 최소 1분, 가속기의 최소 요금은 5분입니다.
각 Dataproc vCPU는 0.6DCU로 집계됩니다. RAM은 8GB 미만과 이후 요금이 다릅니다. vCPU당 8GB 미만인 RAM 1GB는 0.1 DCU로 집계되고, vCPU당 8G 기가바이트를 초과하는 RAM 1GB는 0.2 DCU로 집계됩니다. Spark 드라이버 및 실행자가 사용하는 메모리와 시스템 메모리 사용량이 DCU 사용량에 반영됩니다.
기본적으로 각 Dataproc Serverless for Spark 일괄 및 대화형 워크로드는 워크로드 기간 동안 최소 12개의 DCU를 사용합니다. 드라이버는 vCPU 4개와 RAM 16GB를 사용하고 DCU 4개를 사용하고, 2개의 실행자는 각각 vCPU 4개와 16GB RAM을 사용하고 DCU 4개를 사용합니다. Spark 속성을 설정하여 vCPU 수와 vCPU당 메모리 양을 맞춤설정할 수 있습니다. 추가 Compute Engine VM 또는 Persistent Disk 요금은 적용되지 않습니다.
데이터 컴퓨팅 단위 (DCU) 가격 책정
아래에 표시된 DCU 비율은 시간 단위 요금입니다. 일할 계산되고 초 단위로 요금이 청구되며, 표준 셔플을 사용하는 경우 최소 요금은 1분이고 프리미엄 셔플 저장소를 사용하는 경우 최소 요금은 5분입니다.
Spark용 Dataproc 서버리스 대화형 워크로드는 프리미엄으로 청구됩니다.
셔플 스토리지 가격 책정
아래의 셔플 스토리지 속도는 월간 요금입니다. 일할 계산되고 초 단위로 요금이 청구되며, 표준 셔플 스토리지의 경우 최소 요금은 1분이고 프리미엄 셔플 스토리지의 경우 최소 요금은 5분입니다. 프리미엄 셔플 스토리지는 프리미엄 컴퓨팅 단위에만 사용할 수 있습니다.
가속기 가격 책정
아래의 가속기 속도는 시간별 요금입니다. 일할 계산되어 초 단위로 청구되며 최소 요금은 5분입니다.
가격 책정 예시
Dataproc Serverless for Spark 일괄 워크로드가 us-central1 리전에서 24시간 동안 12개의 DCU(spark.driver.cores=4, spark.executor.cores=4, spark.executor.instances=2)로 실행되고 25GB의 셔플 스토리지를 사용하는 경우 가격 계산은 다음과 같습니다.
Total compute cost = 12 * 24 * $0.060000 = $17.28 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $17.28 + $0.03 = $17.31
참고:
- 이 예시에서는 한 달이 30일이라고 가정합니다. 일괄 워크로드 기간이 1일이므로 월별 셔플 스토리지 비율을 30으로 나눕니다.
Dataproc Serverless for Spark 일괄 워크로드가 us-central1 리전에서 24시간 동안 DCU 12개와 L4 GPU 2개 (spark.driver.cores=4, spark.executor.cores=4, spark.executor.instances=2, spark.dataproc.driver.compute.tier=premium, spark.dataproc.executor.compute.tier=premium, spark.dataproc.executor.disk.tier=premium, spark.dataproc.executor.resource.accelerator.type=l4)로 실행되고 25GB 셔플 스토리지를 사용하는 경우 가격 계산은 다음과 같습니다.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.1/301) = $0.083 Total accelerator cost = 2 * 24 * $0.6720 = $48.39 ------------------------------------------------ Total cost = $25.632 + $0.083 + $48.39 = $74.105
참고:
- 이 예시에서는 한 달이 30일이라고 가정합니다. 일괄 워크로드 기간이 1일이므로 월별 셔플 스토리지 비율을 30으로 나눕니다.
Dataproc Serverless for Spark 대화형 워크로드가 us-central1 리전에서 24시간 동안 12개의 DCU(spark.driver.cores=4, spark.executor.cores=4, spark.executor.instances=2)로 실행되고 25GB의 셔플 스토리지를 사용하는 경우 가격 계산은 다음과 같습니다.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $25.632 + $0.03 = $25.662
참고:
- 이 예시에서는 한 달이 30일이라고 가정합니다. 일괄 워크로드 기간이 1일이므로 월별 셔플 스토리지 비율을 30으로 나눕니다.
예상 가격 예시
일괄 워크로드가 완료되면 Spark용 Dataproc Serverless는 완료된 워크로드에서 소비한 총 DCU, 가속기, 셔플 스토리지 리소스의 근사값을 포함하는 UsageMetrics를 계산합니다. 워크로드를 실행한 후 gcloud dataproc batches describe BATCH_ID 명령어를 실행하여 워크로드 사용량 측정항목을 보고 워크로드 실행 비용을 추정할 수 있습니다.
예:
Spark용 Dataproc Serverless는 마스터가 1개이고 작업자가 2개인 임시 클러스터에서 워크로드를 실행합니다. 각 노드는 4개의 DCU (기본값은 코어당 4개의 DCU, spark.dataproc.driver.disk.size 참고)와 400GB 셔플 스토리지(기본값은 코어당 100GB, spark.driver.cores 참고)를 사용합니다. 워크로드 런타임은 60초입니다. 또한 각 작업자는 GPU가 1개 있어 클러스터 전체에서 총 2개의 GPU가 발생합니다.
사용자는 gcloud dataproc batches describe BATCH_ID --region REGION를 실행하여 사용량 측정항목을 가져옵니다. 명령어 출력에는 다음 스니펫(milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 =
720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 =
120000, shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000)이 포함됩니다.
runtimeInfo:
approximateUsage:
milliDcuSeconds: '720000'
shuffleStorageGbSeconds: '72000'
milliAcceleratorSeconds: '120000'
기타 Google Cloud 리소스 사용
원하는 경우 Dataproc Serverless for Spark 워크로드에서 다음을 포함하되 이에 국한되지 않는 다음 리소스를 활용할 수 있으며 각기 해당하는 가격에 따라 요금이 청구됩니다.
다음 단계
- Dataproc 서버리스 문서 읽어보기
- Dataproc Serverless를 시작합니다.
- 가격 계산기 사용해 보기