Dataproc Serverless 가격 책정
Spark용 Dataproc 서버리스 가격은 데이터 컴퓨팅 수를 기준으로 책정됩니다. 단위 (DCU), 사용된 가속기 수, 셔플 스토리지 양 있습니다. DCU, 가속기, 셔플 스토리지 요금은 초당 청구되며 DCU 및 셔플 스토리지 최소 요금 1분, 최소 요금 5분 액셀러레이터에 연결될 수 있습니다.
각 Dataproc vCPU는 0.6DCU로 계산됩니다. RAM은 다른 방식으로 충전됨 8GB 이하 및 초과로 사용할 수 있습니다. vCPU당 8G 미만인 각 GB의 RAM은 0.1 DCU, vCPU당 8G GB를 초과하는 각 RAM은 0.2 DCU로 계산됩니다. Spark 드라이버 및 실행자에서 사용하는 메모리와 시스템 메모리 사용량이 계산됩니다. 살펴보겠습니다
기본적으로 Spark 일괄 및 대화형 워크로드용 Dataproc 서버리스 각각은 워크로드 기간 동안 최소 12개의 DCU를 소비합니다. 즉, 드라이버 4개의 vCPU와 16GB의 RAM을 사용하고 4개의 DCU를 사용하며, 각 실행자 2개 4개의 vCPU와 16GB의 RAM을 사용하며 4개의 DCU를 소비합니다. 숫자는 맞춤설정할 수 있습니다. vCPU당 메모리 양과 vCPU 수를 설정하여 Spark 속성. Compute Engine VM 또는 영구 디스크 추가 요금은 적용되지 않습니다.
데이터 컴퓨팅 단위 (DCU) 가격 책정
아래에 표시된 DCU 요금은 시간당 요금입니다. 일할 계산되며
초당 최소 1분의 요금이 부과됩니다.
Spark 대화형 워크로드용 Dataproc 서버리스는 프리미엄에서 요금이 청구됩니다.
셔플 스토리지 가격 책정
아래에 표시된 셔플 스토리지 요금은 월별 요금입니다. 이는 일할 계산되며 초당 청구(표준 셔플 스토리지 최소 요금 1분) Premium 셔플 스토리지는 최소 5분의 요금이 부과됩니다 Premium 셔플 스토리지는 프리미엄 컴퓨팅 단위에서만 사용할 수 있습니다.
가속기 가격 책정
아래에 표시된 가속기 속도는 시간당 요금입니다. 일할 계산되며
초당 최소 5분의 요금이 부과됩니다
가격 책정 예시
Spark용 Dataproc 서버리스 일괄 워크로드가 12개의 DCU로 실행되는 경우
(spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)
25GB의 셔플 스토리지를 소비하는 경우
다음과 같이 계산됩니다.
Total compute cost = 12 * 24 * $0.060000 = $17.28 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $17.28 + $0.03 = $17.31
참고:
- 이 예시에서는 한 달을 30일로 가정합니다. 일괄 워크로드 기간은 1이며 월간 셔플 스토리지 요금을 30으로 나눕니다.
Spark용 Dataproc 서버리스 일괄 워크로드가 12개의 DCU 및 2개의
L4 GPU (spark.driver.cores=4,spark.executor.cores=4,
spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium,
spark.dataproc.executor.compute.tier=premium,
spark.dataproc.executor.disk.tier=premium,
spark.dataproc.executor.resource.accelerator.type=l4)를
25GB의 셔플 스토리지를 소비하므로
다음과 같습니다.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.1/301) = $0.083 Total accelerator cost = 2 * 24 * $0.6720 = $48.39 ------------------------------------------------ Total cost = $25.632 + $0.083 + $48.39 = $74.105
참고:
- 이 예시에서는 한 달을 30일로 가정합니다. 일괄 워크로드 기간은 1이며 월간 셔플 스토리지 요금을 30으로 나눕니다.
Spark용 Dataproc 서버리스 대화형 워크로드가 12개의 DCU로 실행되는 경우
(spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)
25GB의 셔플 스토리지를 소비하는 경우
가격은 다음과 같이 계산합니다.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $25.632 + $0.03 = $25.662
참고:
- 이 예시에서는 한 달을 30일로 가정합니다. 일괄 워크로드 기간은 1이며 월간 셔플 스토리지 요금을 30으로 나눕니다.
가격 추정 예시
일괄 워크로드가 완료되면 Spark용 Dataproc Serverless에서
UsageMetrics
여기에는 총 DCU, 가속기, 셔플의 근사치가 포함됩니다.
스토리지 리소스에 대한 할당량도 포함됩니다 워크로드를 실행한 후
gcloud dataproc batches describe BATCH_ID를 실행하여
명령어를 실행하여 실행 비용을 추정하는 데 도움이 되는 워크로드 사용량 측정항목을 확인할 수 있습니다.
워크로드도 사용할 수 있습니다
예:
Spark용 Dataproc Serverless는
하나의 마스터와 두 개의 작업자가 있습니다. 각 노드는 4개의 DCU를 소비하고
코어: spark.dataproc.driver.disk.size 참고)
및 400GB 셔플 스토리지
(기본값은 코어당 100GB입니다.
spark.driver.cores)
워크로드 런타임은 60초입니다. 또한 각 작업자에는 총 1개의 GPU가 있습니다.
클러스터 전체에서 2로
나눌 수 있습니다
사용자가 gcloud dataproc batches describe BATCH_ID --region REGION를 실행합니다.
사용하여 사용량 측정항목을
가져올 수 있습니다 명령어 결과에는 다음 스니펫이 포함됩니다.
(milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 =
720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 =
120000, shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):
runtimeInfo:
approximateUsage:
milliDcuSeconds: '720000'
shuffleStorageGbSeconds: '72000'
milliAcceleratorSeconds: '120000'
기타 Google Cloud 리소스 사용
Spark용 Dataproc 서버리스 워크로드는 원하는 경우 다음 리소스를 포함하되 이에 국한되지 않은 각 리소스에 해당하는 가격에 따라 요금이 청구됩니다.
다음 단계
- Dataproc 서버리스 문서 읽어보기
- Dataproc Serverless 시작하기
- 가격 계산기 사용해 보기