Dataproc Serverless 定價
Dataproc Serverless 的費用取決於資料運算單元 (DCU) 數量、使用的加速器數量,以及使用的重組儲存空間量。DCU、加速器和重組儲存空間的計費單位為秒,DCU 和重組儲存空間至少會產生 1 分鐘的費用,加速器會產生 5 分鐘的基本費用。
每個 Dataproc vCPU 都會計為 0.6 個 DCU。RAM 的計費方式不同 低於 8 GB如果每個 vCPU 的 RAM 低於 8G GB,就會計為 0.1 DCU,而每個 vCPU 超過 8G GB 的 RAM 則計為 0.2 DCU。Spark 驅動程式、執行器和系統記憶體用量都會計入 DCU 用量。
根據預設,Spark 批次和互動式工作負載的每個 Dataproc Serverless 都會在工作負載有效期間使用至少 12 個 DCU:驅動程式使用 4 個 vCPU 和 16 GB 的 RAM 以及 4 個 DCU,而 2 個執行程式則各使用 4 個 vCPU 和 16 GB 的 RAM,並分別使用 4 個 DCU。您可以設定 Spark 屬性,藉此自訂 vCPU 數量和每個 vCPU 的記憶體數量。系統不會收取額外的 Compute Engine VM 或 Persistent Disk 費用。
資料運算單元 (DCU) 定價
下方顯示的 DCU 費率為每小時費率。費用會按比例計費,且以秒計費,最少收取 1 分鐘的費用。
Dataproc 無伺服器 Spark 互動式工作負載是以進階方案收費。
重組儲存空間定價
下方顯示的重組儲存空間費率為每月費率。其費用依秒數按比例計費,標準重組儲存空間至少會產生 1 分鐘的費用,進階重組儲存空間則為 5 分鐘的最低費用。付費重組儲存空間只能用於付費運算單元。
加速器定價
下方顯示的加速器費率為每小時費率。費用會按比例計費,且以秒計費,最少收取 5 分鐘的費用。
計費示例
如果 Spark 無伺服器工作負載的 Dataproc Serverless 工作負載在 us-central1 區域中使用 12 個 DCU (spark.driver.cores=4
、spark.executor.cores=4
、spark.executor.instances=2
) 執行了 24 小時,且使用 25 GB 的重組儲存空間,費用計算方式如下。
Total compute cost = 12 * 24 * $0.060000 = $17.28 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $17.28 + $0.03 = $17.31
注意:
- 本範例假設月份是 30 天。由於批次工作負載持續時間為一天,因此每月重組儲存空間費率除以 30。
如果在 us-central1 區域中使用 12 個 DCU 和 2 L4 GPU (spark.driver.cores=4
、spark.executor.cores=4
、spark.executor.instances=2
、spark.dataproc.driver.compute.tier=premium
、spark.dataproc.executor.compute.tier=premium
、spark.dataproc.executor.disk.tier=premium
、spark.dataproc.executor.resource.accelerator.type=l4
) 的 Dataproc Serverless 執行 24 小時,且使用 25 GB 的重組儲存空間,費用計算方式如下。
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.1/301) = $0.083 Total accelerator cost = 2 * 24 * $0.6720 = $48.39 ------------------------------------------------ Total cost = $25.632 + $0.083 + $48.39 = $74.105
注意:
- 本範例假設月份是 30 天。由於批次工作負載持續時間為一天,因此每月重組儲存空間費率除以 30。
如果 Dataproc Serverless for Spark 互動式工作負載在 us-central1 區域中使用 12 個 DCU (spark.driver.cores=4
、spark.executor.cores=4
、spark.executor.instances=2
) 執行了 24 小時,且使用 25 GB 的重組儲存空間,費用計算方式如下:
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $25.632 + $0.03 = $25.662
注意:
- 本範例假設月份是 30 天。由於批次工作負載持續時間為一天,因此每月重組儲存空間費率除以 30。
費用估算範例
批次工作負載完成後,Spark 的 Dataproc Serverless 會計算 UsageMetrics,其中包含已完成工作負載所消耗的 DCU、加速器和重組儲存空間資源的大致情況。執行工作負載後,您可以執行 gcloud dataproc batches describe BATCH_ID
指令來查看工作負載用量指標,藉此預估執行工作負載的費用。
範例:
適用於 Spark 的 Dataproc Serverless 會在臨時叢集中使用一個主要叢集和兩個工作站執行工作負載。每個節點會耗用 4 個 DCU (預設為每個核心 4 個 DCU,請參閱 spark.dataproc.driver.disk.size
) 和 400 GB 重組儲存空間 (預設為每核心 100 GB,請參閱 spark.driver.cores
)。工作負載執行時間為 60 秒。此外,每個工作站都有 1 個 GPU
整個叢集總共有 2 個 GPU
使用者會執行 gcloud dataproc batches describe BATCH_ID --region REGION
以取得用量指標。指令輸出內容包含以下程式碼片段 (milliDcuSeconds
:4 DCUs x 3 VMs x 60 seconds x 1000
= 720000
、milliAcceleratorSeconds
:1 GPU x 2 VMs x 60 seconds x 1000
= 120000
和 shuffleStorageGbSeconds
:400GB x 3 VMs x 60 seconds
= 72000
):
runtimeInfo: approximateUsage: milliDcuSeconds: '720000' shuffleStorageGbSeconds: '72000' milliAcceleratorSeconds: '120000'
使用其他 Google Cloud 資源
適用於 Spark 工作負載的 Dataproc Serverless 工作負載也可選用下列資源,這些資源會依據專屬定價計費,這類資源包括但不限於:
後續步驟
- 參閱 Dataproc Serverless 說明文件。
- 開始使用 Dataproc Serverless。
- 試用 Pricing Calculator。