Dataproc Serverless 定價

Dataproc Serverless 的費用取決於資料運算單元 (DCU) 數量、使用的加速器數量,以及使用的重組儲存空間量。DCU、加速器和重組儲存空間的計費單位為秒,DCU 和重組儲存空間至少會產生 1 分鐘的費用,加速器則是 5 分鐘的基本費用。

每個 Dataproc vCPU 都會計為 0.6 個 DCU。RAM 的計費方式不同 低於 8 GB如果每個 vCPU 的 RAM 低於 8 G GB,就會計為 0.1 DCU,而每個 vCPU 超過 8G GB 的 RAM 則計為 0.2 DCU。Spark 驅動程式、執行器和系統記憶體用量都會計入 DCU 用量。

根據預設,Spark 批次和互動式工作負載的每個 Dataproc Serverless 都會在工作負載有效期間使用 12 個 DCU 至少:驅動程式使用 4 個 vCPU 和 16 GB 的 RAM 以及 4 個 DCU。另外 2 個執行程式則使用 4 個 vCPU 和 16 GB 的 RAM,並分別使用 4 個 DCU。您可以設定 Spark 屬性,藉此自訂 vCPU 數量和每個 vCPU 的記憶體數量。系統不會收取額外的 Compute Engine VM 或 Persistent Disk 費用。

資料運算單元 (DCU) 定價

下方顯示的 DCU 費率為每小時費率。費用會按比例計費,以秒計費,且最少收取 1 分鐘的費用。 如果您使用美元以外的貨幣付費,系統將按照 Cloud Platform SKU 頁面上列出的相應貨幣價格計費。

Dataproc 無伺服器 Spark 互動式工作負載是以進階方案收費。

重組儲存空間定價

下方顯示的重組儲存空間費率為每月費率。其費用依秒數按比例計費,標準重組儲存空間至少會產生 1 分鐘的費用,進階重組儲存空間則為 5 分鐘的最低費用。付費重組儲存空間只能用於付費運算單元。

如果您使用美元以外的貨幣付費,系統將按照 Cloud Platform SKU 頁面上列出的相應貨幣價格計費。

加速器定價

下方顯示的加速器費率為每小時費率。費用會按比例計費,且以秒計費,最少收取 5 分鐘的費用。 如果您使用美元以外的貨幣付費,系統將按照 Cloud Platform SKU 頁面上列出的相應貨幣價格計費。

計費示例

如果在 us-central1 區域中使用 12 個 DCU (spark.driver.cores=4spark.executor.cores=4spark.executor.instances=2) 的 Dataproc Serverless 執行 24 小時,且使用 25 GB 的重組儲存空間,費用計算方式如下。

Total compute cost = 12 * 24 * $0.060000 = $17.28
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $17.28 + $0.03 = $17.31

注意:

  1. 本範例假設月份是 30 天。由於批次工作負載持續時間為一天,因此每月重組儲存空間費率除以 30。

如果在 us-central1 區域中使用 12 個 DCU 和 2 L4 GPU (spark.driver.cores=4spark.executor.cores=4spark.executor.instances=2spark.dataproc.driver.compute.tier=premiumspark.dataproc.executor.compute.tier=premiumspark.dataproc.executor.disk.tier=premiumspark.dataproc.executor.resource.accelerator.type=l4) 使用 Dataproc Serverless 處理 24 小時,且使用 25 GB 的重組儲存空間,費用計算方式如下。

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.1/301) = $0.083
Total accelerator cost = 2 * 24 * $0.6720 = $48.39
------------------------------------------------
Total cost = $25.632 + $0.083 + $48.39 = $74.105

注意:

  1. 本範例假設月份是 30 天。由於批次工作負載持續時間為一天,因此每月重組儲存空間費率除以 30。

如果 Dataproc Serverless for Spark 互動式工作負載在 us-central1 區域中使用 12 個 DCU (spark.driver.cores=4spark.executor.cores=4spark.executor.instances=2) 執行了 24 小時,且使用 25 GB 的重組儲存空間,費用計算方式如下:

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $25.632 + $0.03 = $25.662

注意:

  1. 本範例假設月份是 30 天。由於批次工作負載持續時間為一天,因此每月重組儲存空間費率除以 30。

費用估算範例

批次工作負載完成後,Spark 的 Dataproc Serverless 會計算 UsageMetrics,其中包含已完成工作負載所消耗的 DCU、加速器和重組儲存空間資源的大致情況。執行工作負載後,您可以執行 gcloud dataproc batches describe BATCH_ID 指令來查看工作負載用量指標,藉此預估執行工作負載的費用。

範例:

適用於 Spark 的 Dataproc Serverless 會在臨時叢集中使用一個主要叢集和兩個工作站執行工作負載。每個節點會耗用 4 個 DCU (預設為每個核心 4 個 DCU,請參閱 spark.dataproc.driver.disk.size) 和 400 GB 重組儲存空間 (預設為每核心 100 GB,請參閱 spark.driver.cores)。工作負載執行時間為 60 秒。此外,每個工作站都有 1 個 GPU 整個叢集總共有 2 個 GPU

使用者會執行 gcloud dataproc batches describe BATCH_ID --region REGION 以取得用量指標。指令輸出內容包含以下程式碼片段 (milliDcuSeconds4 DCUs x 3 VMs x 60 seconds x 1000 = 720000milliAcceleratorSeconds1 GPU x 2 VMs x 60 seconds x 1000 = 120000shuffleStorageGbSeconds400GB x 3 VMs x 60 seconds = 72000):

runtimeInfo:
  approximateUsage:
    milliDcuSeconds: '720000'
    shuffleStorageGbSeconds: '72000'
    milliAcceleratorSeconds: '120000'

使用其他 Google Cloud 資源

適用於 Spark 工作負載的 Dataproc Serverless 工作負載也可選用下列資源,這些資源會依據專屬定價計費,這類資源包括但不限於:

後續步驟

索取客製化報價

Google Cloud 提供「即付即用」計費模式,您只需要為所用服務付費。貴機構如需索取客製化的報價,請與我們的銷售團隊聯絡。
聯絡銷售人員