Dataproc Serverless 定價

Dataproc Serverless for Spark 的定價依據為資料運算單元 (DCU)、使用的加速器數量,以及已使用的重組儲存空間量。DCU、加速器和重組儲存空間是以每秒收費,包含 DCU 和重組儲存空間的最低費用,1 分鐘為加速器,最低收費為 5 分鐘。

每個 Dataproc vCPU 都會計為 0.6 DCU。RAM 計費方式在 8 GB 以上的情況下不同。每個 vCPU 中每個 8G GB 以下的 RAM 都會計為 0.1 DCU,而每個 vCPU 中每個 GB 的 RAM 容量若超過 8G GB,則計為 0.2 DCU。Spark 驅動程式和執行器和系統記憶體用量會計入 DCU 用量。

根據預設,每個 Dataproc Serverless 的 Spark 批次和互動式工作負載在工作負載期間會「至少」消耗 12 個 DCU:駕駛會使用 4 個 vCPU 和 16 GB 的 RAM 並使用 4 個 DCU,而這 2 個執行程式都使用 4 個 vCPU 和 16 GB 的 RAM 並耗用 4 個 DCU。您可以設定 Spark 屬性,自訂 vCPU 數量和每個 vCPU 的記憶體數量。您不必支付額外的 Compute Engine VM 或永久磁碟費用。

資料運算單元 (DCU) 定價

下方顯示的 DCU 比率為每小時費率。依據使用標準,以秒計費。如果您使用標準重組儲存空間,則收取 1 分鐘的基本費用。如果您使用進階重組儲存空間,則至少收取 5 分鐘的基本費用。 如果您使用美元以外的貨幣付費,系統將按照 Cloud Platform SKU 頁面上列出的相應貨幣價格計費。

適用於 Spark 互動式工作負載的 Dataproc Serverless 是 Premium 服務的費用。

重組儲存空間定價

以下顯示的重組儲存空間費率為每月費率,這項服務的每秒費用會按比例計算,並收取 1 分鐘的標準重組儲存空間最低收費,進階重組儲存空間至少收取 5 分鐘的費用。進階重組儲存空間只能用於進階運算單位。

如果您使用美元以外的貨幣付費,系統將按照 Cloud Platform SKU 頁面上列出的相應貨幣價格計費。

加速器定價

加速器比率如下所示。這項服務會以每秒按比例計費,並提供 5 分鐘的基本費用。 如果您使用美元以外的貨幣付費,系統將按照 Cloud Platform SKU 頁面上列出的相應貨幣價格計費。

計費示例

如果 Spark 批次工作負載適用的 Dataproc Serverless 工作負載在 us-central1 區域以 12 個 DCU (spark.driver.cores=4spark.executor.cores=4spark.executor.instances=2) 執行 24 小時,並耗用 25 GB 的重組儲存空間,價格的計算方式如下。

Total compute cost = 12 * 24 * $0.060000 = $17.28
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $17.28 + $0.03 = $17.31

注意:

  1. 本範例假設一個月為 30 天。由於批次工作負載的持續時間為一天,因此每月重組儲存空間費率除以 30。

在 us-central1 區域中使用 12 個 DCU 和 2 個 L4 GPU (spark.driver.cores=4spark.executor.cores=4spark.executor.instances=2spark.dataproc.driver.compute.tier=premiumspark.dataproc.executor.compute.tier=premiumspark.dataproc.executor.disk.tier=premiumspark.dataproc.executor.resource.accelerator.type=l4) 執行 24 小時,並耗用 25 GB 的重組儲存空間,價格計算方式如下。

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.1/301) = $0.083
Total accelerator cost = 2 * 24 * $0.6720 = $48.39
------------------------------------------------
Total cost = $25.632 + $0.083 + $48.39 = $74.105

注意:

  1. 本範例假設一個月為 30 天。由於批次工作負載的持續時間為一天,因此每月重組儲存空間費率除以 30。

如果 Dataproc Serverless for Spark 互動式工作負載在 us-central1 區域透過 12 個 DCU (spark.driver.cores=4spark.executor.cores=4spark.executor.instances=2) 執行 24 小時,並耗用 25 GB 的重組儲存空間,價格計算方式如下:

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $25.632 + $0.03 = $25.662

注意:

  1. 本範例假設一個月為 30 天。由於批次工作負載的持續時間為一天,因此每月重組儲存空間費率除以 30。

價格估算範例

批次工作負載完成後,Dataproc Serverless 會計算 UsageMetrics,來估算已完成工作負載耗用的 DCU、加速器和重組儲存空間資源總數。執行工作負載後,您可以執行 gcloud dataproc batches describe BATCH_ID 指令來查看工作負載用量指標,藉此估算執行工作負載的費用。

範例:

Dataproc Serverless for Spark 會在臨時叢集上執行工作負載,該叢集具有一個主要叢集和兩個工作站。每個節點會耗用 4 個 DCU (預設為每個核心 4 個 DCU,詳情請參閱 spark.dataproc.driver.disk.size) 和 400 GB 重組儲存空間 (預設值為每個核心 100 GB,請參閱 spark.driver.cores)。 工作負載執行時間為 60 秒。此外,每個工作站都有 1 個 GPU,叢集總計為 2 個。

使用者執行 gcloud dataproc batches describe BATCH_ID --region REGION 來取得用量指標。指令輸出內容包含以下程式碼片段 (milliDcuSeconds4 DCUs x 3 VMs x 60 seconds x 1000 = 720000milliAcceleratorSeconds1 GPU x 2 VMs x 60 seconds x 1000 = 120000shuffleStorageGbSeconds400GB x 3 VMs x 60 seconds = 72000):

runtimeInfo:
  approximateUsage:
    milliDcuSeconds: '720000'
    shuffleStorageGbSeconds: '72000'
    milliAcceleratorSeconds: '120000'

使用其他 Google Cloud 資源

您可以為 Spark 工作負載的 Dataproc Serverless 選用下列資源,系統會分別依據各項資源的計費方式向您收費,這類資源包括但不限於:

後續步驟

索取客製化報價

Google Cloud 採「即付即用」的定價方式,因此您只需要為實際使用的服務付費。貴機構如需索取客製化的報價,請與我們的銷售團隊聯絡。
聯絡銷售人員