Cloud Dataflow 定價

本頁面說明 Cloud Dataflow 的價格資訊。如要查看其他產品的價格,請參閱價格說明文件

價格總覽

雖然費率是以小時為計費單位,不過 Cloud Dataflow 服務的費用是按每項工作以為單位遞增。使用量是以小時來呈現 (例如 30 分鐘為 0.5 小時),以便將每小時價格套用至以秒計價的使用方式。工作站和工作使用資源的方式如下所述。

工作站和工作站資源

每項 Cloud Dataflow 工作至少會使用一個 Cloud Dataflow 工作站。Cloud Dataflow 服務提供「批次」和「串流」兩種工作站,兩者的服務計費方式不同。

Cloud Dataflow 工作站會使用下列資源,而這些資源都是採取以秒計費的收費方式。

批次和串流工作站是使用 Compute Engine 的特殊資源。不過請放心,Cloud Dataflow 工作不會因為使用 Cloud Dataflow 服務管理 Compute Engine 資源而產生 Compute Engine 費用。Cloud Dataflow 服務費用即會包含這些 Compute Engine 資源。

您可以覆寫工作的預設工作站數量。如果啟用自動調度資源功能,您還可以指定分配給特定工作的工作站數量上限。系統會根據自動調度資源機制,自動為您新增和移除工作站及個別資源。

另外,您還可以使用管道選項來覆寫分配給每個工作站的預設資源設定 (包括機器類型、磁碟類型和磁碟大小)。

Cloud Dataflow 服務

Cloud Dataflow Shuffle 作業會以可擴充、高效率、能容錯的方式,按照鍵值將資料分區及分組。根據預設,Cloud Dataflow 使用的資料重組作業完全是在工作站虛擬機器上運作,這類作業會使用工作站的 CPU、記憶體和永久磁碟的儲存空間。

Cloud Dataflow 也提供選用的高擴充性功能「Cloud Dataflow Shuffle」,這項功能僅供工作站以外的批次管道和重組資料使用,並依據已處理的資料量計算費用。在您指定 Shuffle 管道參數之後,Cloud Dataflow 就會使用 Shuffle 功能。

如同 Shuffle,Cloud Dataflow Streaming Engine 會將「串流」資料重組和狀態處理作業移出工作站 VM,並移入 Cloud Dataflow 服務後端。在您指定 Streaming Engine 管道參數之後,Cloud Dataflow 就會為您的串流管道使用 Streaming Engine。Streaming Engine 的使用費用是依據已處理的串流資料量計算,並取決於擷取至串流管道中的資料量、管道階段的複雜程度和數量。會計入已處理位元組數的項目實例如下:從資料來源輸入的資料流、從一個融合管道階段傳輸至其他融合階段的資料流、長期處於使用者定義狀態或用於時間區間設定的資料流,以及傳送至資料接收器 (例如 Cloud Pub/Sub 或 BigQuery) 的輸出訊息。

Cloud Dataflow 也為用於批次處理的 CPU 和記憶體的定價提供了折扣方案。彈性資源排程 (FlexRS) 在單一 Cloud Dataflow 工作站集區中結合了一般和先占 VM,讓使用者能存取更平價的處理資源。FlexRS 還會在 6 小時的時限內延後執行批次 Cloud Dataflow 工作,根據可用資源找出啟動工作的最佳時機。雖然 Cloud Dataflow 使用一組工作站來執行 FlexRS 工作,但與一般 Cloud Dataflow 定價相比,無論工作站類型為何,都適用相同的折扣費率。您可以指定 FlexRS 參數,藉此指示 Cloud Dataflow 將 FlexRS 用於自動調度資源的批次管道。

其他工作資源

除了工作站資源用量之外,工作「可能」也會耗用其他資源 (系統會分別依據各項資源的計價方式向您收費)。這類資源包括但不限於:

費率標準

日後推出的新版 Cloud Dataflow 可能會收取其他的服務費用,也可能提供相關服務的套裝方案。

如要進一步瞭解有哪些可用的地區和區域,請參閱 Compute Engine 的地區與區域說明頁面。

愛荷華州 (us-central1) 洛杉磯 (us-west2) 奧勒岡州 (us-west1) 北維吉尼亞州 (us-east4) 南卡羅來納州 (us-east1) 蒙特婁 (northamerica-northeast1) 聖保羅 (southamerica-east1) 比利時 (europe-west1) 芬蘭 (europe-north1) 法蘭克福 (europe-west3) 倫敦 (europe-west2) 荷蘭 (europe-west4) 蘇黎世 (europe-west6) 孟買 (asia-south1) 新加坡 (asia-southeast1) 雪梨 (australia-southeast1) 香港 (asia-east2) 台灣 (asia-east1) 東京 (asia-northeast1)
Cloud Dataflow 工作站類型 vCPU
(每小時)
記憶體
(每 GB 每小時)
儲存 - 標準永久磁碟
(每 GB 每小時)
儲存 - SSD 永久磁碟
(每 GB 每小時)
處理資料量45
(每 GB)6
批次 1
FlexRS 2
串流 3

如果您使用美元以外的貨幣付費,系統將按照 Cloud Platform SKU 頁面上列出的相應貨幣價格來計費。

1 批次工作站預設配置:1 個 vCPU、3.75 GB 記憶體、250 GB 永久磁碟

2 FlexRS 工作站預設配置:2 個 vCPU、7.50 GB 記憶體、每個工作站 25 GB 永久磁碟,至少兩個工作站

3 串流工作站預設配置:4 個 vCPU、15 GB 記憶體、420 GB 永久磁碟

4 目前 Cloud Dataflow Shuffle 可在下列地區供批次管道使用:

  • us-central1 (愛荷華州)
  • europe-west1 (比利時)
  • europe-west4 (荷蘭)
  • asia-northeast1 (東京)

我們日後會陸續在更多地區推出這項服務。

5 Cloud Dataflow Streaming Engine 採用「已處理的串流資料量」為計價單位。目前 Streaming Engine 可在下列地區使用:

  • us-central1 (愛荷華州)
  • europe-west1 (比利時)
  • asia-northeast1 (東京)
  • europe-west4 (荷蘭)
我們日後會陸續在更多地區推出這項服務。

6 2018 年 5 月 3 日以前,Cloud Dataflow Shuffle 採用的計費方式如下:重組資料所用的時間與資料保存在 Shuffle 記憶體中的時間相加後,乘以重組的資料量;價格為每小時每 GB $0.0216 美元。2018 年 5 月 3 日之後,我們將時間因素完全排除,因此系統只會依據 Cloud Dataflow 服務基礎架構在重組資料集期間讀取和寫入的資料量來計算 Shuffle 的費用 (以 GB 為單位)。在這樣的計費模式下,擁有大型或超大型資料集的使用者應該會發現 Shuffle 的費用總額明顯降低。
為進一步鼓勵使用者採用以服務為基礎的 Shuffle 功能,前 5 TB 的已處理重組資料量可享 50% 的費率折扣優惠。舉例來說,假設您的管道最終產生了 1 TB 的已處理重組資料量,您只需要支付 50% 的費用 (等同於僅產生 0.5 TB 的資料量)。如果您的管道最終產生了 10 TB 的已處理重組資料量,由於前 5 TB 的資料量可享 50% 的費率折扣優惠,因此您只需要支付 7.5 TB 資料量的費用。

查看使用情況

如要查看特定工作共使用了多少 vCPU、記憶體和永久磁碟等資源,您可以使用 Google Cloud Platform 主控台gcloud 指令列工具。如要追蹤實際與應付費的已處理重組資料量和已處理串流資料量指標,則請前往 Cloud Dataflow Monitoring 介面。您可以參考實際的已處理重組資料量來評估管道的成效,並依據應付費的已處理重組資料量判斷 Cloud Dataflow 工作的費用。以已處理的串流資料量來說,實際和應付費的指標資料會完全相同。

價格計算工具

您可以使用 Google Cloud Platform Pricing Calculator 來瞭解帳單所列費用的計算方式。

本頁內容對您是否有任何幫助?請提供意見:

傳送您對下列選項的寶貴意見...

這個網頁
Cloud Dataflow
需要協助嗎?請前往我們的支援網頁