|

Dataflow 定價

本頁說明 Dataflow 的計費方式。如要查看其他產品的價格,請參閱價格說明文件

如要瞭解如何承諾使用三年來省下 40%,或承諾使用一年來省下 20%,請參閱承諾使用折扣頁面。

總覽

您只需為工作使用的資源支付 Dataflow 用量費用。 視您使用的定價模式而定,系統會以不同方式評估及計費資源。

Dataflow 運算資源 Dataflow Prime 運算資源
資料運算單元 (DCU)
(批次和串流)

會產生費用 (適用於所有工作) 的其他 Dataflow 資源包括永久磁碟、GPU 和快照。

可能會使用 其他服務的資源來執行 Dataflow 工作。與 Dataflow 搭配使用的服務可能包括 BigQuery、Pub/Sub、Cloud Storage 和 Cloud Logging 等。

雖然費率是以小時為單位,不過 Dataflow 的用量是以為單位,且各項工作分開計費。為了將以秒計費的用量轉換為以小時為單位的計費方式,我們會以小時為單位來表示用量。例如 30 分鐘為 0.5 小時。工作站和工作使用資源的方式如下所述。

日後推出的新版 Dataflow 可能會以不同的方式收取服務費用,也可能提供相關服務的套裝方案。

Dataflow 運算資源

Dataflow 的運算資源計費項目包括下列項目:

如要進一步瞭解可用的區域及區域包含的區域,請參閱 Compute Engine 的區域和可用區頁面。

worker CPU 和記憶體

每項 Dataflow 工作至少會使用一個 Dataflow 工作站,Dataflow 服務提供「批次」和「串流」兩種工作站,兩者的服務計費方式不同。

Dataflow 工作站會使用下列資源,而這些資源都是採取以秒計費的收費方式:

  • CPU
  • 記憶體

批次和串流工作站是使用 Compute Engine 的特殊資源。不過請放心,Dataflow 工作不會因為使用 Dataflow 服務代管的 Compute Engine 資源而產生 Compute Engine 費用。而是包含在 Dataflow 服務費用中。

您可以覆寫工作的預設工作站數量。如果使用自動調度資源功能,您還可以指定分配給特定工作的工作站數量上限。另外,系統會根據自動調度資源機制,自動為您新增和移除工作站及個別資源。

此外,您還可以使用管道選項來覆寫分配給每個工作站及使用 GPU 的預設資源設定 (包括機器類型、磁碟類型和磁碟大小)。

FlexRS

Dataflow 也針對批次處理的 CPU 和記憶體提供費率較低的方案。彈性資源排程 (FlexRS) 在單一 Dataflow 工作站集區中結合了一般和先占 VM,讓使用者能存取更平價的處理資源。FlexRS 還會在 6 小時的時限內延後執行批次 Dataflow 工作,根據可用資源找出啟動工作的最佳時機。

雖然 Dataflow 使用一組工作站來執行 FlexRS 工作,但與一般 Dataflow 定價相比,無論工作站類型為何,都會以相同的較低費率計費,CPU 和記憶體費用約為一般定價的 40%。您可以指定 FlexRS 參數,藉此指示 Dataflow 將 FlexRS 用於自動調度資源的批次管道。

已處理的 Dataflow Shuffle 資料量

對於批次管道,Dataflow 提供高擴充性功能 Dataflow Shuffle,可在工作站外部重組資料。詳情請參閱 Dataflow Shuffle

Dataflow Shuffle 是按照處理的資料量來計算費用。

Streaming Engine 定價

對於串流管道,Dataflow Streaming Engine 會將串流資料重組和狀態處理作業從工作站 VM 移出,並移入 Dataflow 服務後端。詳情請參閱Streaming Engine

Streaming Engine 運算單元

採用資源計費時,Streaming Engine 資源的計量單位為 Streaming Engine 運算單元。Dataflow 會計量每項工作的 Streaming Engine 資源用量,然後根據該工作使用的總資源收費。如要啟用以資源為準的計費方式,請參閱「使用以資源為準的計費方式」。使用以資源為準的計費方式時,系統會自動套用現有的折扣。

使用 Dataflow Prime 搭配資源計費模式時,您會依據每項工作的總資源用量收費,但會使用 資料運算單元 (DCU) SKU,而非 Streaming Engine 運算單元 SKU。

處理的 Streaming Engine 資料 (舊版)

Dataflow 會繼續支援舊版的資料處理計費機制。除非您啟用以資源為準的帳單費用,否則工作會依據資料處理量計費。

Streaming Engine 的資料處理收費方式是依據處理的串流資料量計算,並取決於下列因素:

  • 擷取至串流管道的資料量
  • 管道複雜度
  • 有洗牌運算或有狀態 DoFn 的管道階段數量

以下是計入處理位元組的項目示例:

  • 從資料來源輸入資料
  • 資料從一個融合管道階段流向另一個融合階段
  • 長期處於使用者定義狀態或用於時間區間設定的資料流
  • 將訊息輸出至資料接收器 (例如 Pub/Sub 或 BigQuery)

Dataflow 運算資源定價 - 批次和 FlexRS

下表列出工作站資源和 Shuffle 資料的定價詳細資料,這些資料是為批次和 FlexRS 工作而處理。

1 批次工作站預設配置:1 個 vCPU、3.75 GB 記憶體、250 GB 永久磁碟 (如果未使用 Dataflow Shuffle),或 25 GB 永久磁碟 (如果使用 Dataflow Shuffle)

2 FlexRS 工作站預設配置:2 個 vCPU、7.50 GB 的記憶體、每個工作站皆有 25 GB 的永久磁碟 (至少可使用兩個工作站)

Dataflow 運算資源定價 - 串流

下表列出工作站資源、Streaming Engine 已處理資料 (舊版) 和串流工作專用的 Streaming Engine 運算單元的計價詳細資料。

如果您使用美元以外的貨幣付費,系統將按照 Cloud Platform SKU 頁面上列出的相應貨幣價格計費。

3 串流工作站預設配置:4 個 vCPU、15 GB 的記憶體、400 GB 的永久磁碟 (如果未使用 Streaming Engine),或是 30 GB 的永久磁碟 (如果使用 Streaming Engine)。Dataflow 服務目前執行串流工作時,限制每個工作站執行個體只能使用 15 個永久磁碟。工作站和磁碟的資源配額比例至少要 1:1。

4 重組資料集時,系統會調整讀取和寫入作業中處理的資料量,並依據調整項計算 Dataflow Shuffle 的費用。詳情請參閱 Dataflow Shuffle 定價詳細資料。使用資源計費的 Streaming Engine 工作不適用 Dataflow Shuffle 定價。

5 Streaming Engine 運算單元:適用於使用 Streaming Engine 和以資源為準的計費模式的串流工作。這些工作在重新整理期間處理的資料不會計費。

已處理的 Dataflow Shuffle 資料量調整

系統會調整 Dataflow Shuffle 作業中處理的資料總量,並依據調整項計算各項 Dataflow 工作的費用。您實際為 Dataflow Shuffle 資料處理量支付的費用金額,等同於以原價處理較少量的資料 (少於 Dataflow 工作實際處理的資料量)。因此,會產生費用的 Shuffle 處理資料量指標會小於 Shuffle 處理資料總量指標。

下表說明調整項的套用方式:

處理的 Dataflow Shuffle 資料 帳單調整項
前 250 GB 減少 75%
接下來的 4870 GB 減少 50%
超過 5120 GB (5 TB) 的資料

舉例來說,假設您的管道總共透過 Dataflow Shuffle 處理了 1024 GB (1 TB) 的資料,會產生費用的資料量即如下所示:

250 GB * 25% + 774 GB * 50% = 449.5 GB * regional Dataflow Shuffle data processing rate

如果您的管道總共透過 Dataflow Shuffle 處理了 10240 GB (10 TB) 的資料,會產生費用的資料量即如下所示:

250 GB * 25% + 4870 GB * 50% + 5120 GB = 7617.5 GB

Dataflow Prime 運算資源定價

Dataflow Prime 是資料處理平台,以 Dataflow 為基礎打造而成,可改善資源使用率和分散式診斷作業。

Dataflow Prime 工作所用的運算資源是以資料運算單元 (DCU) 數量計費。DCU 是指分配來執行管道的運算資源。Dataflow Prime 工作使用的其他 Dataflow 資源 (例如永久磁碟、GPU 和快照) 會另外計費。

如要進一步瞭解可用的區域及區域包含的區域,請參閱 Compute Engine 的區域和可用區頁面。

資料運算單元

資料運算單元 (DCU) 是一種 Dataflow 用量計算單位,用於追蹤工作耗用的運算資源量。DCU 追蹤的資源包括 vCPU、記憶體、Dataflow Shuffle 處理的資料 (適用於批次工作),以及 Streaming Engine 處理的資料 (適用於串流工作)。耗用較多資源的工作與耗用較少資源的工作相比,DCU 用量較高。1 個 DCU 相當於以下 Dataflow 工作所使用的資源:在 1 個 vCPU 4 GB 工作站上執行 1 個小時。

資料運算單元計費

您只需為工作耗用的 DCU 總數付費。單一 DCU 的價格會因批次或串流工作而異。使用 Dataflow Prime 時,如果採用以資源為準的計費方式,系統會根據總用量資源向您收費,而不是處理的位元組數。

如果您使用美元以外的貨幣付費,系統將按照 Cloud Platform SKU 頁面上列出的相應貨幣價格計費。

最佳化資料運算單元用量

您無法為工作設定 DPU 數量。系統會按 Dataflow Prime 計算 DCU。但您可以管理下列工作層面,藉此減少 DCU 的數量:

  • 減少記憶體耗用量
  • 使用篩選器、合併器和高效率編碼器,減少重組步驟處理的資料量

如要找出這些最佳化項目,請使用 Dataflow 監控介面執行作業詳細資料介面

Dataflow Prime 與 Dataflow 的定價有何不同?

在 Dataflow 中,系統會依據工作耗用的不同資源 (例如 vCPU、記憶體、Persistent Disk) 以及 Dataflow Shuffle 或 Streaming Engine 處理的資料量收費。

資料運算單位會將儲存空間以外的所有資源整合成單一計量單位。您只需根據工作類型 (批次或串流) 為永久磁碟資源和所用 DCU 數量付費。詳情請參閱 使用 Dataflow Prime

使用 Dataflow 定價模式的現有工作會受到什麼影響?

現有批次和串流工作仍按照 Dataflow 模式繼續計費。您將工作更新為使用 Dataflow Prime 後,工作就會採用 Dataflow Prime 定價模式,系統會依據實際使用的永久磁碟資源和 DCU 向您收費。

其他 Dataflow 資源

儲存空間、GPU、快照和其他資源的計費方式,對 Dataflow 和 Dataflow Prime 都相同。

儲存空間資源定價

儲存空間資源的計費方式與串流、批次和 FlexRS 工作相同。您可以使用管道選項來變更預設磁碟大小或磁碟類型。Dataflow Prime 會依據下表中的定價,分別對永久磁碟開立帳單。

如果您使用美元以外的貨幣付費,系統將按照 Cloud Platform SKU 頁面上列出的相應貨幣價格計費。

Dataflow 服務目前執行串流工作時,限制每個工作站執行個體只能使用 15 個永久磁碟。每個永久磁碟都是各 Compute Engine 虛擬機器的本機。工作站和磁碟的資源配額比例至少要 1:1。

使用 Streaming Engine 的工作會使用 30 GB 的開機磁碟。使用 Dataflow Shuffle 的工作會使用 25 GB 的開機磁碟。對於未使用這些產品/服務的工作,每個永久磁碟的預設大小為批次模式 250 GB 和串流模式 400 GB。

Compute Engine 使用量是取工作站的平均值,而永久磁碟使用量則是取 --maxNumWorkers 的確切值。系統會重新分配永久磁碟,使每個工作站都有相同數量的連接磁碟。

GPU 資源定價

串流和批次工作都會以相同的費率計費 GPU 資源。FlexRS 目前不支援 GPU。如要瞭解 GPU 支援的區域和可用可用區,請參閱 Compute Engine 說明文件中的「GPU 區域和可用區的支援情況」。

如果您使用美元以外的貨幣付費,系統將按照 Cloud Platform SKU 頁面上列出的相應貨幣價格計費。

快照

您可以透過快照儲存及還原管道狀態,藉此管理串流管道的可靠性。快照用量會依據儲存的資料量計算,而資料量則取決於下列因素:

  • 擷取至串流管道的資料量
  • 您的時間窗口邏輯
  • 管道階段數量

如要建立串流工作的快照,您可以使用 Dataflow 主控台或 Google Cloud CLI。從快照建立工作來還原管道狀態無須支付額外費用。詳情請參閱使用 Dataflow 快照

快照定價

如果您使用美元以外的貨幣付費,系統將按照 Cloud Platform SKU 頁面上列出的相應貨幣價格計費。

機密 VM

Dataflow 專用的機密 VM 會加密工作站 Compute Engine VM 中使用中的資料。詳情請參閱機密 VM 總覽

使用機密 VM 執行 Dataflow 時,每 vCPU 和每 GB 會額外產生固定費用。

機密 VM 定價

價格為全球統一,不會因 Google Cloud 區域而異。

非 Dataflow 資源

除了 Dataflow 用量之外,工作可能也會耗用其他資源,系統會分別依據各項資源的計價方式向您收費,這類資源包括但不限於:

查看資源使用量

如要查看某項工作共使用了多少 vCPU、記憶體和永久磁碟等資源,請前往「資源指標」底下的「工作資訊」面板。您可以在 Dataflow Monitoring 介面中追蹤下列指標:

  • vCPU 總使用時間
  • 記憶體總使用時間
  • 永久磁碟總使用時間
  • 已處理的串流資料總量
  • Shuffle 已處理的總資料量
  • 已處理的可計費 Shuffle 資料量

您可以使用「處理重組資料總量」指標來評估管道成效,並依據「應付費的重組資料處理量」指標判斷 Dataflow 工作的費用。

如要查看 Dataflow Prime 工作耗用的 DCU 總數,請前往「資源指標」下的「工作資訊」面板。

Pricing Calculator

您可以使用 Google Cloud Pricing Calculator 來瞭解帳單所列費用的計算方式。

如果您使用美元以外的貨幣付費,則會按照 Cloud Platform SKU 頁面列出的相應貨幣價格計費。

後續步驟

索取客製化報價

Google Cloud 提供「即付即用」計費模式,您只需要為所用服務付費。貴機構如需索取客製化的報價,請與我們的銷售團隊聯絡。
聯絡銷售人員