Dataflow 定價
本頁說明 Dataflow 的計費方式。如要查看其他產品的價格，請參閱價格說明文件。
瞭解如何承諾使用三年期可省下 40% 的費用，或承諾使用一年可省下 20% 的費用 請詳閱承諾使用折扣 (CUD) 頁面。
總覽
系統會針對工作使用的資源收取 Dataflow 用量費用。 視您使用的定價模式而定 資源的測量和計費方式也不一樣。
| Dataflow 運算資源 | Dataflow Prime 運算資源 |
|
資料運算單元 (DCU) (批次和串流) |
其他 Dataflow 資源 包括永久磁碟、GPU 和快照，所有工作均會產生費用。
其他服務的資源可能會用於 Dataflow 工作。與 Dataflow 搭配使用的服務可能包括 BigQuery、Pub/Sub Cloud Storage 和 Cloud Logging 等
雖然費率是以小時為單位，但 Dataflow 系統會依據每項工作，以秒為單位累計費用。用量為 套用至以秒計費的成本。 例如 30 分鐘代表 0.5 小時。工作站和工作使用的資源可能會做為 。
日後推出的新版 Dataflow 可能會收取不同的服務費用 或組合相關服務
Dataflow 運算資源
運算資源的 Dataflow 計費 包括下列元件：
如要進一步瞭解可用的區域及其可用區，請參閱 Compute Engine 區域和可用區 頁面。
工作站 CPU 和記憶體
每項 Dataflow 工作至少會使用一個 Dataflow 工作站，Dataflow 服務提供「批次」和「串流」兩種工作站，批次和串流工作站的服務費各不相同。
Dataflow 工作站會使用下列資源，系統會向您收取費用 包括執行 Kubernetes 作業
- CPU
- 記憶體
批次和串流工作站是使用 Compute Engine 的特殊資源。不過，Dataflow 工作不會發出 Compute Engine 對代管的 Compute Engine 資源收費 使用 Dataflow 服務而是 Dataflow 服務 費用包含這些 Compute Engine 資源
您可以覆寫工作的預設工作站數量。如果使用 自動調度資源 指定要分配給特定工作的工作站數量上限。工作站 系統會根據每個指標 自動調度資源功能
另外，您可以使用 管道選項 覆寫預設資源設定，例如機器類型、磁碟類型和磁碟 分配給每個工作站，且使用 GPU。
FlexRS
Dataflow 提供折扣後的 CPU 和記憶體選項 處理批次處理的價格彈性資源排程 (FlexRS) 在單一 Dataflow 工作站集區中結合了一般和先占 VM，讓使用者能存取更平價的處理資源。FlexRS 也會延遲批次的執行 Dataflow 工作會在 6 小時內找出最佳時間點 根據可用資源啟動工作
雖然 Dataflow 使用 worker 組合執行 FlexRS 工作，系統會採用相同的計費方式 相較於一般方案，享有約 40% 的 CPU 和記憶體費用折扣 Dataflow 定價，無論 工作站類型您可以指定 FlexRS 參數，藉此指示 Dataflow 將 FlexRS 用於自動調度資源的批次管道。
Dataflow 重組資料已處理
以批次管道來說，Dataflow 是一種可高度擴充的功能 Dataflow Shuffle，可重組工作站外部的資料。 若需更多資訊，請參閲 Dataflow Shuffle。
Dataflow Shuffle 會依據資料量計費 處理進度
Streaming Engine 定價
以串流管道來說，Dataflow Streaming Engine 會遷移 將工作站 VM 的串流重組和狀態處理輸出至 Dataflow 服務後端若需更多資訊，請參閲 Streaming Engine。
Streaming Engine 運算單元
Streaming Engine 資源採用以資源為基礎的計費方式時，是以 Streaming Engine 運算單元。 Dataflow 用來計算每項工作使用的 Streaming Engine 資源 然後再依據該工作使用的總資源計費 如要為工作啟用以資源為基礎的計費功能，請參閱 使用根據資源計費。 使用根據資源計費時，系統會自動套用現有折扣。
使用 Dataflow Prime 時，系統會按資源計費 每項工作使用的資源總數 使用資料運算單元 (DCU) SKU，而非 Streaming Engine Compute Unit SKU。
已處理的 Streaming Engine 資料 (舊版)
Dataflow 持續 支援舊版資料處理帳單除非您 啟用根據資源計費的功能， 工作費用是採用資料處理費計費。
Streaming Engine 資料處理帳單會按用量計費 取決於下列因素：
- 擷取至串流管道的資料量
- 管道的複雜性
- 具有重組作業或 有狀態的 DoFns
以下舉例說明哪些資料會計為處理的位元組：
- 資料來源的輸入流程
- 從一個融合管道階段到另一個融合管道階段的資料流
- 保留在使用者定義狀態的資料流，或用於時間區間設定的資料流
- 將訊息輸出至資料接收器，例如 Pub/Sub 或 BigQuery
Dataflow 運算資源定價 - 批次與FlexRS
下表列出工作站資源和 Shuffle 的定價詳細資料 處理批次和 FlexRS 工作的資料。
1 批次工作站預設配置：1 個 vCPU、3.75 GB 的記憶體、250 GB 的永久磁碟 (如果不使用 Dataflow) 25 GB 的永久磁碟 (如果使用 Dataflow Shuffle
2 FlexRS 工作站預設配置：2 個 vCPU、7.50 GB 的記憶體、每個工作站皆有 25 GB 的永久磁碟 (至少可使用兩個工作站)
Dataflow 運算資源定價 - 串流
下表列出工作站資源「串流」的定價詳細資料 處理的引擎資料 (舊版) 和用於串流的 Streaming Engine 運算單元 就能正常運作。
3 串流工作站預設配置：4 個 vCPU、15 GB 記憶體、400 GB 永久磁碟 如未使用 Streaming Engine，則有 30 GB 的永久磁碟 (若使用 Streaming Engine)。 Dataflow 服務目前僅限每個工作站執行個體使用 15 個永久磁碟。 也就是執行串流工作工作站和磁碟的資源配額下限為 1:1。
4 Dataflow 重組作業是根據套用的資料量調整來計費， 執行讀取和寫入作業時，在重組資料集時可能會發生這種情況。詳情請參閱 Dataflow Shuffle 定價詳細資料。Dataflow Shuffle 定價不適用於採用以資源為基礎的計費方式的 Streaming Engine 工作。
5 Streaming Engine 運算單元：適用於使用 Streaming Engine 的串流工作和以資源為基礎的計費模式。系統不會針對重組期間處理的資料收取這些工作費用。
針對已處理的 Dataflow Shuffle 資料量調整音量
費用是根據 Dataflow 工作量計算而得，費用是根據 您實際為 Dataflow Shuffle 資料處理量支付的費用金額，等同於以原價處理較少量的資料 (少於 Dataflow 工作實際處理的資料量)。這項差異會導致 已處理的計費重組資料指標小於 「已處理的重組資料總數」指標。
下表說明調整項的套用方式：
| Dataflow Shuffle 已處理資料 | 帳單調整項 |
| 前 250 GB | 減少 75% |
| 接下來的 4870 GB | 減少 50% |
| 超過 5120 GB (5 TB) 的資料 | 無 |
舉例來說，如果您的管道總共處理了 1024 GB (1 TB) 的 Dataflow Shuffle 資料處理量，計費金額的計算方式如下：
250 GB * 25% + 774 GB * 50% = 449.5 GB * regional Dataflow Shuffle data processing rate
如果您的管道總共處理了 10240 GB (10 TB) 的 Dataflow Shuffle 資料處理量，那麼計費資料量會是：
250 GB * 25% + 4870 GB * 50% + 5120 GB = 7617.5 GB
Dataflow Prime 運算資源定價
Dataflow Prime 是一種資料處理平台，以 Dataflow 為基礎 提升資源使用率與分散式診斷功能
Dataflow Prime 工作使用的運算資源會依資料量計費 運算單元 (DCU)。DCU 代表分配的運算資源 來執行管道其他 Dataflow 資源 Dataflow Prime 工作 (例如永久磁碟、GPU 和快照) 使用的 系統會另外收取帳單費用。
如要進一步瞭解可用的區域及其可用區，請參閱 Compute Engine 區域和可用區 頁面。
資料運算單元
資料運算單元 (DCU) 是一種 Dataflow 用量計算單位， 會追蹤工作使用的運算資源數量。追蹤的資源數 依據 DCU 提供 vCPU、記憶體和 Dataflow 重組資料 和已處理的 Streaming Engine 資料 (用於串流工作)。工作 相較於耗用更多的工作，耗用較多資源的 DCU 用量就更高 以減少資源一個 DCU 等同於 Dataflow 工作，在 1 個 vCPU 4 GB 的工作站上執行一小時。
資料運算單元計費
系統會針對工作耗用的 DCU 總數量向您收費。 單一 DCU 的價格會因您的 執行批次工作或串流工作使用 Dataflow Prime 時 採用以資源為基礎的帳單時， 系統會根據已使用的資源總數計費，而非處理位元組數。
最佳化資料運算單元用量
您無法為工作設定 DCU 數量。Dataflow Prime 會計入 DCU。 不過，您可以透過管理以下項目，減少耗用的 DCU 數量 這份工作：
- 減少記憶體消耗量
- 使用篩選器、合併與高效率編碼器，減少重組步驟中處理的資料量
如要找出這些最佳化做法，請使用 Dataflow 監控介面 和執行詳細資料介面。
Dataflow Prime 與 Dataflow 的定價有何不同？
在 Dataflow 中，您必須針對不同的資源支付費用 您的工作耗用的 vCPU、記憶體、永久磁碟等 Dataflow Shuffle 或 Streaming Engine
資料運算單元會整合除了儲存空間之外的所有資源 單個計量單位您需要支付 Persistent Disk 資源的費用，以及 根據工作類型、批次或串流耗用的 DCU 數量。 若需更多資訊，請參閲 使用 Dataflow Prime
採用 Dataflow 定價模式的現有工作會受到什麼影響？
現有的批次和串流工作會繼續透過 Dataflow 模型當您將工作機會更新為 使用 Dataflow Prime 然後使用 Dataflow Prime 的定價模式，不過這些模型是針對 Persistent Disk 計費 對耗用的 DCU 來說，這是相當便利的資源
其他 Dataflow 資源
儲存空間、GPU、快照和其他資源的費用是 與 Dataflow 和 Dataflow Prime 的設定相同
儲存空間資源定價
針對串流、批次和 FlexRS 的儲存空間資源費率相同 就能正常運作。別擔心！您可以使用 管道選項，用於變更預設磁碟大小或磁碟類型。 Dataflow Prime 會根據 資料表。
Dataflow 服務目前最多只能使用 15 個永久磁碟 每個工作站執行個體每個永久磁碟 適用於個別 Compute Engine 虛擬機器介於 「工作站和磁碟」是資源配額下限
使用 Streaming Engine 的工作會使用 30 GB 開機磁碟使用 Dataflow Shuffle 的工作 則會使用 25 GB 開機磁碟針對未使用這些產品的工作， 在批次模式下，每個永久磁碟的預設大小為 250 GB 串流模式為 400 GB。
Compute Engine 用量是根據工作站的平均數量計算，
Persistent Disk 用量取決於「--maxNumWorkers」的確切值。Persistent Disk
並重新分配，使每個工作站都有相同數量的連接磁碟。
GPU 資源定價
GPU 資源的費用與串流和批次工作相同。FlexRS 目前不支援 GPU。如要瞭解可用的區域和 GPU 或可用區 GPU 區域和可用區可用性 。
快照
如要協助管理串流管道的穩定性，您可以使用 儲存和還原管道狀態。 快照用量是根據儲存的資料量計算，因此取決於下列因素：
- 擷取至串流管道的資料量
- 您的時間區間設定邏輯
- 管道階段的數量
您可以使用 Dataflow 拍攝串流工作的快照 控制台或 Google Cloud CLI從快照建立工作來還原管道狀態無須支付額外費用。若需更多資訊，請參閲 使用 Dataflow 快照。
快照定價
機密 VM
Dataflow 的機密 VM 會加密使用中的 工作站 Compute Engine VM詳情請參閱 機密 VM 總覽。
在 Dataflow 中使用機密 VM 會產生額外的固定費率 每個 vCPU 和每 GB 的費用
機密 VM 定價
價格為全球通用，不會因 Google Cloud 區域而變動。
非 Dataflow 資源
除了 Dataflow 用量之外，工作「可能」也會耗用下列資源： 系統會分別依據各項資源的用量計費，包括但不限於以下項目：
-
Dataflow 工作會使用 用於儲存暫存檔案的 Cloud Storage 執行期間。為避免產生不必要的儲存空間費用， 關閉虛刪除功能 Dataflow 工作會用於臨時儲存空間。 若需更多資訊，請參閲 移除值區的虛刪除政策。
-
您可以將記錄檔轉送至其他目的地，或是 排除記錄檔。 如要瞭解如何最佳化 Dataflow 的記錄檔資料量 工作，請參閱控制 Dataflow 記錄量。
查看資源用量
您可以查看相關聯的 vCPU、記憶體和 Persistent Disk 資源總數 在「資源指標」下方的「工作資訊」面板中顯示工作。個人中心 您就能透過「聯播網」報表 Dataflow 監控介面：
- vCPU 總使用時間
- 記憶體總使用時間
- 永久磁碟總使用時間
- 已處理的串流資料總量
- 已處理的重組資料總數
- 已處理的計費重組資料
您可以使用「已處理的重組資料總量」指標來評估 和已處理的計費重組資料指標來判斷費用 執行 Dataflow 工作的設定
針對 Dataflow Prime，您可以查看工作使用的 DCU 總數 。
Pricing Calculator
您可以使用 Google Cloud Pricing Calculator 來瞭解帳單所列費用的計算方式。
如果您使用美元以外的貨幣付費，則會按照 Cloud Platform SKU 頁面列出的相應貨幣價格計費。
後續步驟
- 參閱 Dataflow 說明文件。
- 開始使用 Dataflow。
- 試用 Pricing Calculator。
- 瞭解 Dataflow 解決方案與應用實例。