搭配 Dataflow 使用 Compute Engine 預留項目

如要確保 Dataflow 工作需要 VM 資源時,這些資源都能派上用場,可以使用 Compute Engine 預訂功能。預留項目可確保您取得 Compute Engine 可用區資源的容量。

如要將 Compute Engine 預留項目與 Dataflow 搭配使用,請按照下列步驟操作:

  1. 建立 Compute Engine 預留項目。可以是單一專案預留項目或共用預留項目。詳情請參閱下列文件:

    預留項目可包含 GPU 或 TPU 加速器。

  2. 提交 Dataflow 工作時,請根據使用的 Beam SDK 版本,傳遞下列其中一個服務選項:

    • Beam 版本 < 2.29:--experiments=skip_gce_quota_verification
    • Beam 版本 >= 2.29:--dataflow_service_options=automatically_use_created_reservation

如要避免同一個專案中的低優先順序工作負載與 Dataflow 爭用預留項目,請在為這些工作負載建立 VM 時,將預留項目相依性設為 none。詳情請參閱「使用預留執行個體」。

如要使用預訂,Dataflow 工作站必須符合預訂設定。您可能需要為工作設定工作站機器類型。詳情請參閱工作人員

限制

  • Dataflow 工作站使用預留項目時,必須遵守所有 Compute Engine 預留項目的限制。請參閱預留的運作方式

  • Dataflow 依賴 Compute Engine 中的預設消耗順序。因此,有下列限制:

    • 如果相同專案或機構中的其他工作負載未指定 --reservation 旗標,可能會與 Dataflow 工作負載競爭專案專屬或共用的預留資源。
  • Dataflow Prime 工作不會耗用 Compute Engine 預留項目。

預訂和加速器

Dataflow 支援專門針對使用加速器 (GPU 或 TPU) 的管道預留資源。這項功能通常會透過許可清單開放使用。如需瞭解如何搭配特定預訂使用 Dataflow 加速器,請與您的帳戶團隊聯絡。

定價

Dataflow 會在 Dataflow 工作執行期間,針對自動耗用的預留項目 VM 向您收費。如果 Dataflow 未使用 VM,Compute Engine 會向您收費。

Compute Engine 定價模式

如果 Dataflow 使用的 VM 來自特定目標預留項目,且這些 VM 具有 GPU 或 TPU,則系統會根據 Compute Engine 定價,針對這些預留 VM 的運算資源收費。如果明確指定的預留項目附加至 Compute Engine 依資源計算的承諾使用合約,您也能獲得適用的依資源計算承諾使用折扣 (CUD)。此外,您還需要支付 Dataflow 中耗用的運算資源管理費。如需更多定價詳細資料,請參閱 Dataflow 定價

Dataflow 定價模式

如果您搭配 Dataflow 使用任何其他類型的 Compute Engine 預留資源,系統會根據 Dataflow 定價模式計費。即使這些預留項目附加至依資源計算的承諾使用合約,透過這些預留項目使用的 Dataflow 也不適用依資源計算的 CUD。這項規定適用於下列 Compute Engine 預留項目:

  • 明確指定的預留項目 (不含 GPU 或 TPU)
  • 所有自動耗用的預留項目

後續步驟

如要進一步瞭解 Compute Engine 預留項目,請參閱「Compute Engine 可用區資源的預留項目」。