Dataflow 支援 TPU

Google Cloud TPU 是 Google 專門設計的 AI 加速器,適合用於訓練及使用大型 AI 模型。這類裝置可為各種 AI 工作負載調度資源,達到節省成本的效果,並能透過 PyTorch、JAX 和 TensorFlow 等 AI 架構,加速處理推論工作負載。如要進一步瞭解 TPU,請參閱 TPU 簡介。Google Cloud

在 Dataflow 中使用 TPU 的先決條件

  • 您的 Google Cloud 專案必須獲准使用這項正式發布的產品。

限制

這項服務有下列限制:

  • 僅支援單一主機 TPU 加速器:Dataflow TPU 服務僅支援單一主機 TPU 設定,其中每個 Dataflow 工作站會管理一或多個 TPU 裝置,這些裝置不會與其他工作站管理的 TPU 互連。
  • 僅支援同質 TPU 工作站集區:Dataflow 適當調整大小和 Dataflow Prime 等功能不支援 TPU 工作負載。

定價

使用 TPU 的 Dataflow 工作會根據工作站 TPU 晶片時數計費,不會收取工作站 CPU 和記憶體費用。詳情請參閱 Dataflow 定價頁面

可用性

以下是可用的 TPU 加速器和處理區域。

支援的 TPU 加速器

支援的 TPU 加速器組合會以元組 (TPU 類型、TPU 拓撲) 表示。

  • TPU 類型是指 TPU 裝置的型號。
  • TPU 拓撲是指配量中的 TPU 晶片數量和實體排列方式。

如要為 Dataflow 工作站設定 TPU 類型和拓撲,請使用格式為 type:TPU_TYPE;topology:TPU_TOPOLOGYworker_accelerator pipeline 選項

Dataflow 支援下列 TPU 設定:

TPU 類型 拓撲 必要條件 worker_machine_type
tpu-v5-lite-podslice 1x1 ct5lp-hightpu-1t
tpu-v5-lite-podslice 2x2 ct5lp-hightpu-4t
tpu-v5-lite-podslice 2x4 ct5lp-hightpu-8t
tpu-v6e-slice 1x1 ct6e-standard-1t
tpu-v6e-slice 2x2 ct6e-standard-4t
tpu-v6e-slice 2x4 ct6e-standard-8t
tpu-v5p-slice 2x2x1 ct5p-hightpu-4t

區域

如要瞭解 TPU 適用的地區和區域,請參閱 Cloud TPU 說明文件中的「TPU 地區和區域」。

後續步驟