Cloud Tensor Processing Unit (TPU)
使用 Google Cloud TPU 加快 AI 開發作業
不確定 TPU 是否符合您的需求嗎?瞭解何時在 Compute Engine 執行個體中使用 GPU 或 CPU 執行機器學習工作負載。
總覽
什麼是 Tensor Processing Unit (TPU)?
Cloud TPU 有哪些優點?
何時使用 Cloud TPU?
Cloud TPU 與 GPU 有何不同?
GPU 原本就是專為處理電腦繪圖而設計的處理器,其平行處理架構非常適合用於處理 AI 工作負載常見的大型區塊資料的演算法。瞭解詳情。
TPU 是 Google 針對類神經網路設計的特殊應用積體電路 (ASIC)。TPU 具備矩陣乘法單元 (MXU) 和專屬互連網路拓撲等特殊功能,非常適合用來加速 AI 訓練和推論。
Cloud TPU 版本
Cloud TPU v5e
效率最佳、用途多元且可擴充的 Cloud TPU。
Cloud TPU v5e 將於北美洲 (美國西部/中部和東部區域)、歐洲、中東和非洲地區 (荷蘭) 和亞太地區 (新加坡) 推出
Cloud TPU v4
最強大的 Cloud TPU,可用於訓練 AI 模型。
Cloud TPUv4 已於 us-central2 區域推出
Cloud TPU 版本 | 說明 | 適用情況 |
---|---|---|
Cloud TPU v5e |
效率最佳、用途多元且可擴充的 Cloud TPU。 |
Cloud TPU v5e 將於北美洲 (美國西部/中部和東部區域)、歐洲、中東和非洲地區 (荷蘭) 和亞太地區 (新加坡) 推出 |
Cloud TPU v4 |
最強大的 Cloud TPU,可用於訓練 AI 模型。 |
Cloud TPUv4 已於 us-central2 區域推出 |
常見用途
執行大規模 AI 訓練工作負載
使用 Cloud TPU Multislice 來以符合成本效益的方式調度資源
相較於 TPU v4,TPU v5e 的 LLM 和生成式 AI 模型每一美元的訓練效能最多可提升 2 倍。有了 Multislice 技術,使用者就能輕鬆調整 AI 模型的資源配置,超越單一 TPU Pod 的資源,以及使用數萬個 Cloud TPU 晶片進行訓練,包括 TPU v5e 和 TPU v4。此外,Multislice 可讓開發人員運用相同的 XLA 程式設計模型,在單一 Pod 中透過晶片間互連網路 (ICI) 或透過資料中心網路 (DCN) 跨 Pod 調度工作負載資源。
微調基礎 AI 模型
處理大規模 AI 推論工作負載
運用可調度資源的 AI 基礎架構,盡可能發揮每一美元的最高效能
Cloud TPU v5e 可為多種 AI 工作負載 (包括最新的 LLM 和生成式 AI 模型) 提供高效能且具成本效益的推論。TPU v5e 每一美元的處理量效能最高可提升 2.5 倍,相較於 Cloud TPU v4,速度最高可達 1.7 倍。每個 TPU v5e 晶片每秒最多可提供 393 兆次 int8 運算,讓複雜的模型能夠快速做出預測。一個 TPU v5e Pod 每秒最多可提供 100 千兆次 int8 運算,也就是 100 petaOps 的運算能力。
歡迎到這裡瞭解詳情GKE 中的 Cloud TPU
使用 GKE 輕鬆調度資源
結合 Cloud TPU 與 GKE 的靈活性與擴充性,以更輕鬆快速的方式建構及部署機器學習模型。有了 GKE 提供的 Cloud TPU,您現在可以為所有工作負載打造一致的作業環境,將自動化機器學習運作管道標準化。
Vertex AI 中的 Cloud TPU
使用 Cloud TPU 執行 Vertex AI 訓練和預測作業
如果客戶想用最簡單的方式開發 AI 模型,可選擇使用 Vertex AI 端對端平台部署 Cloud TPU v5e,在專為低延遲服務和高效能訓練而打造的全代管基礎架構上,順利建構 AI 模型。
定價
Cloud TPU 定價
所有 Cloud TPU 價格皆以晶片小時為單位計算
起始價:
$1.200
每晶片小時
起始價:
$0.8400
每晶片小時
起始價:
$0.5400 美元
每晶片小時
Cloud TPU v4
起始價:
$3.2200
每晶片小時
起始價:
$2.0286
每晶片小時
起始價:
$1.4490
每晶片小時
Cloud TPU 定價 | 所有 Cloud TPU 價格皆以晶片小時為單位計算 | ||
---|---|---|---|
Cloud TPU 版本 | 評估價格 (美元) | 承諾使用 1 年 (美元) | 承諾使用 3 年 (美元) |
Cloud TPU v5e |
起始價: $1.200 每晶片小時 |
起始價: $0.8400 每晶片小時 |
起始價: $0.5400 美元 每晶片小時 |
Cloud TPU v4 |
起始價: $3.2200 每晶片小時 |
起始價: $2.0286 每晶片小時 |
起始價: $1.4490 每晶片小時 |