Cloud Tensor Processing Unit (TPU)
使用 Google Cloud TPU 加快 AI 開發作業
不確定 TPU 是否符合需求嗎？請查看說明文件，瞭解在 Compute Engine 執行個體中使用 GPU 或 CPU 執行機器學習工作負載的時機。
總覽
什麼是 Tensor Processing Unit (TPU)？
Cloud TPU 有哪些優點？
Cloud TPU 能以符合成本效益的方式調度資源，並可支援訓練、微調和推論等多種 AI 工作負載。Cloud TPU 具備靈活彈性，讓您可以透過頂尖的 AI 架構加速處理工作負載，包括 PyTorch、JAX 和 TensorFlow。您還可以透過 Google Kubernetes Engine (GKE) 中的 Cloud TPU 整合功能，順暢地對大規模 AI 工作負載進行自動化調度管理。此外，只要運用 Dynamic Workload Scheduler，就能同時安排需要的所有加速器，進而提高工作負載的擴充性。如果客戶想用最簡單的方式開發 AI 模型，則可在 Vertex AI 這個全代管 AI 平台上使用 Cloud TPU。
哪些情況適合使用 Cloud TPU？
Cloud TPU 與 GPU 有何不同？
GPU 原本就是專為處理電腦繪圖而設計的處理器，其採用平行處理架構，非常適合用來執行相關演算法，以處理 AI 工作負載中常見的大量資料。瞭解詳情。
TPU 是 Google 為類神經網路設計的特殊應用積體電路 (ASIC)。TPU 具備矩陣乘法計算單元 (MXU) 和專屬互連網路拓撲等專用功能，是用來加速 AI 訓練和推論工作的絕佳選擇。
Cloud TPU 版本
| Cloud TPU 版本 | 說明 | 可用性 |
|---|---|---|
Cloud TPU v5p | 最強大的 Cloud TPU，可用於訓練 AI 模型 | Cloud TPU v5p 於北美地區 (美國東部) 正式發布 |
Cloud TPU v5e | 效率最佳、用途多元且可擴充的 Cloud TPU | Cloud TPU v5e 於北美地區 (美國中部/東部/南部/西部)、歐洲 (西歐) 和亞洲 (東南亞) 正式發布 |
其他 Cloud TPU 版本相關資訊請參閱這裡
Cloud TPU v5p
最強大的 Cloud TPU，可用於訓練 AI 模型
Cloud TPU v5p 於北美地區 (美國東部) 正式發布
Cloud TPU v5e
效率最佳、用途多元且可擴充的 Cloud TPU
Cloud TPU v5e 於北美地區 (美國中部/東部/南部/西部)、歐洲 (西歐) 和亞洲 (東南亞) 正式發布
其他 Cloud TPU 版本相關資訊請參閱這裡
運作方式
深入瞭解 Google Cloud TPU 的特點，並把握千載難逢的機會，瞭解 Cloud TPU 在資料中心內部運作方式。客戶往往會選用 Cloud TPU 執行部分全球規模最大的 AI 工作負載，而這類 TPU 之所以具備這項能力，依靠的不只是晶片。在這部影片中，您將瞭解 TPU 系統的元件，包括資料中心網路、光學電路交換器、水冷卻系統、生物特徵辨識安全性驗證機制等。
常見用途
執行大規模 AI 訓練工作負載
強大、可擴充且高效的 AI 訓練
有了 Cloud TPU，就能將執行效能和效率提升到最高，並在最短時間內創造價值。Cloud TPU Multislice 訓練技術可將訓練規模擴充至數千個晶片，ML Goodput Measurement 可評估並提升大規模機器學習訓練效率，MaxText 和 MaxDiffusion 則可讓您部署開放原始碼參考資源，快速開始訓練大型模型。
其他資源
強大、可擴充且高效的 AI 訓練
有了 Cloud TPU，就能將執行效能和效率提升到最高，並在最短時間內創造價值。Cloud TPU Multislice 訓練技術可將訓練規模擴充至數千個晶片，ML Goodput Measurement 可評估並提升大規模機器學習訓練效率，MaxText 和 MaxDiffusion 則可讓您部署開放原始碼參考資源，快速開始訓練大型模型。
微調基礎 AI 模型
使用 Pytorch/XLA 根據特定應用實例調整大型語言模型
運用可代表您實際用途的自有訓練資料，有效率地微調基礎模型。Cloud TPU v5e 的大型語言模型微調成本效益，是 Cloud TPU v4 的 1.9 倍。
其他資源
使用 Pytorch/XLA 根據特定應用實例調整大型語言模型
運用可代表您實際用途的自有訓練資料，有效率地微調基礎模型。Cloud TPU v5e 的大型語言模型微調成本效益，是 Cloud TPU v4 的 1.9 倍。
處理大規模 AI 推論工作負載
運用可調整規模的 AI 基礎架構，讓投入的每一分資金發揮最高效益
Cloud TPU v5e 能讓各種 AI 工作負載 (包括最新的 LLM 和生成式 AI 模型) 進行高效能且具成本效益的推論作業。相較於 Cloud TPU v4，TPU v5e 每一美元的處理量效能提升幅度最高可達 2.5 倍，速度提升幅度最高可達 1.7 倍。每個 TPU v5e 晶片每秒最多可提供 393 兆次 int8 運算，讓複雜的模型能夠快速做出預測。一個 TPU v5e Pod 每秒最多可提供 10 萬兆次 int8 運算，也就是 100 petaOps 的運算能力。
其他資源
運用可調整規模的 AI 基礎架構，讓投入的每一分資金發揮最高效益
Cloud TPU v5e 能讓各種 AI 工作負載 (包括最新的 LLM 和生成式 AI 模型) 進行高效能且具成本效益的推論作業。相較於 Cloud TPU v4，TPU v5e 每一美元的處理量效能提升幅度最高可達 2.5 倍，速度提升幅度最高可達 1.7 倍。每個 TPU v5e 晶片每秒最多可提供 393 兆次 int8 運算，讓複雜的模型能夠快速做出預測。一個 TPU v5e Pod 每秒最多可提供 10 萬兆次 int8 運算，也就是 100 petaOps 的運算能力。
定價
| Cloud TPU 定價 | 所有 Cloud TPU 價格皆以晶片小時為單位計算 | ||
|---|---|---|---|
| Cloud TPU 版本 | 評估價格 (美元) | 承諾使用 1 年 (美元) | 承諾使用 3 年 (美元) |
Cloud TPU v5p | Starting at $4.2000 美元 每晶片小時 | Starting at $2.9400 美元 每晶片小時 | Starting at $1.8900 美元 每晶片小時 |
Cloud TPU v5e | Starting at $1.2000 美元 每晶片小時 | Starting at $0.8400 每晶片小時 | Starting at $0.5400 美元 每晶片小時 |
Cloud TPU 定價因產品和地區而異。
Cloud TPU 定價
所有 Cloud TPU 價格皆以晶片小時為單位計算
Cloud TPU v5p
Starting at
$4.2000 美元
每晶片小時
Starting at
$2.9400 美元
每晶片小時
Starting at
$1.8900 美元
每晶片小時
Cloud TPU v5e
Starting at
$1.2000 美元
每晶片小時
Starting at
$0.8400
每晶片小時
Starting at
$0.5400 美元
每晶片小時
Cloud TPU 定價因產品和地區而異。
