Cloud Tensor Processing Unit (TPU)

使用 vLLM 和 MaxDiffusion 加速 AI 推論作業。vLLM 是熱門的開放原始碼推論引擎，專為大型語言模型 (LLM) 推論作業設計，可實現高處理量和低延遲。vLLM 現在提供 vLLM TPU，可透過 tpu-inference 實現高處理量、低延遲的 LLM 推論。它整合了 JAX 和 PyTorch，提供更廣泛的模型涵蓋範圍 (Gemma、Llama、Qwen) 和強化功能。MaxDiffusion 可在 Cloud TPU 上最佳化擴散模型推論作業，以達到高效能。

有了 Cloud TPU，就能將執行效能和效率提升到最高，並在最短時間內創造價值。Cloud TPU Multislice 訓練技術可將訓練規模擴充至數千個晶片，ML Goodput Measurement 可評估並提升大規模機器學習訓練效率，MaxText 和 MaxDiffusion 則可讓您部署開放原始碼參考資源，快速開始訓練大型模型。

運用可代表您實際用途的自有訓練資料，有效率地微調基礎模型。Cloud TPU v5e 的大型語言模型微調成本效益，是 Cloud TPU v4 的 1.9 倍。

Cloud TPU v5e 能讓各種 AI 工作負載 (包括最新的 LLM 和生成式 AI 模型) 進行高效能且具成本效益的推論作業。相較於 Cloud TPU v4，TPU v5e 每一美元的處理量效能提升幅度最高可達 2.5 倍，速度提升幅度最高可達 1.7 倍。每個 TPU v5e 晶片每秒最多可提供 393 兆次 int8 運算，讓複雜的模型能夠快速做出預測。一個 TPU v5e Pod 每秒最多可提供 10 萬兆次 int8 運算，也就是 100 petaOps 的運算能力。

完善的 AI/ML 平台應具備下列特點 (i) 可使用 GPU 進行大規模訓練及提供工作負載的基礎架構自動化調度管理 (ii) 能與分散式運算和資料處理架構彈性整合 (iii) 支援同一基礎架構中的多個團隊，盡可能提升資源使用率。

結合 Cloud TPU 的威力與 GKE 的靈活性與擴充性，以更輕鬆快速的方式建構及部署機器學習模型。有了 GKE 提供的 Cloud TPU，您現在可以為所有工作負載打造一致的作業環境，將自動化機器學習運作管線標準化。