TPU 是 Google 開發的客製化特殊應用積體電路 (ASIC)，專為加速機器學習和人工智慧工作負載而設計。TPU 經過最佳化調整，能高效處理大量矩陣乘法與張量運算，這些是類神經網路的基本建構模塊，可支援從大型語言模型到複雜推論代理的各類應用。

TPU 的核心是專門的矩陣乘法單元 (MXU)，可同時處理大量矩陣運算。TPU 採用「收縮陣列」架構，資料讀取一次後即可持續流經數千個算術邏輯單元 (ALU)，累積運算結果，無需反覆讀寫記憶體。此外，TPU 也支援降低精確度的算術運算 (例如 16 位元或 8 位元浮點數)，每秒可執行數百萬次運算，同時維持 AI 模型所需的準確率。

Cloud TPU 原生支援頂尖的機器學習框架，主要包括 TensorFlow、PyTorch 和 JAX，並提供高效能。以這些框架編寫的程式碼會由加速線性代數 (XLA) 編譯器編譯，自動將運算圖最佳化，在底層 TPU 硬體上有效率地執行。

TPU 非常適合需要大量平行矩陣運算的深度學習工作。強烈建議使用這些工具：

• 以矩陣運算為主的模型
• 訓練執行時間長達數週或數月才能收斂
• 大型基礎模型和大型語言模型 (LLM)
• 需要超大型嵌入的工作負載，例如進階推薦引擎
• 持續強化學習和低延遲、高容量的推論

TPU Pod 是由 TPU 晶片組成的大型實體叢集，透過專用高速網路 (例如 Google 的光學電路交換或 Virgo 網路) 相互連接。單一超級 Pod 可包含數千個互連晶片，而「配量」則是可租用的 Pod 專屬子集。有了這種網路架構，開發人員幾乎不必修改程式碼，就能在大量運算資源中擴充 AI 工作負載，有效將整個配量視為單一機器運作。

Goodput是指基礎架構實際用於主動訓練模型的時間，不包含閒置時間。訓練龐大的基礎模型需要協調數千個晶片，因此資料傳輸延遲、硬體重設或檢查點作業都很容易造成運算週期的浪費。Cloud TPU 經過精心設計，可透過高頻寬互連網路和最佳化記憶體快取，盡可能提高有效處理量，確保付費的運算週期直接用於推動模型進展。

使用者可以透過 Google Kubernetes Engine (GKE) 和 Cluster Director，確保可靠性、全面監控及管理。透過 TPU 專用 GKE，客戶能在雲端原生生態系統中運作，使用推論閘道進行負載平衡，並將部署規模擴充至多達 130,000 個 GKE 節點。

Cloud TPU 主要透過熱門的開放原始碼服務引擎 vLLM 和 SGLang，支援高處理量、低延遲的 LLM 服務：

• vLLM：透過 vllm-tpu 套件與 Cloud TPU 整合，提供 JAX 模型，並透過 vllm-torchtpu 提供 Torch 模型。
• SGLang：使用專屬的 JAX 後端 (sglang-jax) 和獨立的 Torch 後端 (sglang-torch)，提供高效能 TPU 服務。

這兩項專案都提供經過最佳化的套件專屬程式庫，專為 TPU 硬體量身打造，可大幅提高服務效率。如需設定指南，請參閱 Cloud TPU 推論說明文件。