TPU は、Google が開発したカスタム設計の特定用途向け集積回路（ASIC）です。ML と AI のワークロードを高速化するために、一から専用に構築されています。TPU は、ニューラル ネットワークの基本的な構成要素として機能する、大量の行列乗算とテンソル演算に特化して最適化されており、大規模言語モデルから複雑な推論エージェントまで、あらゆるものを強化します。

TPU の中核となるのは、大量の行列演算を同時に処理する専用の行列乗算ユニット（MXU）です。TPU は「シストリック アレイ」アーキテクチャを利用して、データを一度読み取ると、数千の算術論理ユニット（ALU）に継続的に流し、メモリへの読み取りと書き込みを常に行うことなく結果を蓄積します。また、低精度演算（16 ビットまたは 8 ビット浮動小数点など）をサポートしているため、AI モデルに必要な精度を犠牲にすることなく、1 秒あたり数百万回の計算が可能です。

Cloud TPU は、主要な ML フレームワーク（主に TensorFlow、PyTorch、JAX）をネイティブにサポートし、高いパフォーマンスを実現します。これらのフレームワークで記述されたコードは、Accelerated Linear Algebra（XLA）コンパイラによってコンパイルされます。このコンパイラは、基盤となる TPU ハードウェア上で効率的に実行されるように計算グラフを自動的に最適化します。

TPU は、大規模な並列行列演算を必要とするディープ ラーニング タスクに優れています。次の場合に強くおすすめします。

• 行列計算が多くを占めるモデル
• 収束するまでに数週間から数か月かかるトレーニング実行
• 大規模な基盤モデルと大規模言語モデル（LLM）
• 高度なレコメンデーション エンジンなど、極めて大規模なエンベディングを含むワークロード
• 継続的な強化学習と、大量かつ低レイテンシの推論

TPU Pod は、専用の高速ネットワーク（Google の光回路スイッチや Virgo ネットワークなど）で接続された TPU チップの巨大な物理クラスタです。1 つのスーパーポッドには、相互接続された数千個のチップを搭載できます。「スライス」は、レンタルできる Pod の専用の小さなサブセットです。このネットワーキング アーキテクチャにより、デベロッパーはコードをほとんど、あるいはまったく変更することなく、大量のコンピューティングにわたって AI ワークロードをスケーリングし、スライス全体を単一の統合マシンとして効果的に運用できます。

Goodputとは、インフラストラクチャがアイドル状態ではなく、モデルのトレーニングに実際に費やした生産的な時間を指します。大規模な基盤モデルのトレーニングには、数千個のチップにわたる複雑なオーケストレーションが伴います。つまり、データ転送の遅延、ハードウェアのリセット、チェックポイント処理によって、コンピューティング サイクルが簡単に無駄になってしまいます。Cloud TPU は、高帯域幅の相互接続と最適化されたメモリ キャッシュによってグッドプットを最大化するように設計されており、有料のコンピューティング サイクルがモデルの進歩に直接貢献します。

ユーザーは、Google Kubernetes Engine（GKE）と Cluster Director を使用して、信頼性、包括的なモニタリング、管理をサポートできます。TPU 向け GKE を活用することで、お客様は、ロード バランシング用の Inference Gateway と、デプロイを最大 130,000 個の GKE ノードまでスケールする機能を備えたクラウドネイティブなエコシステムで運用できます。