Cloud Tensor Processing Unit（TPU）

LLM のトレーニングは錬金術のように思えるかもしれませんが、モデルのパフォーマンスを理解して最適化するのに、その必要はありません。この本は、TPU で言語モデルをスケーリングする科学をわかりやすく説明することを目的としています。TPU の仕組みや相互通信の仕組み、実際のハードウェアでの LLM の動作、大規模なスケールで効率的に実行できるようにトレーニングと推論中にモデルを並列処理する方法などについて説明しています。

Cloud TPU によりパフォーマンスと効率が最大となり、最短時間で価値を実現できます。Cloud TPU マルチスライス トレーニングにより、数千のチップまでスケールできます。ML Goodput Measurement を使用して、大規模な ML トレーニングの生産性を測定し、向上させます。大規模モデルのトレーニング用のオープンソース リファレンス デプロイである MaxText と MaxDiffusion は、すぐに使用開始できます。

ユースケースを表す独自のトレーニング データを活用して、基盤モデルを効率的に微調整します。Cloud TPU v5e では、Cloud TPU v4 と比較して、$1 あたりの LLM 微調整のパフォーマンスが最大 1.9 倍高くなっています。

Cloud TPU v5e では、最新の LLM や生成 AI モデルなどの幅広い AI ワークロードに対して、高性能で費用対効果の高い推論を行えます。TPU v5e では、Cloud TPU v4 と比較して、$1 あたりのスループット パフォーマンスが最大 2.5 倍、速度が最大 1.7 倍になります。TPU v5e チップごとに 1 秒あたり最大 393 兆の int8 オペレーションを行うため、複雑なモデルで素早く予測できます。TPU v5e Pod は、1 秒あたり最大 10 京の int8 オペレーション、つまり 100 petaOps の計算能力を実現します。

堅牢な AI / ML プラットフォームでは、（i）トレーニング ワークロードとサービング ワークロードのための GPU を大規模にサポートするインフラストラクチャ オーケストレーション、（ii）分散コンピューティングとデータ処理フレームワークとの柔軟な統合、（iii）リソースを最大限に活用するための同じインフラストラクチャ上での複数チームのサポート、というレイヤが考慮されます。

Cloud TPU の能力と、GKE の柔軟性およびスケーラビリティを組み合わせることで、ML モデルをこれまで以上に迅速かつ簡単に構築してデプロイできます。GKE で利用できる Cloud TPU により、すべてのワークロードに対して一貫性のある単一の運用環境を構築し、自動化された MLOps パイプラインを標準化できるようになります。