TPU 上で兆単位のパラメータを扱うモデルのクラスタレベルの信頼性

※この投稿は米国時間 2026 年 5 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。

フロンティア AI モデルにより、コンピューティングの単位が大きく変化しています。数兆パラメータ規模の AI トレーニングでは、数千もの相互接続されたコンポーネントが、産業規模のデプロイメントでオーケストレートされ、単一の巨大なエンティティとして動作する必要があります。

同様に、信頼性に関しては、インフラストラクチャの総合的な可用性が重要です。しかし、これまで 20 年近くにわたり、インスタンス レベルの信頼性がクラウドの標準になっていました。インスタンス レベルの信頼性は、マイクロサービスと水平方向にスケーラブルなアプリケーション向けに設計されており、独立した小さなユニットの集合としてインフラストラクチャを扱います。このモデルは、大規模な AI ワークロードには根本的に不十分です。

Google は、信頼性をインスタンス レベルからクラスタレベルのモデルに移行する必要があると考えています。

Google は 10 年以上にわたり、Tensor Processing Unit（TPU）クラスタを大規模に運用し、最新の AI ワークロードのアーキテクチャ要件を満たす信頼性を実現してきました。このブログ記事では、Superpod レベルでの集合的なパフォーマンスに焦点を当てた、Google Cloud TPU のクラスタレベルの信頼性フレームワークをご紹介します。このフレームワークは、Google 社内で世界最先端の AI モデルを構築するために使用しているものです。現在、本番環境で使用している TPU の運用標準であり、先日発表された第 8 世代 TPU のアーキテクチャのブループリントとして機能しています。

AI スーパーコンピュータの信頼性

TPU の Superpod では、数千個のチップがキューブ（64 個の TPU）に編成されています。高速チップ間相互接続（ICI）リンクがキューブ内のすべてのチップを接続し、動的に構成可能な光回路スイッチ（OCS）ネットワークがすべてのキューブを接続して Superpod を形成しています。

システム全体のトレーニングの進行のためには、Superpod 内で完全に正常なキューブの数を最大化する必要があります。AI モデルのパフォーマンスは高帯域幅で低レイテンシの通信に依存するため、あるユニットがトレーニングの進行に貢献するには、キューブ内のすべてのチップと ICI リンクが動作可能な状態にある必要があります。こうしたアーキテクチャの現実を踏まえ、Google のクラスタレベルのフレームワークは、業界がインスタンス レベルの信頼性から大規模な可用性へと移行し、この AI 時代にどのように信頼性を実現できるかを定義するのに役立ちます。

詳細: 大規模な可用性の計算

インスタンス レベルの信頼性モデルは多くの場合、決定的ですが、産業規模の AI デプロイメントでは、数千個のチップにわたる確率的アプローチが必要です。従来の設定では、単一のチップの平均故障間隔（MTBF）を追跡していたかもしれません。しかし、フロンティア AI の規模では、コンポーネントの数が増えるにつれてクラスタレベルの MTBF が急激に低下します。

スケーリングによって信頼性がどれほど早く損なわれるかを可視化するには、マルコフの不等式のような単純な上限を確認できます。

障害が発生したキューブ数を X と定義した場合、マルコフの不等式からわかることは、クラスタサイズとともに予想される障害数 E[X] が増加したときに、システム的なアーキテクチャの変更なしでは、厳格な障害の基準を下回る確率を保証することが、ますます困難になるということです。

マルコフの不等式は、大規模なリスクについて有用な経験則を提供しますが、Google は、大規模な可用性を、クラスタの総合的な健全性の二項分布を使用してモデル化しています。n 個の独立したユニット（キューブ）から構成される Superpod で、k 個以上のキューブが完全に動作し、相互接続される確率を、n 個の独立した試行の成功の累積分布として定義します。トレーニングの生産性において 95% の信頼区間を確保するには、次の式で k を求めます。

ここで、n は Superpod 内の合計キューブ数を表し、p はキューブレベルの総合的な可用性を表します。

このモデルにより、インスタンス レベルのモデルが、大規模トレーニングの実際のパフォーマンス要件を反映するトポロジ対応フレームワークに置き換わります。このため、より大きなコンピューティング ブロックが正常な状態で接続され、継続的なトレーニングの進行を促進できるようになります。

最新の AI ハードウェアの規模

この新しい信頼性モデルを検証するために、Google の第 7 世代 TPU である Ironwood を使用しました。Ironwood は、Gemini や Nano Banana などの高度なモデルを支えるカスタム シリコンで、一般提供されています。

Ironwood Superpod は、9,216 個のチップを 1 つのコンピューティング ドメインに統合した、高密度で高性能なファブリックです。144 個のキューブから構成され、各キューブには 64 個のチップが含まれます。キューブ内では、ICI リンクによって非常に高密度なオールツーオール ネットワーク ファブリックが作成され、キューブ内の分散オペレーションに大容量の帯域幅と低レイテンシの接続が提供されています。Superpod を形成するために、144 個のキューブが、OCS を使用して接続されています。大規模なジョブの場合、Pod 内の複数のキューブを相互接続して 1 つのスーパースライスにしたり、複数のスライスを接続してマルチスライス クラスタを形成したりすることで、容量をプロビジョニングできます。データセンター ネットワークを介して複数の Superpod にわたりキューブを接続し、さらに大規模なワークロードを実行することもできます。

このモデルを使用して、Ironwood Superpod のトポロジ上の可用性を、1 か月のうち 95% の期間でキューブ 144 個のうち 130 個が利用可能であることと判断します。これは、完全に動作し、ICI と OCS を介して相互接続された 8,320 個のチップで構成される大規模なコンピューティング ブロックとなり、ヒーロージョブ（フロンティア AI の大規模なトレーニング実行）に特化して最適化された信頼性モデルを確立します。

クラスタサイズとその統計的な可用性は、非線形の関係にあります。必要な信頼レベルを調整することで、統計的な確実性を持って対応できるスライスサイズを特定できます。研究者にとって、このマッピングは容量の可用性曲線を表します。ミッション クリティカルな実行に 99% の可用性を必要とするワークロードを持つ組織は、スライスサイズを 125 キューブに最適化できます。一方、最大限のスケールを追求する組織は、95% の信頼区間で 130 キューブを利用できます。

この新しい信頼性モデルは、以下を通じて Superpod 全体の有用性を最大化します。

• フルアクセス: このモデルでは、容量使用率が制限されず、完全に正常なキューブの可用性に重点が置かれます。1 つのチップまたは ICI で障害が発生すると、キューブ全体が異常と分類されますが、お客様はキューブ内の残りの容量に引き続きアクセスできます。このため、Ironwood Superpod の大部分は利用可能であり、重要かつ大規模なトレーニングのコンピューティング フットプリントも最適化されます。

• リソース使用量の最適化: 130 キューブのモデルは主に大規模なトレーニング実行に重点を置いていますが、Superpod 全体はさまざまなワークロードの組み合わせに引き続き使用できます。このため、研究者は残りのキューブを研究実験、推論、開発 / テスト ワークロードに利用でき、メインのトレーニング実行の信頼性を損なうことなく Superpod の有用性を最大化できます。

お客様は現在、Ironwood を大規模に使用しており、このモデルにより、最も要求の厳しいヒーロージョブをトレーニングできるようになっています。

ML の生産性向上

グッドプット指標は、ML 生産性の主要な尺度です。信頼性における Google の新しい標準は、グッドプットの決定的な基盤を提供し、要求の厳しいヒーロージョブでこの指標を最大化するように設計されています。これにより、最先端の研究に必要な大規模なインフラストラクチャが単一のエンティティとして機能することが可能となります。

このモデルは、大規模なトレーニング実行にリソースのフルセットを利用できるようにすることで、3 つのグッドプット指標の一つであるスケジューリング グッドプットで高い値を実現します。このインフラストラクチャ レベルの可用性とソフトウェア スタックを組み合わせることで、全体的なグッドプットを向上させることができます。Google は、次の 3 層から構成される信頼性モデルを通じてこれを実現しています。

1. インフラストラクチャ: TPU Superpod が、必要な規模を物理的に利用可能にして接続するための容量フットプリントを提供します。

2. フレームワーク: JAX と Pathways がレジリエンスを提供します。障害が発生したノードを再構成またはホットスワップして、完全な再起動を必要とせずに前進を維持します。

3. アプリケーション: 自動チェックポイントやマルチティア チェックポイントなどのフォールト トレランス メカニズムにより、トレーニングの状態が保持されるため、障害が発生した場合に失われる進行分を最小限に抑えることができます。

次世代の AI ブレークスルーを実現

クラスタレベルの信頼性モデルは、AI 時代の新しい標準の始まりを示しています。今後は、AI スーパーコンピュータが、イノベーションのための信頼できる産業規模のエンジンとなるでしょう。Google は、その信頼性に対するスタンスを、フロンティア モデルのニーズに合わせることで、次世代の AI ブレークスルーをより迅速で、より信頼性が高く、より予測可能なものにしています。TPU の詳細を確認して利用を開始するには、こちらをクリックしてください。

- シニア スタッフ ソフトウェア エンジニア、Akshay Vasudev

- グループ プロダクト マネージャー、Mohan Pichika