Cloud Tensor Processing Unit(TPU)

Google Cloud TPU で AI 開発を加速する

Cloud TPU は、トレーニングから推論に至るまで、すべての AI ワークロードのパフォーマンスと費用を最適化します。TPU は、世界クラスのデータセンター インフラストラクチャを使用して、高い信頼性、可用性、セキュリティを提供します。

TPU が適しているかどうかわからない場合は、 ML ワークロードを実行するために、どんな場面で Compute Engine インスタンスの GPU または CPU を使用できるかについて学習してください。

概要

Tensor Processing Unit(TPU)とは

Google Cloud TPU は、カスタム設計された AI アクセラレータで、大規模な AI モデルのトレーニングと推論向けに最適化されています。chatbot、コード生成、メディア コンテンツ生成、合成音声、ビジョン サービス、レコメンデーション エンジン、パーソナライズ モデルなど、さまざまなユースケースに最適です。

Cloud TPU のメリットとは

Cloud TPU は、トレーニング、微調整、推論といった幅広い AI ワークロードに対して、費用効率の高い方法でスケーリングできるように設計されています。Cloud TPU は、PyTorchJAXTensorFlow などの主要な AI フレームワークでワークロードを高速化する多用途性を提供します。Google Kubernetes Engine(GKE)に Cloud TPU を統合することで、大規模な AI ワークロードをシームレスにオーケストレートできます。Dynamic Workload Scheduler を利用して、同時に必要となるアクセラレータをすべてスケジュールし、ワークロードのスケーラビリティを向上させます。AI モデルを簡単に開発する方法をお探しの場合は、フルマネージド AI プラットフォームである Vertex AI で Cloud TPU を活用することもできます。

Cloud TPU を使用する場面

Cloud TPU は、大規模言語モデル(LLM)の構築などのために、多くの行列計算を行う大規模で複雑なディープ ラーニング モデルのトレーニング用に最適化されています。Cloud TPU は SparseCores も備えています。これは、レコメンデーション モデルのエンベディングに基づいてモデルを高速化するデータフロー プロセッサです。他のユースケースとしては、タンパク質フォールディングのモデリングや創薬などの医療分野が挙げられます。

Cloud TPU と GPU の違い

GPU は、元々コンピュータのグラフィックを操作するために設計された専用プロセッサです。その並列構造は、AI ワークロードでよく見られる大量のデータブロックを処理するアルゴリズムに最適です。詳細

TPU は、Google がニューラル ネットワーク用に設計したアプリケーション固有の集積回路(ASIC)です。TPU は、行列乗算ユニット(MXU)や独自の相互接続トポロジなど、AI のトレーニングと推論の高速化に最適な特殊機能を備えています。

Cloud TPU のバージョン

Cloud TPU バージョン説明対象

Cloud TPU v5p

AI モデルのトレーニングに最適な Cloud TPU です。

Cloud TPU v5p は北米(米国東部リージョン)で一般提供されます

Cloud TPU v5e

最も効率的で、汎用性とスケーラビリティに優れた Cloud TPU

Cloud TPU v5e は、北米(米国中部/東部/南部/西部リージョン)、ヨーロッパ(西リージョン)、アジア(東南リージョン)で一般提供されます

Cloud TPU のバージョンに関する詳細情報

Cloud TPU v5p

説明

AI モデルのトレーニングに最適な Cloud TPU です。

対象

Cloud TPU v5p は北米(米国東部リージョン)で一般提供されます

Cloud TPU v5e

説明

最も効率的で、汎用性とスケーラビリティに優れた Cloud TPU

対象

Cloud TPU v5e は、北米(米国中部/東部/南部/西部リージョン)、ヨーロッパ(西リージョン)、アジア(東南リージョン)で一般提供されます

Cloud TPU のバージョンに関する詳細情報

仕組み

Google Cloud TPU の優れた機能をぜひご覧ください。すべてが行われるデータセンターの貴重な内部も紹介します。Cloud TPU は世界最大級の AI ワークロードの実行にご利用いただいていますが、その処理能力の源はチップだけではありません。この動画では、データセンターのネットワーク、光回線スイッチ、水冷システム、生体認証セキュリティ検証など、TPU システムのコンポーネントについて説明します。

TPU 動画に切り替える

一般的な使用例

大規模な AI トレーニング ワークロードの実行

高パフォーマンスで効率的なモデルのトレーニング

大規模モデルのトレーニングに適した、高パフォーマンスでスケーラビリティの高いオープンソース リファレンス デプロイである MaxTextMaxDiffusion を使用して、すぐに利用を開始できます。

詳細
MaxText の相対的なパフォーマンス

高パフォーマンスで効率的なモデルのトレーニング

大規模モデルのトレーニングに適した、高パフォーマンスでスケーラビリティの高いオープンソース リファレンス デプロイである MaxTextMaxDiffusion を使用して、すぐに利用を開始できます。

詳細
MaxText の相対的なパフォーマンス

強力かつスケーラブルで効率的な AI トレーニング

Cloud TPU によりパフォーマンスと効率が最大となり、最短時間で価値を実現できます。Cloud TPU マルチスライス トレーニングにより、数千のチップまでスケールできます。ML Goodput Measurement を使用して、大規模な ML トレーニングの生産性を測定し、向上させます。大規模モデルのトレーニング用のオープンソース リファレンス デプロイである MaxTextMaxDiffusion は、すぐに使用開始できます。

マルチスライス トレーニングによる、数万のチップへのほぼ線形のスケーリング

基盤 AI モデルの微調整

Pytorch/XLM を使用してアプリケーションに LLM を適応させる

ユースケースを表す独自のトレーニング データを活用して、基盤モデルを効率的に微調整します。Cloud TPU v5e では、Cloud TPU v4 と比較して、$1 あたりの LLM 微調整のパフォーマンスが最大 1.9 倍高くなっています。

Cloud TPU LLM 微調整パフォーマンス($1 あたり)

    Pytorch/XLM を使用してアプリケーションに LLM を適応させる

    ユースケースを表す独自のトレーニング データを活用して、基盤モデルを効率的に微調整します。Cloud TPU v5e では、Cloud TPU v4 と比較して、$1 あたりの LLM 微調整のパフォーマンスが最大 1.9 倍高くなっています。

    Cloud TPU LLM 微調整パフォーマンス($1 あたり)

      大規模な AI 推論ワークロードの処理

      高パフォーマンスでスケーラビリティに優れた費用対効果の高い推論を実現します

      JetStream と MaxDiffusion で AI 推論を加速します。JetStream は、大規模言語モデル(LLM)推論専用に設計された新しい推論エンジンです。JetStream はパフォーマンスと費用対効果の両方を大幅に向上させるソリューションであり、Google Cloud TPU での LLM の推論のスループットとレイテンシの面で強みを発揮します。MaxDiffusion は Cloud TPU 用に最適化された拡散モデル実装のセットで、高パフォーマンスな Cloud TPU 上で拡散モデルの推論が簡単に実行できるようになります。

      詳細

      高パフォーマンスでスケーラビリティに優れた費用対効果の高い推論を実現します

      JetStream と MaxDiffusion で AI 推論を加速します。JetStream は、大規模言語モデル(LLM)推論専用に設計された新しい推論エンジンです。JetStream はパフォーマンスと費用対効果の両方を大幅に向上させるソリューションであり、Google Cloud TPU での LLM の推論のスループットとレイテンシの面で強みを発揮します。MaxDiffusion は Cloud TPU 用に最適化された拡散モデル実装のセットで、高パフォーマンスな Cloud TPU 上で拡散モデルの推論が簡単に実行できるようになります。

      詳細

      スケーラブルな AI インフラストラクチャで費用に対するパフォーマンスを最大化

      Cloud TPU v5e では、最新の LLM や生成 AI モデルなどの幅広い AI ワークロードに対して、高性能で費用対効果の高い推論を行えます。TPU v5e では、Cloud TPU v4 と比較して、$1 あたりのスループット パフォーマンスが最大 2.5 倍、速度が最大 1.7 倍になります。TPU v5e チップごとに 1 秒あたり最大 393 兆の int8 オペレーションを行うため、複雑なモデルで素早く予測できます。TPU v5e Pod は、1 秒あたり最大 10 京の int8 オペレーション、つまり 100 petaOps の計算能力を実現します。

      TPU v5e での推論の詳細
      Cloud TPU v5e pod

      GKE の Cloud TPU

      プラットフォーム オーケストレーションにより、最適化された AI ワークロードを実行する

      堅牢な AI / ML プラットフォームでは、(i)トレーニング ワークロードとサービング ワークロードのための GPU を大規模にサポートするインフラストラクチャ オーケストレーション、(ii)分散コンピューティングとデータ処理フレームワークとの柔軟な統合、(iii)リソースを最大限に活用するための同じインフラストラクチャ上での複数チームのサポート、というレイヤが考慮されます。

      GKE での AI / ML オーケストレーションの詳細

      プラットフォーム オーケストレーションにより、最適化された AI ワークロードを実行する

      堅牢な AI / ML プラットフォームでは、(i)トレーニング ワークロードとサービング ワークロードのための GPU を大規模にサポートするインフラストラクチャ オーケストレーション、(ii)分散コンピューティングとデータ処理フレームワークとの柔軟な統合、(iii)リソースを最大限に活用するための同じインフラストラクチャ上での複数チームのサポート、というレイヤが考慮されます。

      GKE での AI / ML オーケストレーションの詳細

      GKE による容易なスケーリング

      Cloud TPU の能力と、GKE の柔軟性およびスケーラビリティを組み合わせることで、ML モデルをこれまで以上に迅速かつ簡単に構築してデプロイできます。GKE で利用できる Cloud TPU により、すべてのワークロードに対して一貫性のある単一の運用環境を構築し、自動化された MLOps パイプラインを標準化できるようになります。

      詳細
      GKE アーキテクチャの TPU

      Vertex AI の Cloud TPU

      Cloud TPU を使用した Vertex AI のトレーニングと予測

      AI モデルを簡単に開発する方法をお探しのお客様は、低レイテンシのサービス提供と高パフォーマンスのトレーニングに特化したフルマネージド インフラストラクチャ上で AI モデルを構築するためのエンドツーエンドのプラットフォームである Vertex AI を使用して、Cloud TPU v5e をデプロイできます。

      Cloud TPU を使用した Vertex AI のトレーニングと予測

      AI モデルを簡単に開発する方法をお探しのお客様は、低レイテンシのサービス提供と高パフォーマンスのトレーニングに特化したフルマネージド インフラストラクチャ上で AI モデルを構築するためのエンドツーエンドのプラットフォームである Vertex AI を使用して、Cloud TPU v5e をデプロイできます。

      料金

      Cloud TPU の料金すべての Cloud TPU の料金はチップ時間単位です
      Cloud TPU バージョン評価価格(米ドル)1 年間のコミットメント(米ドル)3 年間のコミットメント(米ドル)

      Cloud TPU v5p

      Starting at

      $4.2000

      チップ時間あたり

      Starting at

      $2.9400

      チップ時間あたり

      Starting at

      $1.8900

      チップ時間あたり

      Cloud TPU v5e

      Starting at

      $1.2000

      チップ時間あたり

      Starting at

      $0.8400

      チップ時間あたり

      Starting at

      $0.5400

      チップ時間あたり

      Cloud TPU の料金は、プロダクトとリージョンによって異なります。

      Cloud TPU の料金

      すべての Cloud TPU の料金はチップ時間単位です

      Cloud TPU v5p

      評価価格(米ドル)

      Starting at

      $4.2000

      チップ時間あたり

      1 年間のコミットメント(米ドル)

      Starting at

      $2.9400

      チップ時間あたり

      3 年間のコミットメント(米ドル)

      Starting at

      $1.8900

      チップ時間あたり

      Cloud TPU v5e

      評価価格(米ドル)

      Starting at

      $1.2000

      チップ時間あたり

      1 年間のコミットメント(米ドル)

      Starting at

      $0.8400

      チップ時間あたり

      3 年間のコミットメント(米ドル)

      Starting at

      $0.5400

      チップ時間あたり

      Cloud TPU の料金は、プロダクトとリージョンによって異なります。

      料金計算ツール

      リージョン固有の料金と手数料を含む、Cloud TPU の毎月の費用を試算できます。

      カスタムの見積もり

      カスタム見積もりをご希望の場合は、Google のセールスチームにお問い合わせください。

      概念実証を開始する

      Cloud TPU を無料で試す

      Cloud TPU の基本的な使い方を学ぶ

      Cloud TPU VM で TensorFlow を実行する

      Cloud TPU VM で JAX を実行する

      Cloud TPU VM で PyTorch を実行する

      Google Cloud
      • ‪English‬
      • ‪Deutsch‬
      • ‪Español‬
      • ‪Español (Latinoamérica)‬
      • ‪Français‬
      • ‪Indonesia‬
      • ‪Italiano‬
      • ‪Português (Brasil)‬
      • ‪简体中文‬
      • ‪繁體中文‬
      • ‪日本語‬
      • ‪한국어‬
      コンソール
      • Google Cloud プロダクト
      • 100 種類を超えるプロダクトをご用意しています。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。また、すべてのお客様に 25 以上のプロダクトを無料でご利用いただけます(毎月の使用量上限があります)。
      Google Cloud