TPU にアクセスできるサービス

アプリケーションは Google Cloud Platform 上のコンテナ、インスタンス、サービスから TPU ノードにアクセスできます。アプリケーションから TPU ノードへの接続は、VPC ネットワークを介して行う必要があります。

TPU ノードにアクセスできる Google Cloud Platform サービスは以下のとおりです。要件に最適な特性を持つサービスを選択してください。

Compute Engine

• Compute Engine の Cloud TPU は、Cloud TPU を初めて使用するユーザーや、独自の Cloud TPU サービスを管理したい経験豊富な機械学習ユーザーにとっての出発点として最適です。次の内容が含まれます。
  • VM、TPU、Cloud Storage リソースを設定する ctpu ユーティリティ プログラム。
  • 最初の機械学習モデルのトレーニングをガイドするクイックスタート。
  • 画像分類、オブジェクト検出、言語翻訳モデルのチュートリアル。
  • TPU モデル処理におけるパフォーマンスのモニタリングとボトルネック解決のためのツール。

Kubernetes Engine

• Google Kubernetes Engine の Cloud TPU は次の機能を提供します。
  • 簡単な設定と管理: Cloud TPU を使用する際は、ワークロードを実行する Compute Engine VM と、Cloud TPU に使用される Classless Inter-Domain Routing（CIDR）ブロックが必要です。こうした VM と CIDR ブロックは、Google Kubernetes Engine によって自動的に設定、管理されます。
  • コストを最適化: Google Kubernetes Engine はワークロードとトラフィックに基づいて自動的に VM をスケーリングします。Cloud TPU と VM で料金が発生するのは、これらを使用してワークロードを実行したときだけです。
  • 柔軟な使用法: ポッド仕様を 1 行変更するだけで、ハードウェア アクセラレータ（CPU、GPU、または TPU）を変更できます。
  • スケーラビリティ: Google Kubernetes Engine には、数百単位のポッドや Cloud TPU ノードに容易にスケーリングできる API（ジョブおよびデプロイ）があります。
  • フォールト トレランス: Google Kubernetes Engine のジョブ API と TensorFlow チェックポイント メカニズムにより、Run-to-Completion セマンティクスが提供されます。VM インスタンスまたは Cloud TPU ノードで障害が発生した場合、チェックポイントの最新の状態からトレーニング ジョブが自動的に再実行されます。

ML Engine

• ML についてある程度の経験があり、AI Platform マネージド サービスと API を活用したい場合は、AI Platform の Cloud TPU から始めることをおすすめします。AI Platform では以下の ML ワークフロー ステージを管理します。
  • データで ML モデルをトレーニングする。
    • データでの ML モデルのトレーニング
    • モデルの精度の評価
    • ハイパーパラメータの調整
  • トレーニング済みモデルをデプロイする。
  • モデルに予測リクエストを送信する。
    • オンライン予測
    • バッチ予測
  • 継続的に予測をモニタリングする。
  • モデルとモデル バージョンを管理する。