Cloud TPU の割り当て

このドキュメントでは、Cloud TPU に適用される割り当ての一覧を示します。Cloud TPU の料金については、Cloud TPU の料金をご覧ください。

割り当ては、Google Cloud プロジェクトで使用できる共有 Google Cloud リソース(ハードウェア、ソフトウェア、ネットワーク コンポーネントなど)の量を制限します。つまり、割り当てはシステムの一部で、次の機能があります。

  • Google Cloud のプロダクトとサービスの使用量や消費量をモニタリングする。
  • 公平性の確保や使用量急増の抑制などのため、これらのリソースの消費量を制限する。
  • 規定の制限を自動的に適用する構成を維持する。
  • 割り当てをリクエストまたは変更する手段を提供する。

ほとんどの場合、割り当てを超過すると、システムは関連する Google リソースへのアクセスをすぐにブロックするため、ユーザーが試行しているタスクは失敗します。ほとんどの場合、割り当ては各 Google Cloud プロジェクトに適用され、その Google Cloud プロジェクトを使用するすべてのアプリケーションと IP アドレスで共有されます。

TPU の割り当て

割り当ては TPU のバージョンごとに異なります。たとえば、TPU v2、v3 などのさまざまな割り当てがあります。TPU のバージョンごとに、オンデマンドやプリエンプティブル(スポット)というさまざまな割り当てタイプがあります。次の表に、さまざまなタイプの割り当てを示します。

割り当てのタイプ 説明 デフォルト値 リクエスト方法 TPU 作成のフラグ
オンデマンド ユーザーがアクセスできるオンデマンド リソースの数。オンデマンド リソースはプリエンプトされませんが、オンデマンド割り当ては、リクエストを満たすのに十分な Cloud TPU リソースがあることを保証するものではありません。 v3-8 と v2-8: 16 個の TensorCore
その他すべて: 0 個
追加の割り当てをリクエストするをご覧ください。 フラグは必要ありません。デフォルトで選択されています。
プリエンプティブル アクセス可能なプリエンプティブル Cloud TPU リソースの数。この割り当ては、プリエンプティブル TPU と TPU Spot VM の両方に適用されます。優先度の高いジョブのスペースを確保するために、プリエンプティブル リソースがプリエンプトされる場合があります。プリエンプティブルの割り当ては、リクエストを満たすのに十分な Cloud TPU リソースがあることを保証するものではありません。詳細については、プリエンプティブル TPUTPU Spot VM を管理するをご覧ください。 v3-8 と v2-8: 48 個の TensorCore
その他すべて: 0 個
追加の割り当てをリクエストするをご覧ください。
  • Spot VM: --spot フラグを使用します。
  • プリエンプティブル TPU: --preemptible フラグを使用します。--preemptible フラグは、キューに格納されたリソースではサポートされていません。代わりに --spot フラグを使用してください。

TPU の割り当ては、1 ゾーン、1 プロジェクトあたりの TPU コア数、または 1 プロジェクト、1 リージョンあたりの TPU コア数で指定されます。

TPU v5p の割り当て

TPU v5p の割り当ては、コアの組み合わせを問わず使用できます。たとえば、32 コアの割り当てがある場合、この割り当てを使用して、それぞれ 8 つのコアを持つ 4 つの TPU スライスを作成できます。

プリエンプティブルの割り当て:

  • 1 リージョン、1 プロジェクトあたりのプリエンプティブル TPU v5p コア数
  • 1 ゾーン、1 プロジェクトあたりのプリエンプティブル TPU v5p コア数

オンデマンド割り当て:

  • 1 リージョン、1 プロジェクトあたりの TPU v5p コア数
  • 1 ゾーン、1 プロジェクトあたりの TPU v5p コア数

TPU v5e の割り当て

TPU v5e はトレーニングとサービス提供に使用できます。トレーニングとサービス提供、および単一ホスト(Lite コア)とマルチホスト(Lite Pod コア)には、別々の割り当てがあります。

サービス提供の割り当て

プリエンプティブルのサービス提供の割り当て:

  • 1 リージョン、1 プロジェクトあたりのサービス提供用のプリエンプティブル TPU v5 Lite Pod コア数
  • 1 ゾーン、1 プロジェクトあたりのサービス提供用のプリエンプティブル TPU v5 Lite Pod コア数

オンデマンドのサービス提供の割り当て:

  • 1 リージョン、1 プロジェクトあたりのサービス提供用の TPU v5 Lite Pod コア数
  • 1 ゾーン、1 プロジェクトあたりのサービス提供用の TPU v5 Lite Pod コア数

トレーニングの割り当て

プリエンプティブルのトレーニングの割り当て:

  • 1 リージョン、1 プロジェクトあたりのプリエンプティブル TPU v5 Lite コア数
  • 1 ゾーン、1 プロジェクトあたりのプリエンプティブル TPU v5 Lite コア数
  • 1 リージョン、1 プロジェクトあたりのプリエンプティブル TPU v5 Lite Pod コア数
  • 1 ゾーン、1 プロジェクトあたりのプリエンプティブル TPU v5 Lite Pod コア数

オンデマンドのトレーニングの割り当て:

  • 1 リージョン、1 プロジェクトあたりの TPU v5 Lite コア数
  • 1 ゾーン、1 プロジェクトあたりの TPU v5 Lite コア数
  • 1 リージョン、1 プロジェクトあたりの TPU v5 Lite Pod コア数
  • 1 ゾーン、1 プロジェクトあたりの TPU v5 Lite Pod コア数

TPU v4 の割り当て

TPU v4 の割り当ては、コアの組み合わせを問わず使用できます。たとえば、32 コアの割り当てがある場合、この割り当てを使用して、それぞれ 8 つのコアを持つ 4 つの TPU スライスを作成できます。

プリエンプティブルの割り当て:

  • 1 リージョン、1 プロジェクトあたりのプリエンプティブル TPU v4 Pod コア数
  • 1 ゾーン、1 プロジェクトあたりのプリエンプティブル TPU v4 Pod コア数

オンデマンドの割り当て:

  • 1 リージョン、1 プロジェクトあたりの TPU v4 Pod コア数
  • 1 ゾーン、1 プロジェクトあたりの TPU v4 Pod コア数

TPU v3 の割り当て

単一ホストの TPU(コア)とマルチホストの TPU(Pod)には、別々の TPU v3 割り当てがあります。コア数が 8 を超える TPU を作成するには、v3 Pod の割り当てを使用する必要があります。

プリエンプティブルの割り当て:

  • 1 プロジェクト、1 リージョンあたりのプリエンプティブル TPU v3 のコア数
  • 1 ゾーン、1 プロジェクトあたりのプリエンプティブル TPU v3 コア数
  • 1 リージョン、1 プロジェクトあたりのプリエンプティブル TPU v3 Pod コア数
  • 1 ゾーン、1 プロジェクトあたりのプリエンプティブル TPU v3 Pod コア数

オンデマンドの割り当て:

  • 1 プロジェクト、1 リージョンあたりの TPU v3 のコア数
  • 1 ゾーン、1 プロジェクトあたりの TPU v3 コア数
  • 1 リージョン、1 プロジェクトあたりの TPU v3 Pod コア数
  • 1 ゾーン、1 プロジェクトあたりの TPU v3 Pod コア数

TPU v2 の割り当て

単一ホストの TPU(コア)とマルチホストの TPU(Pod)には、別々の TPU v2 割り当てがあります。

プリエンプティブルの割り当て:

  • 1 プロジェクト、1 リージョンあたりのプリエンプティブル TPU v2 のコア数
  • 1 ゾーン、1 プロジェクトあたりのプリエンプティブル TPU v2 コア数
  • 1 リージョン、1 プロジェクトあたりのプリエンプティブル TPU v2 Pod コア数
  • 1 ゾーン、1 プロジェクトあたりのプリエンプティブル TPU v2 Pod コア数

オンデマンドの割り当て:

  • 1 プロジェクト、1 リージョンあたりの TPU v2 のコア数
  • 1 ゾーン、1 プロジェクトあたりの TPU v2 コア数
  • 1 リージョン、1 プロジェクトあたりの TPU v2 Pod コア数
  • 1 ゾーン、1 プロジェクトあたりの TPU v2 Pod コア数

TPU チップと TensorCore の詳細については、TPU システム アーキテクチャをご覧ください。

追加割り当てを表示、リクエストする

Google Cloud プロジェクトに与えられた割り当ては、Google Cloud コンソールの [割り当て] ページで確認できます。Cloud TPU の割り当ての増加が必要な場合は、[割り当て] ページからリクエストできます。詳細については、割り当て上限の引き上げをリクエストするをご覧ください。