Cloud TPU の割り当て

このドキュメントでは、Cloud TPU に適用される割り当ての一覧を示します。Cloud TPU の料金については、Cloud TPU の料金をご覧ください。

Google Cloud では、割り当てを使用して公平性を確保し、リソースの使用量と可用性の急増を抑えます。割り当ては、Google Cloud プロジェクトで使用できる Google Cloud リソースの量を制限します。割り当ては、ハードウェア、ソフトウェア、ネットワーク コンポーネントなど、さまざまなリソースタイプに適用されます。たとえば、割り当てによって、サービスへの API 呼び出しの数、プロジェクトで同時に使用されるロードバランサの数、作成可能なプロジェクトの数を制限できます。割り当てを適用することで、サービスの過負荷を防ぎ、Google Cloud ユーザーのコミュニティを保護します。割り当ては、自組織で使用している Google Cloud リソースの管理にも役立ちます。

Cloud Quotas システムは次のことを行います。

  • Google Cloud のプロダクトとサービスの消費量をモニタリングする
  • これらのリソースの消費量を制限する
  • 割り当て値の変更をリクエストする手段を提供する

ほとんどの場合、割り当ての許容量を超えるリソースを消費しようとすると、システムによってリソースへのアクセスがブロックされ、実行しようとしているタスクは失敗します。

割り当ては通常、Google Cloud プロジェクト レベルで適用されます。あるプロジェクトでリソースを使用しても、別のプロジェクトで使用可能な割り当てに影響することはありません。Google Cloud プロジェクト内では、すべてのアプリケーションと IP アドレスで割り当てが共有されます。

TPU の割り当て

割り当ては TPU のバージョンごとに異なります。たとえば、TPU v2、v3 などのさまざまな割り当てがあります。TPU のバージョンごとに、オンデマンドやプリエンプティブル(Spot VM)というさまざまな割り当てタイプがあります。次の表に、さまざまなタイプの割り当てを示します。

割り当てのタイプ 説明 デフォルト値 リクエスト方法 TPU 作成のフラグ
オンデマンド ユーザーがアクセスできるオンデマンド リソースの数。オンデマンド リソースはプリエンプトされませんが、オンデマンド割り当ては、リクエストを満たすのに十分な Cloud TPU リソースがあることを保証するものではありません。 v3-8 と v2-8: 16 個の TensorCore
その他すべて: 0 個
追加の割り当てをリクエストするをご覧ください。 フラグは必要ありません。デフォルトで選択されています。
プリエンプティブル アクセス可能なプリエンプティブル Cloud TPU リソースの数。この割り当ては、プリエンプティブル TPU と TPU Spot VM の両方に適用されます。優先度の高いジョブのスペースを確保するために、プリエンプティブル リソースがプリエンプトされる場合があります。プリエンプティブルの割り当ては、リクエストを満たすのに十分な Cloud TPU リソースがあることを保証するものではありません。詳細については、プリエンプティブル TPUTPU Spot VM を管理するをご覧ください。 v3-8 と v2-8: 48 個の TensorCore
その他すべて: 0 個
追加の割り当てをリクエストするをご覧ください。
  • Spot VM: --spot フラグを使用します。
  • プリエンプティブル TPU: --preemptible フラグを使用します。--preemptible フラグは、キューに格納されたリソースではサポートされていません。代わりに --spot フラグを使用してください。

TPU の割り当ては、1 ゾーン、1 プロジェクトあたりの TPU コア数、または 1 プロジェクト、1 リージョンあたりの TPU コア数で指定されます。

TPU v5p の割り当て

TPU v5p の割り当ては、コアの組み合わせを問わず使用できます。たとえば、32 コアの割り当てがある場合、この割り当てを使用して、それぞれ 8 つのコアを持つ 4 つの TPU スライスを作成できます。

プリエンプティブルの割り当て:

  • 1 リージョン、1 プロジェクトあたりのプリエンプティブル TPU v5p コア数
  • 1 ゾーン、1 プロジェクトあたりのプリエンプティブル TPU v5p コア数

オンデマンド割り当て:

  • 1 リージョン、1 プロジェクトあたりの TPU v5p コア数
  • 1 ゾーン、1 プロジェクトあたりの TPU v5p コア数

TPU v5e の割り当て

TPU v5e はトレーニングとサービス提供に使用できます。トレーニングとサービス提供、および単一ホスト(Lite コア)とマルチホスト(Lite Pod コア)には、別々の割り当てがあります。

サービス提供の割り当て

プリエンプティブルのサービス提供の割り当て:

  • 1 リージョン、1 プロジェクトあたりのサービス提供用のプリエンプティブル TPU v5 Lite Pod コア数
  • 1 ゾーン、1 プロジェクトあたりのサービス提供用のプリエンプティブル TPU v5 Lite Pod コア数

オンデマンドのサービス提供の割り当て:

  • 1 リージョン、1 プロジェクトあたりのサービス提供用の TPU v5 Lite Pod コア数
  • 1 ゾーン、1 プロジェクトあたりのサービス提供用の TPU v5 Lite Pod コア数

トレーニングの割り当て

プリエンプティブルのトレーニングの割り当て:

  • 1 リージョン、1 プロジェクトあたりのプリエンプティブル TPU v5 Lite コア数
  • 1 ゾーン、1 プロジェクトあたりのプリエンプティブル TPU v5 Lite コア数
  • 1 リージョン、1 プロジェクトあたりのプリエンプティブル TPU v5 Lite Pod コア数
  • 1 ゾーン、1 プロジェクトあたりのプリエンプティブル TPU v5 Lite Pod コア数

オンデマンドのトレーニングの割り当て:

  • 1 リージョン、1 プロジェクトあたりの TPU v5 Lite コア数
  • 1 ゾーン、1 プロジェクトあたりの TPU v5 Lite コア数
  • 1 リージョン、1 プロジェクトあたりの TPU v5 Lite Pod コア数
  • 1 ゾーン、1 プロジェクトあたりの TPU v5 Lite Pod コア数

TPU v4 の割り当て

TPU v4 の割り当ては、コアの組み合わせを問わず使用できます。たとえば、32 コアの割り当てがある場合、この割り当てを使用して、それぞれ 8 つのコアを持つ 4 つの TPU スライスを作成できます。

プリエンプティブルの割り当て:

  • 1 リージョン、1 プロジェクトあたりのプリエンプティブル TPU v4 Pod コア数
  • 1 ゾーン、1 プロジェクトあたりのプリエンプティブル TPU v4 Pod コア数

オンデマンドの割り当て:

  • 1 リージョン、1 プロジェクトあたりの TPU v4 Pod コア数
  • 1 ゾーン、1 プロジェクトあたりの TPU v4 Pod コア数

TPU v3 の割り当て

単一ホストの TPU(コア)とマルチホストの TPU(Pod)には、別々の TPU v3 割り当てがあります。コア数が 8 を超える TPU を作成するには、v3 Pod の割り当てを使用する必要があります。

プリエンプティブルの割り当て:

  • 1 プロジェクト、1 リージョンあたりのプリエンプティブル TPU v3 のコア数
  • 1 ゾーン、1 プロジェクトあたりのプリエンプティブル TPU v3 コア数
  • 1 リージョン、1 プロジェクトあたりのプリエンプティブル TPU v3 Pod コア数
  • 1 ゾーン、1 プロジェクトあたりのプリエンプティブル TPU v3 Pod コア数

オンデマンドの割り当て:

  • 1 プロジェクト、1 リージョンあたりの TPU v3 のコア数
  • 1 ゾーン、1 プロジェクトあたりの TPU v3 コア数
  • 1 リージョン、1 プロジェクトあたりの TPU v3 Pod コア数
  • 1 ゾーン、1 プロジェクトあたりの TPU v3 Pod コア数

TPU v2 の割り当て

単一ホストの TPU(コア)とマルチホストの TPU(Pod)には、別々の TPU v2 割り当てがあります。

プリエンプティブルの割り当て:

  • 1 プロジェクト、1 リージョンあたりのプリエンプティブル TPU v2 のコア数
  • 1 ゾーン、1 プロジェクトあたりのプリエンプティブル TPU v2 コア数
  • 1 リージョン、1 プロジェクトあたりのプリエンプティブル TPU v2 Pod コア数
  • 1 ゾーン、1 プロジェクトあたりのプリエンプティブル TPU v2 Pod コア数

オンデマンドの割り当て:

  • 1 プロジェクト、1 リージョンあたりの TPU v2 のコア数
  • 1 ゾーン、1 プロジェクトあたりの TPU v2 コア数
  • 1 リージョン、1 プロジェクトあたりの TPU v2 Pod コア数
  • 1 ゾーン、1 プロジェクトあたりの TPU v2 Pod コア数

TPU チップと TensorCore の詳細については、TPU システム アーキテクチャをご覧ください。

追加割り当てを表示、リクエストする

Google Cloud プロジェクトに与えられた割り当ては、Google Cloud コンソールの [割り当て] ページで確認できます。Cloud TPU の割り当ての増加が必要な場合は、[割り当て] ページからリクエストできます。詳細については、割り当て上限の引き上げをリクエストするをご覧ください。