割り当て
このドキュメントでは、Cloud TPU に適用される割り当ての一覧を示します。Cloud TPU の料金については、Cloud TPU の料金をご覧ください。
割り当ては、Google Cloud プロジェクトで使用できる共有 Google Cloud リソース（ハードウェア、ソフトウェア、ネットワーク コンポーネントなど）の量を制限します。つまり、割り当てはシステムの一部で、次の機能があります。
- Google Cloud のプロダクトとサービスの使用量や消費量をモニタリングする。
- 公平性の確保や使用量急増の抑制などのため、これらのリソースの消費量を制限する。
- 規定の制限を自動的に適用する構成を維持する。
- 割り当てをリクエストまたは変更する手段を提供する。
ほとんどの場合、割り当てを超過すると、システムは関連する Google リソースへのアクセスをすぐにブロックするため、ユーザーが試行しているタスクは失敗します。ほとんどの場合、割り当ては各 Google Cloud プロジェクトに適用され、その Google Cloud プロジェクトを使用するすべてのアプリケーションと IP アドレスで共有されます。
割り当てタイプ
GKE を使用している場合は、GKE の割り当てについて詳しくは十分な割り当ての確保をご覧ください。Cloud TPU API の割り当てを使用する場合は、予約済み、オンデマンド、プリエンプティブルの Cloud TPU リソースに対して別々に割り当てがあります。次の表は、各タイプの割り当てを比較したものです。
| 割り当てのタイプ | 説明 | デフォルト値 | リクエスト方法 | TPU 作成のフラグ |
|---|---|---|---|---|
| 予約済み | アクセスが保証される Cloud TPU リソースの数。予約済みリソースにアクセスするには、予約契約が必要です。予約済みのリソースは容量不足から保護されますが、中断が発生する可能性があります。 | 0 | 予約済みの割り当てをリクエストするには、Google Cloud アカウント担当者にお問い合わせください。 |
--reserved フラグを使用します。
|
| オンデマンド | ユーザーがアクセスできるオンデマンド リソースの数。オンデマンド リソースはプリエンプトされませんが、オンデマンド割り当ては、リクエストを満たすのに十分な Cloud TPU リソースがあることを保証するものではありません。 |
v3-8 と v2-8: 16 個の TensorCore その他すべて: 0 個 |
追加の割り当てをリクエストするをご覧ください。 | フラグは必要ありません。デフォルトで選択されます。 |
| プリエンプティブル | アクセス可能なプリエンプティブル Cloud TPU リソースの数。優先度の高いジョブの場所を確保するために、プリエンプティブル リソースがプリエンプトされる場合があります。プリエンプティブル割り当ては、リクエストを満たすのに十分な Cloud TPU リソースがあることを保証するものではありません。詳細については、プリエンプティブル TPU をご覧ください。 |
v3-8 と v2-8: 48 個の TensorCore その他すべて: 0 個 |
追加の割り当てをリクエストするをご覧ください。 |
キューに格納されたリソースのリクエストには、--preemptible フラグまたは --best-effort フラグを使用します。 |
割り当て
Cloud TPU の割り当ての方式は、使用している TPU のバージョンに応じて異なります。
TPU v4 と v5p
TPU v4 と v5p では、割り当ては TPU チップまたは TensorCore の数で指定できます。割り当ては、スライスを自由に組み合わせて使用できます。たとえば、v4-32 スライスの割り当てがある場合は、この割り当てを使用して 4 つの v4-8 スライスを作成できます。
TPU v5e（トレーニングと推論）
v5e はトレーニングと推論の両方をサポートしています。推論に使用される v5e スライスには、アクセラレータ タイプ v5litepod-1、v5litepod-4、v5litepod-8 の TPU があります。オンデマンド Cloud TPU には tpu-v5s-litepod-serving の割り当てが、プリエンプティブル Cloud TPU には tpu-v5s-litepod-serving-preemptible の割り当てが、予約済み Cloud TPU には tpu-v5s-litepod-serving-reserved の割り当てが必要です。
TPU v2 および v3
v2 と v3 の TPU 割り当ては TensorCore 数で指定します。1 個の TPU デバイスには、4 個の TPU チップと 8 個の TensorCore（チップあたり 2 個の TensorCore）が搭載されています。v2 と v3 の TPU の割り当ては、単一 TPU デバイスと TPU Pod で異なります。v2-8 または v3-8 の TPU には v2 または v3 の TPU Pod の割り当てを使用できません。たとえば、v3-32 スライスの割り当てがある場合、これを使用して 4 つの v3-8 TPU を作成することはできません。
TPU チップと TensorCore の詳細については、TPU システム アーキテクチャをご覧ください。
追加割り当てを表示、リクエストする
Google Cloud プロジェクトに与えられた割り当ては、Google Cloud コンソールの [割り当て] ページで確認できます。Cloud TPU の割り当ての増加が必要な場合は、[割り当て] ページからリクエストできます。詳細については、割り当て上限の引き上げをリクエストするをご覧ください。