TPU タイプとトポロジ

概要

TPU のタイプ、ソフトウェア、ハードウェアの機能については、システム アーキテクチャのドキュメントをご覧ください。

gcloud を使用して Cloud TPU を作成する場合は、TPU タイプとトポロジを指定する必要があります。これは、ACCELERATOR_TYPE フラグを使用して行います。

TPU タイプによって、TPU のバージョン(v2、v3、v4)が定義されます。TPU トポロジは、TPU に割り当てられるコアまたはチップの数、つまり機械学習ワークロードに使用できる TPU メモリ量を定義します。

TPU の構成は、TPU タイプとトポロジの組み合わせによって定義されます。

TPU タイプ

ACCELERATOR_TYPE フラグで TPU タイプは、v2v3、または v4 の後にコア数(例: 8、32、128)を指定します。たとえば、v2-8 では 8 個の TPU コアを搭載した v2 TPU 構成が指定されています。v3-2048 は、2,048 コアの v3 TPU Pod 構成を指定します。

TPU トポロジ

TPU トポロジは、構成内のコンピューティング リソース(コアまたはチップ)の数と配置です。たとえば、v3-8v3 バージョンと 8 コアのトポロジを指定します。これは、2x2 チップがあり、各チップに 2 つのコア、合計 8 つのコアがあるため、2x2 トポロジとしても指定できます。v2-32 Pod は、v2 4x4 トポロジ(4 x 4 チップ、合計 2 コアで合計 32 コア)として表すこともできます。v4 の場合、追加のディメンションがあるため、同じ 32 コア構成を 2x2x4 のチップ(16 チップ、1 コアにそれぞれ 2 コア)で表すことができます。

TPU タイプを、同じ数のコアまたはチップを持つ別の TPU タイプ(v2-128v3-128 など)に変更すると、コードを変更せずにトレーニング スクリプトを実行できます。ただし、チップ数またはコア数を増減させた TPU タイプに変更する場合は、かなりの調整と最適化を行う必要があります。詳細については、TPU Pod でのトレーニングをご覧ください。

各リージョンでの TPU タイプ別の料金については、料金をご覧ください。

次のステップ