TPU-Typen und Topologien

Übersicht

Informationen zu den verschiedenen TPU-Typen und ihrer Software und Hardwarefeatures finden Sie im Dokument Systemarchitektur.

Wenn Sie eine Cloud TPU mit gcloud erstellen, müssen Sie einen TPU-Typ und eine Topologie angeben. Dazu verwenden Sie das Flag ACCELERATOR_TYPE.

Der TPU-Typ definiert die TPU-Version (V2, V3, V4). Die TPU-Topologie definiert die Anzahl der den TPUs zugewiesenen Kerne oder Chips, also die Menge des TPU-Arbeitsspeichers, der für Ihre ML-Arbeitslast verfügbar ist.

Ihre TPU-Konfiguration wird durch die Kombination aus dem TPU-Typ und der Topologie definiert.

TPU-Typen

Der TPU-Typ wird im Flag ACCELERATOR_TYPE als v2, v3 oder v4 angegeben, gefolgt von der Anzahl der Kerne (z.B. 8, 32, 128). v2-8 gibt beispielsweise eine v2-TPU-Konfiguration mit 8 TPU-Kernen an. v3-2048 gibt eine v3TPU-Pod-Konfiguration mit 2.048 Kernen an.

TPU-Topologien

Eine TPU-Topologie ist die Anzahl und Anordnung der Rechenressourcen (Kerne oder Chips) in der Konfiguration. Beispielsweise gibt v3-8 die v3-Version und eine Topologie mit 8 Kernen an. Dies kann auch als Topologie von 2x2 angegeben werden, da es 2*2-Chips gibt und jeder Chip 2 Kerne oder insgesamt 8 Kerne hat. Ein v2-32-Pod kann auch als v2 4x4-Topologie (4*4-Chips mit jeweils 2 Kernen für insgesamt 32 Kerne) dargestellt werden. Für v4 gibt es eine zusätzliche Dimension, mit der dieselbe 32-Kern-Konfiguration in Chips als 2x2 × 4 dargestellt werden kann (16 Chips mit jeweils zwei Kernen).

Sie können den TPU-Typ in einen anderen TPU-Typ mit der gleichen Anzahl von Kernen oder Chips ändern (z. B. v2-128 und v3-128), um Ihr Trainingsskript ohne Codeänderungen auszuführen. Wenn Sie jedoch zu einem TPU-Typ mit einer größeren oder kleineren Anzahl von Chips oder Kernen wechseln, müssen Sie eine erhebliche Feinabstimmung und Optimierung vornehmen. Weitere Informationen finden Sie unter Auf TPU-Pods trainieren.

Die Preise für jeden TPU-Typ in jeder Region können Sie der Seite Cloud TPU-Preise entnehmen.

Weitere Informationen