TPU v3

Questo documento descrive l'architettura e le configurazioni supportate di Cloud TPU v3.

Architettura di sistema

Ogni chip TPU v3 contiene due TensorCore. Ogni TensorCore ha due unità di moltiplicazione matriciale (MXU), un'unità vettore e un'unità scalare. La tabella seguente mostra le specifiche della chiave e i relativi valori per unpod di TPUU v3.

Specifiche principali Valori pod v3
Picco di computing per chip 123 teraflop (bf16)
Capacità e larghezza di banda di HBM2 32 GiB, 900 Gbps
Potenza min/media/max misurata 123/220/262 W
Dimensione pod di TPU 1024 chip
Topologia Interconnect Toro 2D
Picco di computing per pod 126 petaflop (bf16)
Riduci completamente la larghezza di banda per pod 340 TB/s
Larghezza di banda bisezione per pod 6,4 TB/s

Il seguente diagramma illustra un chip TPU v3.

Diagramma di un chip TPU v3

I dettagli dell'architettura e le caratteristiche delle prestazioni di TPU v3 sono disponibili in Un supercomputer specifico per il dominio per l'addestramento di reti neurali profonde.

Vantaggi delle prestazioni di TPU v3 rispetto a v2

L'aumento dei FLOPS per TensorCore e della capacità di memoria nelle configurazioni TPU v3 possono migliorare le prestazioni dei tuoi modelli nei seguenti modi:

  • Le configurazioni TPU v3 offrono vantaggi significativi in termini di prestazioni per TensorFlow per i modelli legati al calcolo. I modelli associati alla memoria nelle configurazioni TPU v2 potrebbero non ottenere lo stesso miglioramento delle prestazioni se sono anche associati alla memoria nelle configurazioni TPU v3.

  • Nei casi in cui i dati non rientrano nella memoria nelle configurazioni TPU v2, TPU v3 può fornire prestazioni migliori e ricalcolo ridotto dei valori intermedi (rimaterializzazione).

  • Le configurazioni TPU v3 possono eseguire nuovi modelli con dimensioni batch che non si adattano alle configurazioni TPU v2. Ad esempio, TPU v3 potrebbe consentire modelli ResNet più profondi e immagini più grandi con RetinaNet.

Anche i modelli che sono quasi legati all'input ("infeed") su TPU v2, perché i passaggi di addestramento sono in attesa di input, potrebbero essere associati all'input con Cloud TPU v3. La guida al rendimento della pipeline può aiutarti a risolvere i problemi di infeed.

Configurazioni

Un pod TPU v3 è composto da 1024 chip interconnessi con collegamenti ad alta velocità. Per creare un dispositivo TPU v3 o una sezione di pod, utilizza il flag --accelerator-type nel comando di creazione della TPU (gcloud compute tpus tpu-vm). Puoi specificare il tipo di acceleratore specificando la versione TPU e il numero di core TPU. Ad esempio, per una singola TPU v3, utilizza --accelerator-type=v3-8. Per una sezione di pod v3 con 128 TensorCore, utilizza --accelerator-type=v3-128.

Il comando seguente mostra come creare una sezione di pod di TPU v3 con 128 TensorCore:

  $ gcloud compute tpus tpu-vm create tpu-name \
    --zone=zone \
    --accelerator-type=v3-128 \
    --version=tpu-vm-tf-2.16.1-pjrt

Nella tabella seguente sono elencati i tipi di TPU v3 supportati:

Versione TPU Data di fine del supporto
v3-8 (Data di fine non ancora impostata)
v3-32 (Data di fine non ancora impostata)
v3-128 (Data di fine non ancora impostata)
v3-256 (Data di fine non ancora impostata)
v3-512 (Data di fine non ancora impostata)
v3-1024 (Data di fine non ancora impostata)
v3-2048 (Data di fine non ancora impostata)

Per ulteriori informazioni sulla gestione delle TPU, vedi Gestire le TPU. Per ulteriori informazioni sull'architettura di sistema di Cloud TPU, vedi Architettura di sistema.