TPU v5e
En este documento, se describe la arquitectura y las configuraciones compatibles de Cloud TPU v5e.
TPU v5e admite el entrenamiento de uno y varios hosts, y la inferencia de uno solo. La inferencia de varios hosts es compatible con Sax. Para obtener más información, consulta Publicación de modelos de lenguaje extenso.
Arquitectura del sistema
Cada chip v5e contiene un TensorCore. Cada TensorCore tiene cuatro unidades de multiplicación de matrices (MXUs), una unidad vectorial y una unidad escalar.
En el siguiente diagrama, se ilustra un chip TPU v5e.
En la siguiente tabla, se muestran las especificaciones clave del chip y sus valores para la v5e.
| Especificaciones clave del chip | Valores de v5e |
| Procesamiento máximo por chip (bf16) | 197 TFLOPS |
| Capacidad y ancho de banda de HBM2 | 16 GB, 819 GBps |
| Ancho de banda de interconexión entre chips | 1,600 Gbps |
En la siguiente tabla, se muestran las especificaciones del pod y sus valores para la versión 5e.
| Especificaciones clave del pod | Valores de v5e |
| Tamaño del pod de TPU | 256 chips |
| Topología de interconexión | Torón 2D |
| Procesamiento máximo por Pod | 100 petaoperaciones(Int8) |
| Ancho de banda de reducción total por pod | 51.2 TB/s |
| Ancho de banda de bisección por pod | 1.6 TB/s |
| Ancho de banda de red del centro de datos por Pod | 6.4 Tbps |
Configuraciones
Cloud TPU v5e es un producto combinado de entrenamiento y de inferencia (publicación). Para diferenciar entre un entorno de entrenamiento y uno de inferencia, usa las marcas AcceleratorType o AcceleratorConfig con la API de TPU o la marca --machine-type cuando crees un grupo de nodos de GKE.
Los trabajos de entrenamiento están optimizados para la capacidad de procesamiento y la disponibilidad, mientras que los trabajos de publicación están optimizados para la latencia. Un trabajo de entrenamiento en TPU aprovisionadas para la entrega podría tener una disponibilidad más baja y, de manera similar, un trabajo de entrega ejecutado en TPU aprovisionadas para el entrenamiento podría tener una latencia más alta.
Usas AcceleratorType para especificar la cantidad de TensorCores que deseas usar.
Especificas el AcceleratorType cuando creas una TPU con gcloud CLI o la consola de Google Cloud. El valor que especifiques para AcceleratorType es una cadena con el formato v$VERSION_NUMBER-$CHIP_COUNT.
También puedes usar AcceleratorConfig para especificar la cantidad de TensorCores que quieres usar. Sin embargo, como no hay variantes de topología 2D personalizadas para la TPU v5e, no hay diferencia entre usar AcceleratorConfig y AcceleratorType.
Para configurar una TPU v5e con AcceleratorConfig, usa las marcas --version y --topology. Establece --version en la versión de TPU que deseas usar y --topology en la disposición física de los chips TPU en la porción. El valor que especificas para AcceleratorConfig es una cadena con el formato AxB, en la que A y B son los recuentos de chips en cada dirección.
Las siguientes formas de rebanada 2D son compatibles con la versión 5e:
| Topología | Cantidad de chips TPU | Cantidad de hosts |
| 1x1 | 1 | 1/8 |
| 2x2 | 4 | 1/2 |
| 2x4 | 8 | 1 |
| 4x4 | 16 | 2 |
| 4x8 | 32 | 4 |
| 8x8 | 64 | 8 |
| 8x16 | 128 | 16 |
| 16x16 | 256 | 32 |
Cada VM de TPU en una porción de TPU v5e contiene 1, 4 u 8 chips. En las porciones de 4 chips y más pequeñas, todos los chips TPU comparten el mismo nodo de acceso a la memoria no uniforme (NUMA).
En el caso de las VMs de TPU v5e de 8 chips, la comunicación entre CPU y TPU será más eficiente dentro de las particiones NUMA. Por ejemplo, en la siguiente figura, la comunicación de CPU0-Chip0 será más rápida que la de CPU0-Chip4.
Tipos de Cloud TPU v5e para la publicación
La publicación de un solo host es compatible con hasta 8 chips v5e. Se admiten las siguientes configuraciones: rebanadas de 1 × 1, 2 × 2 y 2 × 4. Cada porción tiene 1, 4 y 8 chips, respectivamente.
Para aprovisionar TPUs para una tarea de publicación, usa uno de los siguientes tipos de aceleradores en tu solicitud de creación de TPU de la CLI o la API:
| AcceleratorType (API de TPU) | Tipo de máquina (API de GKE) |
|---|---|
v5litepod-1 |
ct5lp-hightpu-1t |
v5litepod-4 |
ct5lp-hightpu-4t |
v5litepod-8 |
ct5lp-hightpu-8t |
La entrega en más de 8 chips v5e, también llamada entrega de varios hosts, es compatible con Sax. Para obtener más información, consulta Publicación de modelos de lenguaje extenso.
Tipos de Cloud TPU v5e para el entrenamiento
El entrenamiento es compatible con hasta 256 chips.
Para aprovisionar TPUs para un trabajo de entrenamiento de v5e, usa uno de los siguientes tipos de aceleradores en tu solicitud de creación de TPU de la CLI o la API:
| AcceleratorType (API de TPU) | Tipo de máquina (API de GKE) | Topología |
|---|---|---|
v5litepod-16 |
ct5lp-hightpu-4t |
4x4 |
v5litepod-32 |
ct5lp-hightpu-4t |
4x8 |
v5litepod-64 |
ct5lp-hightpu-4t |
8x8 |
v5litepod-128 |
ct5lp-hightpu-4t |
8x16 |
v5litepod-256 |
ct5lp-hightpu-4t |
16x16 |
Comparación del tipo de VM de TPU v5e:
| Tipo de VM | n2d-48-24-v5lite-tpu | n2d-192-112-v5lite-tpu | n2d-384-224-v5lite-tpu |
| Cantidad de chips v5e | 1 | 4 | 8 |
| Cantidad de CPUs virtuales | 24 | 112 | 224 |
| RAM (GB) | 48 | 192 | 384 |
| Cantidad de nodos de NUMA | 1 | 1 | 2 |
| Se aplica a | v5litepod-1 | v5litepod-4 | v5litepod-8 |
| Interrupción | Alta | Medio | Low (Baja) |
Para dejar espacio para las cargas de trabajo que requieren más chips, los programadores pueden acaparar VMs con menos chips. Por lo tanto, es probable que las VMs de 8 chips interrumpan las de 1 y 4 chips.