Diseñado para la IA de nueva generación
Las unidades de procesamiento tensorial (TPUs) son aceleradores personalizados diseñados en conjunto con software de código abierto para potenciar todo el ciclo de vida de la IA, desde el entrenamiento de vanguardia y la inferencia a gran escala hasta las demandas de datos de razonamiento de varios pasos de la IA de agentes.
Con la tecnología de AI Hypercomputer
Las TPUs funcionan con AI Hypercomputer de Google Cloud, una arquitectura innovadora que reúne hardware creado para un propósito específico, software de código abierto y modelos de consumo flexibles.
Una década de unidades de procesamiento tensorial (TPU)
Las TPUs están diseñadas específicamente para cargas de trabajo de IA avanzadas, desde modelos de lenguaje grandes y generación de código hasta agentes inteligentes. Son el motor detrás de Gemini y los productos insignia de Google que usan miles de millones de personas, como la Búsqueda, Fotos y Maps.
Diseñado para la IA de nueva generación
Las unidades de procesamiento tensorial (TPUs) son aceleradores personalizados diseñados en conjunto con software de código abierto para potenciar todo el ciclo de vida de la IA, desde el entrenamiento de vanguardia y la inferencia a gran escala hasta las demandas de datos de razonamiento de varios pasos de la IA de agentes.
Con la tecnología de AI Hypercomputer
Las TPUs funcionan con AI Hypercomputer de Google Cloud, una arquitectura innovadora que reúne hardware creado para un propósito específico, software de código abierto y modelos de consumo flexibles.
Una década de unidades de procesamiento tensorial (TPU)
Las TPUs están diseñadas específicamente para cargas de trabajo de IA avanzadas, desde modelos de lenguaje grandes y generación de código hasta agentes inteligentes. Son el motor detrás de Gemini y los productos insignia de Google que usan miles de millones de personas, como la Búsqueda, Fotos y Maps.
Ventajas
Operaciones abiertas, flexibles y confiables
Crea en un ecosistema abierto con bibliotecas y herramientas conocidas. Las TPUs proporcionan compatibilidad nativa de alto rendimiento para PyTorch y JAX, y admiten el motor vLLM para una inferencia rápida. Administra y escala estas implementaciones de manera confiable en clústeres globales con Google Kubernetes Engine (GKE).
Rendimiento sin concesiones
Convierte meses de entrenamiento en semanas para modelos de frontera. Con hasta 1 millón de chips TPU en un solo clúster, las TPUs maximizan el rendimiento útil, lo que garantiza que casi todos los ciclos de procesamiento se dediquen al aprendizaje activo.
Ventajas
Operaciones abiertas, flexibles y confiables
Crea en un ecosistema abierto con bibliotecas y herramientas conocidas. Las TPUs proporcionan compatibilidad nativa de alto rendimiento para PyTorch y JAX, y admiten el motor vLLM para una inferencia rápida. Administra y escala estas implementaciones de manera confiable en clústeres globales con Google Kubernetes Engine (GKE).
Rendimiento sin concesiones
Convierte meses de entrenamiento en semanas para modelos de frontera. Con hasta 1 millón de chips TPU en un solo clúster, las TPUs maximizan el rendimiento útil, lo que garantiza que casi todos los ciclos de procesamiento se dediquen al aprendizaje activo.
TPU 8t
La TPU 8t está diseñada para el entrenamiento previo a gran escala y las cargas de trabajo con muchos embeddings a una escala de 9,600 chips en un solo superpod, lo que proporciona la computación de alta densidad necesaria para los modelos de frontera con casi 3 veces el rendimiento de computación por pod en comparación con la generación anterior.
Disponible próximamente.
TPU 8i
La TPU 8i está optimizada para la inferencia y el entrenamiento posterior, y proporciona una mejora del 80% en el rendimiento por dólar en comparación con las generaciones anteriores para la inferencia de baja latencia para modelos MoE grandes.
Disponible próximamente.
Ironwood: 7ª generación
TPU de 7ª generación con eficiencia energética diseñada para entrenamiento, razonamiento e inferencia a gran escala. Cuenta con 9,216 chips refrigerados por líquido por Pod, proporciona 42.5 ExaFlops y un rendimiento por chip 4 veces mejor que Trillium.
Disponible para el público general
Trillium: 6ª generación
TPU de sexta generación con eficiencia energética mejorada y rendimiento máximo de procesamiento para entrenamiento e inferencia. Funciona con un 67% más de eficiencia energética y proporciona un rendimiento de procesamiento máximo 4.7 veces mayor por chip en comparación con la TPU v5e de la generación anterior.
Disponible para el público general
TPU 8t
La TPU 8t está diseñada para el entrenamiento previo a gran escala y las cargas de trabajo con muchos embeddings a una escala de 9,600 chips en un solo superpod, lo que proporciona la computación de alta densidad necesaria para los modelos de frontera con casi 3 veces el rendimiento de computación por pod en comparación con la generación anterior.
Disponible próximamente.
TPU 8i
La TPU 8i está optimizada para la inferencia y el entrenamiento posterior, y proporciona una mejora del 80% en el rendimiento por dólar en comparación con las generaciones anteriores para la inferencia de baja latencia para modelos MoE grandes.
Disponible próximamente.
Ironwood: 7ª generación
TPU de 7ª generación con eficiencia energética diseñada para entrenamiento, razonamiento e inferencia a gran escala. Cuenta con 9,216 chips refrigerados por líquido por Pod, proporciona 42.5 ExaFlops y un rendimiento por chip 4 veces mejor que Trillium.
Disponible para el público general
Trillium: 6ª generación
TPU de sexta generación con eficiencia energética mejorada y rendimiento máximo de procesamiento para entrenamiento e inferencia. Funciona con un 67% más de eficiencia energética y proporciona un rendimiento de procesamiento máximo 4.7 veces mayor por chip en comparación con la TPU v5e de la generación anterior.
Disponible para el público general
Pila de software de TPU
La pila de software de TPU está diseñada para cerrar la brecha entre el código de aprendizaje automático de alto nivel y el chip personalizado para optimizar la eficiencia del hardware sin procesar.
JAX
Compila operaciones matemáticas complejas a una velocidad de hardware casi nativa en TPUs. Esta biblioteca de código abierto para el cálculo numérico y la diferenciación automática se escala sin esfuerzo en clústeres de TPU distribuidos masivos con una malla de dispositivo explícita.
TorchTPU y PyTorch
Ejecuta cargas de trabajo de PyTorch directamente en las TPUs usando sintaxis estándar. Creada con Meta, esta pila nativa de "ejecución inmediata" permite la migración de bases de código existentes con cambios mínimos para obtener importantes beneficios de costo-rendimiento, sin necesidad de que los equipos de ingeniería aprendan un nuevo framework.
OpenXLA
Reduce los cuellos de botella de la compilación para extraer un alto rendimiento del hardware de TPU. Este compilador de aprendizaje automático de código abierto fusiona operaciones automáticamente, optimiza el uso de la memoria y elimina la sobrecarga del framework para los cálculos de álgebra lineal en los backends de TPU.
MaxText
Reduce los plazos de entrenamiento para modelos de base masivos. Esta implementación de referencia basada en JAX proporciona un plano altamente escalable y listo para usar que permite lograr un uso máximo del hardware durante el entrenamiento previo de LLM en TPUs.
Tunix
Optimiza el posentrenamiento y la alineación de LLM en la infraestructura de TPU. Esta biblioteca de JAX ligera y de código abierto ofrece flujos de trabajo escalables para el ajuste supervisado (SFT) y el aprendizaje por refuerzo (RL) y así convertir de forma eficiente modelos sin procesar en agentes listos para producción.
vLLM
Maximiza la simultaneidad de entrega y reduce los costos operativos para la inferencia de TPU en tiempo real. Este motor de código abierto de alta capacidad de procesamiento aprovecha técnicas de administración de memoria como PagedAttention para eliminar el desperdicio y ofrecer una entrega de LLM altamente eficiente en la arquitectura de TPU.
Pila de software de TPU
La pila de software de TPU está diseñada para cerrar la brecha entre el código de aprendizaje automático de alto nivel y el chip personalizado para optimizar la eficiencia del hardware sin procesar.
JAX
Compila operaciones matemáticas complejas a una velocidad de hardware casi nativa en TPUs. Esta biblioteca de código abierto para el cálculo numérico y la diferenciación automática se escala sin esfuerzo en clústeres de TPU distribuidos masivos con una malla de dispositivo explícita.
TorchTPU y PyTorch
Ejecuta cargas de trabajo de PyTorch directamente en las TPUs usando sintaxis estándar. Creada con Meta, esta pila nativa de "ejecución inmediata" permite la migración de bases de código existentes con cambios mínimos para obtener importantes beneficios de costo-rendimiento, sin necesidad de que los equipos de ingeniería aprendan un nuevo framework.
OpenXLA
Reduce los cuellos de botella de la compilación para extraer un alto rendimiento del hardware de TPU. Este compilador de aprendizaje automático de código abierto fusiona operaciones automáticamente, optimiza el uso de la memoria y elimina la sobrecarga del framework para los cálculos de álgebra lineal en los backends de TPU.
MaxText
Reduce los plazos de entrenamiento para modelos de base masivos. Esta implementación de referencia basada en JAX proporciona un plano altamente escalable y listo para usar que permite lograr un uso máximo del hardware durante el entrenamiento previo de LLM en TPUs.
Tunix
Optimiza el posentrenamiento y la alineación de LLM en la infraestructura de TPU. Esta biblioteca de JAX ligera y de código abierto ofrece flujos de trabajo escalables para el ajuste supervisado (SFT) y el aprendizaje por refuerzo (RL) y así convertir de forma eficiente modelos sin procesar en agentes listos para producción.
vLLM
Maximiza la simultaneidad de entrega y reduce los costos operativos para la inferencia de TPU en tiempo real. Este motor de código abierto de alta capacidad de procesamiento aprovecha técnicas de administración de memoria como PagedAttention para eliminar el desperdicio y ofrecer una entrega de LLM altamente eficiente en la arquitectura de TPU.
Las TPUs potencian a los innovadores
Recursos adicionales
- Ejecuta cargas de trabajo de entrenamiento previo de IA a gran escalaReduce los plazos de entrenamiento previo para modelos de base masivos. La TPU 8t proporciona potencia de conmutación de alto rendimiento en un solo pod y se escala con la red Virgo. En combinación con el acceso rápido al almacenamiento y el aislamiento NUMA potenciado por Axion, la arquitectura logra un alto rendimiento útil, lo que garantiza que los ciclos de procesamiento se dediquen a la creación activa de modelos en lugar de estar inactivos durante la transferencia de datos o los restablecimientos de hardware.Guía para desarrolladores sobre el entrenamiento con TPU Ironwood
- Aprendizaje por refuerzo y posterior al entrenamiento eficienteCrea modelos base en agentes inteligentes a través de flujos de trabajo intensivos posteriores al entrenamiento. La 8ª generación del sistema TPU procesa rápidamente pruebas continuas de aprendizaje por refuerzo, recompensando las mejores rutas de razonamiento sin los retrasos de ciclo comunes en las generaciones anteriores. Esto te permite ajustar de manera eficiente los modelos del mundo, lo que permite a los agentes refinar su razonamiento en entornos simulados antes de ejecutarlo en el mundo real.MaxText posterior al entrenamiento
- Cargas de trabajo de inferencia de IA de baja latencia a gran escalaSupera el límite de memoria de inferencia. La TPU 8i expande la SRAM en chip y la memoria de alto ancho de banda, lo que permite alojar cachés KV de alta capacidad completamente en el silicio. Con el motor de aceleración de colectivos SparseCore (SC-CAE) para descargar tareas de comunicación global, esta arquitectura reduce significativamente la latencia en el chip, lo que libera los núcleos de procesamiento principales para la generación de tokens pura y de baja latencia.Acelera las inferencias de la IA con Google Cloud
- Virgo Network, la estructura de centros de datos de IA de escalamiento horizontal de GoogleVirgo Network es un tejido de escalamiento horizontal diseñado para los requisitos extremos de las cargas de trabajo de IA modernas. Se basa en conmutadores de alta raíz que reducen las capas de red, ya que permiten más puertos por conmutador, y emplea una topología plana, de dos capas, sin bloqueo.Leer el artículo del anuncio
- Confiabilidad a nivel de clúster para modelos de billones de parámetros en TPUDurante más de una década, Google operó clústeres de unidades de procesamiento tensorial (TPU) a gran escala, lo que logró una confiabilidad que cumple con los requisitos arquitectónicos de las cargas de trabajo de IA modernas. En este blog, presentamos nuestro framework de confiabilidad a nivel de clúster para TPU de Google Cloud que se enfoca en el rendimiento colectivo a nivel de superpod, y que usamos internamente en Google para crear los modelos de IA más avanzados del mundo.Lea el artículo
- Diseña IA sustentable con TPURealiza un análisis detallado de la eficiencia y las emisiones del ciclo de vida de las TPU. Nuestras mejoras significativas en la eficiencia de carbono del hardware complementan los rápidos avances en el diseño de modelos y algoritmos de IA.Lea el artículo
- Introducción a Cloud TPURevisa la documentación de Cloud TPU para obtener una introducción a las unidades de procesamiento tensorial (TPUs).Revisa la documentación
- Arquitectura de las TPUEn la siguiente documentación, se describen los componentes clave de la arquitectura de TPU en la nube.Revisa la documentación
- Recetas de TPURecetas de TPU: Instrucciones para reproducir una carga de trabajo específica en las TPUs de Google Cloud.Consulta la guía
Casos de uso técnicos
- Ejecuta cargas de trabajo de entrenamiento previo de IA a gran escalaReduce los plazos de entrenamiento previo para modelos de base masivos. La TPU 8t proporciona potencia de conmutación de alto rendimiento en un solo pod y se escala con la red Virgo. En combinación con el acceso rápido al almacenamiento y el aislamiento NUMA potenciado por Axion, la arquitectura logra un alto rendimiento útil, lo que garantiza que los ciclos de procesamiento se dediquen a la creación activa de modelos en lugar de estar inactivos durante la transferencia de datos o los restablecimientos de hardware.Guía para desarrolladores sobre el entrenamiento con TPU Ironwood
- Aprendizaje por refuerzo y posterior al entrenamiento eficienteCrea modelos base en agentes inteligentes a través de flujos de trabajo intensivos posteriores al entrenamiento. La 8ª generación del sistema TPU procesa rápidamente pruebas continuas de aprendizaje por refuerzo, recompensando las mejores rutas de razonamiento sin los retrasos de ciclo comunes en las generaciones anteriores. Esto te permite ajustar de manera eficiente los modelos del mundo, lo que permite a los agentes refinar su razonamiento en entornos simulados antes de ejecutarlo en el mundo real.MaxText posterior al entrenamiento
- Cargas de trabajo de inferencia de IA de baja latencia a gran escalaSupera el límite de memoria de inferencia. La TPU 8i expande la SRAM en chip y la memoria de alto ancho de banda, lo que permite alojar cachés KV de alta capacidad completamente en el silicio. Con el motor de aceleración de colectivos SparseCore (SC-CAE) para descargar tareas de comunicación global, esta arquitectura reduce significativamente la latencia en el chip, lo que libera los núcleos de procesamiento principales para la generación de tokens pura y de baja latencia.Acelera las inferencias de la IA con Google Cloud
Artículos
- Virgo Network, la estructura de centros de datos de IA de escalamiento horizontal de GoogleVirgo Network es un tejido de escalamiento horizontal diseñado para los requisitos extremos de las cargas de trabajo de IA modernas. Se basa en conmutadores de alta raíz que reducen las capas de red, ya que permiten más puertos por conmutador, y emplea una topología plana, de dos capas, sin bloqueo.Leer el artículo del anuncio
- Confiabilidad a nivel de clúster para modelos de billones de parámetros en TPUDurante más de una década, Google operó clústeres de unidades de procesamiento tensorial (TPU) a gran escala, lo que logró una confiabilidad que cumple con los requisitos arquitectónicos de las cargas de trabajo de IA modernas. En este blog, presentamos nuestro framework de confiabilidad a nivel de clúster para TPU de Google Cloud que se enfoca en el rendimiento colectivo a nivel de superpod, y que usamos internamente en Google para crear los modelos de IA más avanzados del mundo.Lea el artículo
- Diseña IA sustentable con TPURealiza un análisis detallado de la eficiencia y las emisiones del ciclo de vida de las TPU. Nuestras mejoras significativas en la eficiencia de carbono del hardware complementan los rápidos avances en el diseño de modelos y algoritmos de IA.Lea el artículo
Documentación
- Introducción a Cloud TPURevisa la documentación de Cloud TPU para obtener una introducción a las unidades de procesamiento tensorial (TPUs).Revisa la documentación
- Arquitectura de las TPUEn la siguiente documentación, se describen los componentes clave de la arquitectura de TPU en la nube.Revisa la documentación
- Recetas de TPURecetas de TPU: Instrucciones para reproducir una carga de trabajo específica en las TPUs de Google Cloud.Consulta la guía
Preguntas frecuentes
¿Qué es una unidad de procesamiento tensorial (TPU)?
Las TPUs son circuitos integrados específicos de aplicaciones (ASICs) diseñados a medida y desarrollados por Google. Se diseñaron desde cero para acelerar las cargas de trabajo de aprendizaje automático y de Inteligencia Artificial. Las TPUs están optimizadas específicamente para las exigentes operaciones de multiplicación de matrices y tensores que actúan como los componentes básicos fundamentales de las redes neuronales y hacen posible desde modelos de lenguaje grandes hasta agentes de razonamiento complejos.
¿Cómo funciona la arquitectura de TPU?
En el centro de una TPU, se encuentra una unidad de multiplicación de matrices (MXU) especializada que procesa grandes cantidades de operaciones de matrices de forma simultánea. Las TPU utilizan una arquitectura de "array sistólico" que lee los datos una vez y los hace fluir de forma continua a través de miles de unidades lógicas aritméticas (ALU), acumulando resultados sin necesidad de leer y escribir constantemente en la memoria. También admiten aritmética de precisión reducida (como punto flotante de 8 o 16 bits), lo que permite millones de cálculos por segundo sin sacrificar la exactitud requerida para los modelos de IA.
¿Qué frameworks de aprendizaje automático admite Cloud TPU?
Las Cloud TPUs ofrecen compatibilidad nativa de alto rendimiento para los principales frameworks de aprendizaje automático, principalmente TensorFlow, PyTorch y JAX. El compilador de álgebra lineal acelerada (XLA) compila el código escrito en estos frameworks, lo que optimiza automáticamente el grafo computacional para que se ejecute de manera eficiente en el hardware de TPU subyacente.
¿Qué tipos de cargas de trabajo son más adecuados para las TPUs?
Las TPUs son excelentes para las tareas de aprendizaje profundo que requieren operaciones de matrices paralelas masivas. Se recomiendan para los siguientes casos:
- Modelos dominados por cálculos de matrices
- Ejecuciones de entrenamiento que tardan semanas o meses en converger
- Modelos de base grandes y modelos de lenguaje grandes (LLM)
- Cargas de trabajo con embeddings ultragrandes, como motores de recomendaciones avanzados
- Inferencia de alto volumen y baja latencia, y aprendizaje por refuerzo continuo
¿Qué son las porciones y los pods de TPU?
Un pod de TPU es un clúster físico masivo de chips TPU conectados entre sí a través de una red especializada de alta velocidad (como la red de Virgo o de conmutación de circuitos ópticos de Google). Un solo superpod puede contener miles de chips interconectados. Una “porción” es un subconjunto más pequeño y dedicado de un pod que puedes alquilar. Esta arquitectura de red permite que los desarrolladores escalen sus cargas de trabajo de IA en grandes cantidades de procesamiento con pocos o ningún cambio de código, lo que permite operar de manera eficaz toda la porción como una sola máquina unificada.
¿Qué es el “procesamiento útil” del AA en el contexto del entrenamiento de TPU?
El rendimiento útil se refiere al tiempo real y productivo que tu infraestructura dedica a entrenar activamente tu modelo, en lugar de estar inactiva. El entrenamiento de modelos de base grandes implica una organización compleja en miles de chips, lo que significa que los ciclos de procesamiento pueden desperdiciarse fácilmente en retrasos en la transferencia de datos, restablecimientos de hardware o creación de puntos de control. Las Cloud TPUs están diseñadas para maximizar el rendimiento útil a través de interconexiones de ancho de banda alto y almacenamiento en caché de la memoria optimizado, lo que garantiza que los ciclos de procesamiento pagados contribuyan directamente al avance del modelo.
¿Cómo se maneja la organización a gran escala para las TPUs?
Los usuarios pueden respaldar la confiabilidad, la supervisión integral y la administración con Google Kubernetes Engine (GKE) y Cluster Director. Con GKE para TPU, los clientes operan en un ecosistema nativo de la nube que cuenta con la puerta de enlace de inferencia para el balanceo de cargas y la capacidad de escalar implementaciones hasta 130,000 nodos de GKE.
