Cloud Tensor Processing Unit (TPU)

Las unidades de procesamiento tensorial (TPU) son los circuitos integrados personalizados específicos de aplicaciones (ASIC) de Google que se usan para acelerar las cargas de trabajo de aprendizaje automático. Estas TPU están diseñadas desde cero con el beneficio de la gran experiencia y el liderazgo en aprendizaje automático de Google.

Cloud TPU te permite ejecutar tus cargas de trabajo de aprendizaje automático en el hardware acelerador de TPU de Google mediante TensorFlow. Cloud TPU está diseñada para alcanzar el mayor rendimiento y flexibilidad, y así ayudar a los investigadores, desarrolladores y negocios a compilar clústeres de procesamiento de TensorFlow que puedan aprovechar al máximo las CPU, GPU y TPU. Las API de TensorFlow de alto nivel te ayudan a ejecutar los modelos en el hardware de Cloud TPU.

Ventajas de las TPU

Los recursos de Cloud TPU aceleran el rendimiento de los cálculos de álgebra lineal, muy utilizados en las aplicaciones de aprendizaje automático. Las TPU minimizan el tiempo necesario para alcanzar la exactitud cuando entrenas modelos de redes neuronales complejas y extensas. Un modelo que antes tardaba semanas en entrenarse con otras plataformas de hardware ahora puede converger con las TPU en cuestión de horas.

Disponibilidad

En Regiones y zonas de Cloud TPU, se muestran las ubicaciones en las que están disponibles las Cloud TPU.

Modelo de programación de Cloud TPU

Las Cloud TPU realizan cálculos de vector y matrices densos muy rápidamente. La transferencia de datos entre Cloud TPU y la memoria del host es lenta en comparación con la velocidad del cálculo. Esto se debe a que la velocidad del bus PCIe es mucho menor que la de la interconexión de Cloud TPU y la de la memoria de gran ancho de banda (HBM) en el chip. La compilación parcial de un modelo, en el que la ejecución pasa de un lado a otro entre el host y el dispositivo, hace que la TPU esté inactiva la mayor parte del tiempo, a la espera de que lleguen los datos por medio del bus PCIe. A fin de solucionar este problema, el modelo de programación de Cloud TPU está diseñado para ejecutar gran parte del entrenamiento en la TPU, idealmente el ciclo de entrenamiento completo.

A continuación, se detallan algunas características importantes del modelo de programación de TPU:

  • Se guardan todos los parámetros del modelo en la memoria de gran ancho de banda en el chip.
  • La ejecución de muchos pasos de entrenamiento en un mismo ciclo permite amortizar el costo de iniciar cálculos en Cloud TPU.
  • Los datos de entrenamiento de entrada se transmiten a una cola de entrada en la Cloud TPU. Un programa que se ejecuta en Cloud TPU recupera lotes de estas colas durante cada paso de entrenamiento.
  • El servidor de TensorFlow que se ejecuta en la máquina host (la CPU adjunta al dispositivo de Cloud TPU) obtiene los datos y realiza procesamientos previos antes de ingresarlos en el hardware de Cloud TPU.
  • Paralelismo de datos: Los núcleos de Cloud TPU ejecutan un programa idéntico que reside en sus respectivas HBM de manera síncrona. Se realiza una operación de reducción al final de cada paso de red neuronal en todos los núcleos.

Cuándo conviene usar las TPU

Las Cloud TPU están optimizadas para ciertas cargas de trabajo en particular. En algunas situaciones, tal vez quieras usar GPU o CPU en las instancias de Compute Engine para ejecutar tus cargas de trabajo de aprendizaje automático. En general, puedes decidir qué hardware se ajusta mejor a tu carga de trabajo según los siguientes lineamientos:

  • CPU

    • Prototipado rápido que requiere máxima flexibilidad
    • Modelos simples que no tardan mucho en entrenarse
    • Modelos pequeños con tamaños de lotes efectivos pequeños
    • Modelos que están dominados por operaciones de TensorFlow personalizadas escritas en C++
    • Modelos que están limitados por las E/S disponibles o el ancho de banda de red del sistema host

  • GPU

    • Modelos para los que no existe la fuente o cuya fuente es muy costosa para cambiarla
    • Modelos con una cantidad importante de operaciones personalizadas de TensorFlow que deben ejecutarse al menos en parte en CPU
    • Modelos con operaciones de TensorFlow que no están disponibles en Cloud TPU (consulta la lista de operaciones de TensorFlow disponibles)
    • Modelos medianos a grandes con tamaños de lotes efectivos más grandes

  • TPU

    • Modelos dominados por cálculos de matrices
    • Modelos sin operaciones de TensorFlow personalizadas dentro del ciclo de entrenamiento principal
    • Modelos que se entrenan por semanas o meses
    • Modelos grandes o muy grandes con tamaños de lotes efectivos muy grandes

Las Cloud TPU no son apropiadas para las siguientes cargas de trabajo:

  • Programas de álgebra lineal que requieren ramificaciones frecuentes o dominados por el álgebra a nivel de los elementos. Las TPU están optimizadas para realizar multiplicaciones de matrices voluminosas con rapidez, por lo que una carga de trabajo que no esté dominada por multiplicaciones de matrices probablemente no tenga un buen rendimiento en TPU, en comparación con otras plataformas.
  • Las cargas de trabajo que acceden a la memoria de manera dispersa podrían no estar disponibles en TPU.
  • Las cargas de trabajo que requieren aritmética de alta precisión. Por ejemplo, la aritmética de doble precisión no es adecuada para las TPU.
  • Cargas de trabajo de redes neuronales que contienen operaciones personalizadas de TensorFlow escritas en C++. De manera más específica, las operaciones personalizadas en el cuerpo del ciclo de entrenamiento principal no son adecuadas para las TPU.

Las cargas de trabajo de redes neuronales deben poder ejecutar varias iteraciones de todo el bucle de entrenamiento en la TPU. Aunque este no es un requisito fundamental de las TPU en sí, es una de las limitaciones actuales del ecosistema del software de TPU que se requiere para lograr la eficiencia.

Diferencias con el entrenamiento convencional

Un grafo de entrenamiento de TensorFlow típico consiste en varios subgrafos superpuestos, los cuales proporcionan una variedad de funcionalidades, incluidas las que se mencionan a continuación:

  • Operaciones de E/S para leer datos de entrenamiento
  • Etapas de procesamiento previo a la entrada, a menudo conectadas a través de colas
  • Variables del modelo
  • Código de inicialización de esas variables
  • El modelo en sí
  • Funciones de pérdida
  • Código de gradiente (usualmente generado automáticamente)
  • Operaciones de resumen para supervisar el entrenamiento
  • Operaciones de Guardar/Restablecer para establecer puntos de control

En Cloud TPU, los programas de TensorFlow se compilan con el compilador justo a tiempo XLA. Cuando entrenas un modelo en Cloud TPU, el único código que puede compilarse y ejecutarse en el hardware es el que corresponde a las partes densas del modelo, los subgrafos de pérdida y gradiente. Todas las demás partes del programa de TensorFlow se ejecutan en las máquinas host (servidor de Cloud TPU) como parte de una sesión de TensorFlow distribuida regular. En general, esta consiste en operaciones de E/S que leen los datos de entrenamiento, códigos de procesamiento previo (por ejemplo, para decodificar imágenes comprimidas, realizar muestras o recortes aleatorios, o reunir minilotes de entrenamiento) y todas las partes de mantenimiento del grafo, como las tareas de guardar/restablecer puntos de control.

Recomendaciones para el desarrollo del modelo

Cada chip individual de Cloud TPU contiene 2 núcleos, cada uno con varias unidades de matriz (MXU) diseñadas para acelerar los programas dominados por convoluciones y multiplicaciones de matrices densas (consulta esta página sobre la arquitectura del sistema). Los programas que pasan una parte considerable de su tiempo de ejecución realizando multiplicaciones de matrices suelen ajustarse bien a Cloud TPU. En cambio, es probable que un programa cuyos cálculos están dominados por operaciones no matriciales, como suma, cambio de forma o concatenación, no logre un uso alto de las MXU. A continuación, se proporcionan algunos lineamientos que te ayudarán a elegir y compilar modelos apropiados para Cloud TPU.

Cada dispositivo de Cloud TPU contiene cuatro chips, cada uno de los cuales tiene dos núcleos de TPU. Por lo tanto, para lograr una utilización eficiente de Cloud TPU, un programa debería usar cada uno de los ocho núcleos.

Diseño

El compilador de XLA realiza transformaciones de código, incluso dividir una multiplicación de matriz en bloques más pequeños a fin de ejecutar cálculos en la unidad matriz (MXU) de manera eficiente. Para garantizar la eficiencia de la división, el compilador de XLA emplea la estructura del hardware de las MXU, un arreglo sistólico de 128 x 128, y el diseño del subsistema de memoria de las TPU, que prefiere dimensiones que sean múltiplos de 8. En consecuencia, algunos diseños son más propicios para la división, mientras que otros requieren que se realicen cambios de forma antes de que puedan dividirse. Las operaciones de cambio de forma suelen depender de la memoria en Cloud TPU.

Formas

El compilador de XLA compila un grafo de TensorFlow justo a tiempo antes del primer lote. Si los lotes subsiguientes tienen formas diferentes, el modelo no funciona. (Volver a compilar el grafo cada vez que la forma cambia es demasiado lento). Por lo tanto, todo modelo que tenga tensores de formas dinámicas que cambien en el entorno de ejecución será inapropiado para el uso con TPU.

Relleno

Un programa de Cloud TPU de buen rendimiento será aquel cuyo procesamiento denso se divida fácilmente en fragmentos de 128 x 128. Cuando un cálculo de matriz no puede ocupar una MXU entera, el compilador rellena los tensores con ceros. El relleno presenta dos desventajas:

  • Los tensores rellenos con ceros no usan el núcleo TPU lo suficiente.
  • El relleno aumenta el tamaño del almacenamiento en la memoria del chip que necesita un tensor y puede llevar a un error de falta de memoria en casos extremos.

Aunque el compilador de XLA ejecuta operaciones de relleno automáticamente cuando es necesario, se puede determinar la cantidad de operaciones de relleno que se realizan mediante la herramienta op_profile. Puedes evitar el relleno si eliges dimensiones de tensor que se ajusten bien a las TPU.

Dimensiones

La elección de dimensiones de tensor adecuadas contribuye de manera considerable a extraer el máximo rendimiento del hardware de TPU, en particular las MXU. El compilador de XLA trata de usar el tamaño del lote o la dimensión de los atributos para usar las MXU al máximo. Por lo tanto, uno de estos debe ser un múltiplo de 128. Si no es así, el compilador rellenará uno de estos hasta que llegue a 128. Idealmente, tanto el tamaño del lote como la dimensión de los atributos deberían ser múltiplos de 8, lo que posibilita lograr un alto rendimiento en el subsistema de la memoria.

Operaciones

Consulta la lista de operaciones de TensorFlow disponibles.

Integración de Controles del servicio de VPC

Los Controles del servicio de VPC de Cloud TPU te permiten definir perímetros de seguridad alrededor de los recursos de Cloud TPU y controlar el movimiento de datos en el límite perimetral. Consulta la descripción general de los Controles del servicio de VPC para obtener más información. Para obtener más información sobre las limitaciones en el uso de Cloud TPU con los Controles del servicio de VPC, consulta la página sobre los productos admitidos y las limitaciones.

Edge TPU

Los modelos de aprendizaje automático entrenados en la nube necesitan cada vez más ejecutar inferencias “en el perímetro”, es decir, en dispositivos que operan en el perímetro de la Internet de las cosas (IoT). Estos dispositivos incluyen sensores y otros dispositivos inteligentes que recopilan datos en tiempo real, toman decisiones inteligentes y, luego, toman medidas o comunican su información a otros dispositivos o a la nube.

Debido a que estos dispositivos deben funcionar con energía limitada (incluida la batería), Google diseñó el coprocesador Edge TPU para acelerar la inferencia del AA en dispositivos de bajo consumo. Una Edge TPU individual puede realizar 4 billones de operaciones por segundo (4 TOPS) con solo 2 vatios de potencia. En otras palabras, obtienes 2 TOPS por vatio. Por ejemplo, la Edge TPU puede ejecutar modelos de visión móvil de vanguardia, como MobileNet V2, a casi 400 fotogramas por segundo y de manera eficiente.

Este acelerador del AA de bajo consumo aumenta Cloud TPU y Cloud IoT para proporcionar una infraestructura de extremo a extremo (de hardware y software, de la nube al perímetro) que facilite las soluciones basadas en la IA.

Edge TPU está disponible para tus propios dispositivos de producción y prototipos en varios factores de forma, incluidas una computadora de una sola placa, un módulo en un módulo, una tarjeta PCIe/M.2 y un módulo activado en la superficie. Para obtener más información sobre Edge TPU y todos los productos disponibles, visita coral.ai.

¿Qué sigue?