Compute Engine proporciona unidades de procesamiento de gráficos (GPU) que puedes agregar a tus instancias de máquina virtual. Puedes usar estas GPU para acelerar cargas de trabajo específicas en las instancias, como aprendizaje automático y procesamiento de datos.
Si tienes cargas de trabajo de contenido gráfico alto, como visualización 3D, procesamiento 3D o aplicaciones virtuales, puedes crear estaciones de trabajo virtuales que utilicen la tecnología NVIDIA® GRID®. A fin de obtener información sobre las GPU en aplicaciones de alto contenido gráfico, consulta sobre GPU para cargas de trabajo de gráficos.
En este documento, se proporciona una descripción general de las GPU en Compute Engine. Para obtener más información sobre cómo trabajar con GPU, consulta los siguientes recursos:
- Para agregar o quitar GPU a una instancia de VM, consulta la documentación sobre cómo agregar o quitar GPU de una instancia:
- Para supervisar las GPU, consulta la documentación sobre cómo supervisar el rendimiento de las GPU.
- Para optimizar el rendimiento de la GPU, consulta Optimiza el rendimiento de las GPU.
Introducción
Compute Engine proporciona GPU de NVIDIA® Tesla® para tus instancias en modo de transferencia a fin de que tus instancias de máquina virtual tengan control directo sobre las GPU y su memoria asociada.
Para las cargas de trabajo de procesamiento, los modelos de GPU están disponibles en las siguientes etapas:
NVIDIA® Tesla® T4
nvidia-tesla-t4: generalmente, está disponibleNVIDIA® Tesla® V100
nvidia-tesla-v100: generalmente, está disponibleNVIDIA® Tesla® P100
nvidia-tesla-p100: generalmente, está disponibleNVIDIA® Tesla® P4
nvidia-tesla-p4: generalmente, está disponibleNVIDIA® Tesla® K80
nvidia-tesla-k80: generalmente, está disponible
Para las cargas de trabajo de gráficos, los modelos de GPU están disponibles en las siguientes etapas:
- Estaciones de trabajo virtuales con tecnología NVIDIA® Tesla® T4
nvidia-tesla-t4-vws: generalmente, están disponibles - Estaciones de trabajo virtuales con tecnología NVIDIA® Tesla® P100
nvidia-tesla-p100-vws: generalmente, están disponibles - Estaciones de trabajo virtuales con tecnología NVIDIA® Tesla® P4
nvidia-tesla-p4-vws: generalmente, están disponibles
Si deseas obtener información sobre GPU en estaciones de trabajo virtuales, consulta GPU para cargas de trabajo de gráficos.
Solo puedes conectar las GPU a instancias con tipos de máquinas predefinidos o personalizados. Las GPU no son compatibles con los tipos de máquina con núcleo compartido o con optimización de memoria.
GPU para cargas de trabajo de procesamiento
Las instancias con una cantidad menor de GPU están limitadas a una cantidad máxima de CPU virtuales. En general, una cantidad mayor de GPU te permite crear instancias con mayores cantidades de CPU virtuales y de memoria.
| Modelo de GPU | GPU | Memoria de GPU | CPU virtuales disponibles | Memoria disponible | Zonas disponibles |
|---|---|---|---|---|---|
| NVIDIA® Tesla® T4 | 1 GPU | GDDR6 de 16 GB | De 1 a 24 CPU virtuales | De 1 a 156 GB |
|
| 2 GPU | GDDR6 de 32 GB | De 1 a 48 CPU virtuales | De 1 a 312 GB | ||
| 4 GPU | GDDR6 de 64 GB | De 1 a 96 CPU virtuales | De 1 a 624 GB | ||
| NVIDIA® Tesla® P4 | 1 GPU | GDDR5 de 8 GB | De 1 a 24 CPU virtuales | De 1 a 156 GB |
|
| 2 GPU | GDDR5 de 16 GB | De 1 a 48 CPU virtuales | De 1 a 312 GB | ||
| 4 GPU | GDDR5 de 32 GB | De 1 a 96 CPU virtuales | De 1 a 624 GB | ||
| NVIDIA® Tesla® V100 | 1 GPU | HBM2 de 16 GB | De 1 a 12 CPU virtuales | De 1 a 78 GB |
|
| 2 GPU | HBM2 de 32 GB | De 1 a 24 CPU virtuales | De 1 a 156 GB | ||
| 4 GPU | 64 GB HBM2 | De 1 a 48 CPU virtuales | De 1 a 312 GB | ||
| 8 GPU | 128 GB de HBM2 | De 1 a 96 CPU virtuales | De 1 a 624 GB | ||
| NVIDIA® Tesla® P100 | 1 GPU | HBM2 de 16 GB | De 1 a 16 CPU virtuales | De 1 a 104 GB |
|
| 2 GPU | HBM2 de 32 GB | De 1 a 32 CPU virtuales | De 1 a 208 GB | ||
| 4 GPU | 64 GB HBM2 | De 1 a 64 CPU virtuales De 1 a 96 CPU virtuales |
De 1 a 208 GB De 1 a 624 GB |
||
| NVIDIA® Tesla® K80 | 1 GPU | GDDR5 de 12 GB | De 1 a 8 CPU virtuales | De 1 a 52 GB |
|
| 2 GPU | GDDR5 de 24 GB | De 1 a 16 CPU virtuales | De 1 a 104 GB | ||
| 4 GPU | GDDR5 de 48 GB | De 1 a 32 CPU virtuales | De 1 a 208 GB | ||
| 8 GPU | GDDR5 de 96 GB | De 1 a 64 CPU virtuales | De 1 a 416 GB De 1 a 208 GB |
- Para obtener una descripción más detallada de las zonas, consulta la página sobre regiones y zonas.
- Las placas NVIDIA® K80® tienen dos GPU cada una. El precio es por cada GPU K80, no por placa.
Los dispositivos de GPU reciben descuentos por uso continuo de manera similar a las CPU virtuales. Consulta la página de precios de GPU a fin de ver los precios por hora y por mes de los dispositivos de GPU.
En las cargas de trabajo de varias GPU, las GPU V100 se ofrecen con conexiones NVLink ™ de alta velocidad para la comunicación entre GPU.
Para ver información sobre cómo tus GPU se conectan entre sí y con tus CPU, ejecuta el siguiente comando en tu instancia:
nvidia-smi topo -m
Si deseas obtener información sobre NVLink y sus ventajas, consulta el blog para desarrolladores de NVIDIA.
GPU NVIDIA® GRID® para cargas de trabajo de gráficos
Si tienes cargas de trabajo de contenido gráfico alto, como la visualización en 3D, puedes crear estaciones de trabajo virtuales que usen la plataforma NVIDIA GRID®.
Para obtener información general sobre GRID, consulta la descripción general de GRID.
Cuando seleccionas una GPU para una estación de trabajo virtual, se agrega una licencia NVIDIA GRID a tu instancia. Para admitir las GPU en tus estaciones de trabajo virtuales, necesitas que haya un controlador GRID instalado.
Después de crear una estación de trabajo virtual, puedes conectarte a ella mediante un protocolo de escritorio remoto, como Teradici® PCoIP o VMWare® Horizon View.
| Modelo de GPU | GPU | Memoria de GPU | CPU virtuales disponibles | Memoria disponible | Zonas disponibles |
|---|---|---|---|---|---|
| Estación de trabajo virtual con tecnología NVIDIA® Tesla® T4 | 1 GPU | GDDR6 de 16 GB | De 1 a 24 CPU virtuales | De 1 a 156 GB |
|
| 2 GPU | GDDR6 de 32 GB | De 1 a 48 CPU virtuales | De 1 a 312 GB | ||
| 4 GPU | GDDR6 de 64 GB | De 1 a 96 CPU virtuales | De 1 a 624 GB | ||
| Estación de trabajo virtual con tecnología NVIDIA® Tesla® P4 | 1 GPU | GDDR5 de 8 GB | De 1 a 16 CPU virtuales | De 1 a 156 GB |
|
| 2 GPU | GDDR5 de 16 GB | De 1 a 48 CPU virtuales | De 1 a 312 GB | ||
| 4 GPU | GDDR5 de 32 GB | De 1 a 96 CPU virtuales | De 1 a 624 GB | ||
| Estación de trabajo virtual con tecnología NVIDIA® Tesla® P100 | 1 GPU | HBM2 de 16 GB | De 1 a 16 CPU virtuales | De 1 a 104 GB |
|
| 2 GPU | HBM2 de 32 GB | De 1 a 32 CPU virtuales | De 1 a 208 GB | ||
| 4 GPU | 64 GB HBM2 | De 1 a 64 CPU virtuales De 1 a 96 CPU virtuales |
De 1 a 208 GB De 1 a 624 GB |
Ancho de banda de la red y GPU
Un ancho de banda superior de la red puede mejorar el rendimiento de las cargas de trabajo distribuidas. En Compute Engine, el ancho de banda de la red depende del tipo de máquina y la cantidad de CPU. En el caso de las instancias de VM que tienen GPU adjuntas, la configuración de la cantidad de GPU, CPU y memoria también afecta el ancho de banda de la red. Además, para alcanzar velocidades de 50 a 100 Gbps, que ahora están disponibles en versión Beta, las instancias de VM deben usar la interfaz de red virtual de Compute Engine (gVNIC).
Los anchos de banda máximos disponibles en Compute Engine son los siguientes:
- Las instancias de VM que tienen adjuntas las GPU P100, P4 y K80 tienen disponible un ancho de banda máximo de 32 Gbps. Esto es similar a la velocidad máxima disponible para las instancias de VM que no tienen GPU adjuntas. Para obtener más información sobre el ancho de banda de la red, consulta la tasa máxima de datos de salida.
- En función de la cantidad de GPU, las instancias de VM que tienen adjuntas GPU V100 y T4 ahora pueden obtener un ancho de banda máximo de hasta 50 o 100 Gbps. Para crear instancias de VM con GPU V100 y T4, que usan hasta 100 Gbps, consulta cómo usar anchos de banda de hasta 100 Gbps.
Configuración del ancho de banda
En las siguientes tablas, se resume el ancho de banda de la red disponible para diferentes configuraciones de VM de los tipos de GPU T4 y V100.
Se aplica automáticamente el ancho de banda de la red según la configuración de la instancia de VM. Por ejemplo, si tienes una instancia de VM con un solo núcleo de GPU V100, 12 CPU virtuales y 78 GB de memoria, el ancho de banda máximo de la red será de 24 Gbps.
| Configuración de instancia de VM V100 | Ancho de banda de red | ||
|---|---|---|---|
| Cantidad de GPU | CPU virtuales | Memoria | |
| 1 | 12 | 78 GB | 24 Gbps |
| 2 | 24 | 156 GB | 32 Gbps |
| 4 | 48 | 312 GB | 50 GbpsBeta |
| 8 | 96 | 624 GB | 100 GbpsBeta |
| Configuración de instancia de VM T4 | Ancho de banda de red | ||
|---|---|---|---|
| Cantidad de GPU | CPU virtuales | Memoria | |
| 1 | 24 | 156 GB | 32 Gbps |
| 2 | 48 | 312 GB | 50 GbpsBeta |
| 4 | 96 | 624 GB | 100 GbpsBeta |
GPU de instancias interrumpibles
Puedes agregar GPU a tus instancias de VM interrumpibles a precios interrumpibles más bajos para las GPU. Las GPU conectadas a instancias interrumpibles funcionan como las GPU normales, pero persisten solo durante la vida útil de la instancia. Las instancias interrumpibles con GPU siguen el mismo proceso de interrupción que todas las instancias interrumpibles.
Cuando agregas una GPU a una instancia interrumpible, utilizas tu cuota de GPU normal. Si necesitas una cuota aparte para las GPU interrumpibles, solicita una cuota de GPU interrumpible por separado.
Durante los eventos de mantenimiento, las instancias interrumpibles con GPU se interrumpen de forma predeterminada y no se pueden reiniciar automáticamente. Si deseas volver a crear tus instancias después de que hayan sido interrumpidas, usa un grupo de instancias administrado. Los grupos de instancias administrados recrean tus instancias si están disponibles los recursos de CPU virtuales, memoria y GPU.
Si deseas recibir una advertencia antes de que se interrumpa tu instancia o si deseas configurar tu instancia para que se reinicie de forma automática después de un evento de mantenimiento, usa una instancia no interrumpible con una GPU. Para instancias no interrumpibles con GPU, Google muestra una notificación con una hora de anticipación antes de la interrupción.
Compute Engine no te cobra por las GPU si tus instancias son interrumpibles durante el primer minuto después de que comienzan a ejecutarse.
Si deseas conocer los pasos con el fin de reiniciar automáticamente una instancia no interrumpible, consulta la sección Actualiza las opciones de una instancia.
Para aprender a crear instancias interrumpibles con GPU conectadas, consulta la sección sobre cómo crear una instancia con una GPU.
Reserva GPU con descuentos por compromiso de uso
Para reservar recursos de GPU en una zona específica, consulta la sección sobre cómo reservar recursos zonales. Se requieren reservaciones para precios de descuento por compromiso de uso en GPU.
Gráfico de comparación de GPU
Revisa esta sección para obtener más información sobre factores como las especificaciones de rendimiento, la disponibilidad de características y los tipos de carga de trabajo ideales que se adaptan mejor a los diferentes tipos de GPU disponibles en Compute Engine.
La cantidad máxima de CPU y memoria disponible para cualquier tipo de GPU depende de la zona en la que se ejecuta el recurso de GPU. Para obtener más información sobre memoria, recursos de CPU y regiones y zonas disponibles, consulta la lista de GPU.
El SSD local es compatible con las GPU que se ejecutan en todas las regiones y zonas disponibles, con la excepción de las GPU P4.
Las GPU de P4 admiten un SSD local solo en las zonas us-central1-c y us-central1-f.
| Métrica | T4 | P4 | V100 | P100 | K80 | |
|---|---|---|---|---|---|---|
| Núcleos tensores | 320 | N/A | 640 | N/A | N/A | |
| Núcleos CUDA | 2,560 | 2,560 | 5,120 | 3840 | 2,496 | |
| Máximo rendimiento en TeraFLOPS (TFLOPS) | Doble precisión (FP64) | 0.25 TFLOPS1 | 0.2 TFLOPS 1 | 7.8 TFLOPS | 4.7 TFLOPS | 1.46 TFLOP |
| Precisión simple (FP32) | 8.1 TFLOPS | 5.5 TFLOPS | 15.7 TFLOPS | 9.3 TFLOPS | 4.37 TFLOPS | |
| Media precisión (FP16) | 65 TFLOPS2 | N/A | 125 TFLOPS2 | 18.7 TFLOPS | N/A | |
| INT8 | 130 TOPS3 | 22 TOPS3 | 63 TOPS3 | N/A | N/A | |
| Interconexión NVLink/PCIe | PCIe Gen 3x16 | PCIe Gen 3x16 | NVLink; 300 GB/s, PCIe Gen 3x16 | PCIe Gen 3x16 | PCIe Gen 3x16 | |
| Memoria con ancho de banda | GDDR6 de 16 GB a 320 GB/s | GDDR5 de 8 GB a 192 GB/s | HBM2 de 16 GB a 900 GB/s | HBM2 de 16 GB a 732 GB/s | GDDR5 de 12 GB a 240 GB/s | |
| Admisión de estación de trabajo remota GRID | S | S | N | S | N | |
| Mejor uso para | Inferencia de ML, entrenamiento, estaciones de trabajo de visualización remota, transcodificación de video | Estaciones de trabajo de visualización remota, inferencia ML y transcodificación de video | AA, entrenamiento, inferencia, HPC | AA, entrenamiento, inferencia, HPC, estaciones de trabajo de visualización remota | AA inferencia, entrenamiento, HPC | |
| Precios | Si deseas comparar los precios de GPU para los diferentes tipos y regiones de GPU que están disponibles en Compute Engine, consulta los precios de GPU. | |||||
1Para permitir que el código FP64 funcione correctamente, se incluye una pequeña cantidad de unidades de hardware FP64 en la arquitectura de GPU T4 y P4.
2Este rendimiento se logra mediante el uso de núcleos tensores.
3Teraoperaciones por segundo.
Restricciones
Las instancias con GPU tienen restricciones específicas que hacen que se comporten de manera diferente a otros tipos de instancias.
Si deseas usar GPU Tesla K80 con tus instancias, las instancias no pueden usar Intel Skylake o plataformas de CPU posteriores.
Actualmente, las GPU solo son compatibles con los tipos de máquina N1 de uso general.
Las instancias de GPU deben detenerse para los eventos de mantenimiento del host, pero pueden reiniciarse de forma automática. Estos eventos de mantenimiento suelen ocurrir una vez al mes, pero pueden llevarse a cabo con mayor frecuencia cuando sea necesario. Debes configurar tus cargas de trabajo para manejar estos eventos de mantenimiento definidamente. En especial, las cargas de trabajo de larga duración, como el aprendizaje automático y la computación de alto rendimiento (HPC), deben manejar la interrupción de los eventos de mantenimiento del host. Aprende a manejar los eventos de mantenimiento del host en instancias con GPU.
Para proteger los sistemas y usuarios de Compute Engine, los nuevos proyectos tienen una cuota global de GPU que limita la cantidad total de GPU que puedes crear en cualquier zona compatible. Cuando solicitas una cuota de GPU, debes especificar una cuota de los modelos de GPU que quieres crear en cada región, así como indicar la cuota global con la cantidad total de GPU de los tipos de todas las zonas.
Las instancias con una o más GPU tienen una cantidad máxima de CPU virtuales para cada GPU que agregues a la instancia. Por ejemplo, cada GPU NVIDIA® Tesla® K80 te permite tener hasta ocho CPU virtuales y hasta 52 GB de memoria en el tipo de máquina de la instancia. Si deseas ver los rangos de CPU virtuales y de memoria disponibles para diferentes opciones de configuración de GPU, consulta la lista de GPU.
No puedes conectar las GPU a instancias con tipos de máquina de núcleo compartido.
Las GPU requieren controladores de dispositivo para funcionar correctamente. Las GPU de NVIDIA que se ejecutan en Compute Engine deben usar las siguientes versiones de controlador:
Instancias de Linux:
- Controlador NVIDIA 410.79 o superior
Instancias de Windows Server:
- Controlador NVIDIA 411.98 o superior
Las instancias con un modelo de GPU adjunto específico están cubiertas por el ANS de Compute Engine solo si ese modelo de GPU adjunto está disponible en más de una zona en la misma región donde se encuentra la instancia. El ANS de Compute Engine no abarca modelos de GPU específicos en las siguientes zonas:
- NVIDIA® Tesla® T4
- :
asia-northeast1-aasia-south1-basia-southeast1-bsouthamerica-east1-c
- NVIDIA® Tesla® V100
- :
asia-east1-c
- NVIDIA® Tesla® P100
- :
us-west1-beurope-west4-a
- NVIDIA® Tesla® K80
- :
us-west1-bus-central1-c
- NVIDIA® Tesla® T4
Las instancias con GPU de NVIDIA® Tesla® P100 en
europe-west1-dno pueden usar dispositivos SSD locales.Compute Engine admite la ejecución de un usuario simultáneo por GPU.
Próximos pasos
- Aprende a crear instancias con GPU.
- Obtén información sobre los precios de GPU.
- Prueba la calculadora de precios de Google Cloud.
- Prueba el instructivo sobre la ejecución de las cargas de trabajo de inferencia de TensorFlow a gran escala con TensorRT5 y GPU de NVIDIA T4.