Compute Engine proporciona unidades de procesamiento de gráficos (GPU) que puedes agregar a tus instancias de máquina virtual (VM). Puedes usar estas GPU para acelerar cargas de trabajo específicas en las instancias, como aprendizaje automático y procesamiento de datos.
Si tienes cargas de trabajo de alto contenido gráfico, como visualización 3D, procesamiento 3D o aplicaciones virtuales, puedes crear estaciones de trabajo virtuales que utilicen la tecnología NVIDIA® GRID®. A fin de obtener información sobre las GPU en aplicaciones de alto contenido gráfico, consulta sobre GPU para cargas de trabajo de gráficos.
En este documento, se proporciona una descripción general de las GPU en Compute Engine. Para obtener más información sobre cómo trabajar con GPU, consulta los siguientes recursos:
- Para crear una VM con GPU conectadas, consulta Crea VM con GPU conectadas.
- Para supervisar las GPU, consulta la documentación sobre cómo supervisar el rendimiento de las GPU.
- Para optimizar el rendimiento de la GPU, consulta Optimiza el rendimiento de las GPU.
Introducción
Compute Engine proporciona GPU de NVIDIA® Tesla® para tus instancias en modo de transferencia a fin de que tus instancias de máquina virtual tengan control directo sobre las GPU y su memoria asociada.
Para las cargas de trabajo de procesamiento, los modelos de GPU están disponibles en las siguientes etapas:
- NVIDIA® A100: Vista previa
- NVIDIA® T4:
nvidia-tesla-t4: Disponibilidad general - NVIDIA® V100:
nvidia-tesla-v100: Disponibilidad general - NVIDIA® P100:
nvidia-tesla-p100: Disponibilidad general - NVIDIA® P4:
nvidia-tesla-p4: Disponibilidad general - NVIDIA® K80:
nvidia-tesla-k80: Disponibilidad general
Para las cargas de trabajo de gráficos, los modelos de GPU están disponibles en las siguientes etapas:
- Estaciones de trabajo virtuales con tecnología NVIDIA® Tesla® T4
nvidia-tesla-t4-vws: Disponibilidad general - Estaciones de trabajo virtuales con tecnología NVIDIA® Tesla® P100
nvidia-tesla-p100-vws: Disponibilidad general - Estaciones de trabajo virtuales con tecnología NVIDIA® Tesla® P4
nvidia-tesla-p4-vws: Disponibilidad general
Si deseas obtener información sobre GPU en estaciones de trabajo virtuales, consulta GPU para cargas de trabajo de gráficos.
Solo puedes conectar las GPU a instancias con tipos de máquinas predefinidos o personalizados. Las GPU no son compatibles con los tipos de máquina de núcleo compartido o con memoria optimizada.
También puedes agregar SSD locales a las GPU. Para obtener una lista de la compatibilidad con SSD locales según los tipos y regiones de GPU, consulta Disponibilidad de SSD local por regiones y zonas de GPU.
Precios
Los dispositivos de GPU reciben descuentos por uso continuo de manera similar a las CPU virtuales. Para obtener los precios por hora y por mes, consulta la página de precios de GPU.
Modelos de GPU
GPU NVIDIA® A100
Para ejecutar GPU NVIDIA® A100, debes usar el tipo de máquina optimizada por acelerador (A2).
Nota: Cada tipo de máquina A2 tiene un recuento fijo de GPU, de CPU virtuales y de tamaño de memoria.
.| Modelo de GPU | Tipo de máquina | GPU | Memoria de GPU | CPU virtuales disponibles | Memoria disponible |
|---|---|---|---|---|---|
| NVIDIA® A100 | a2-highgpu-1g |
1 GPU | 40 GB GDDR6 | 12 CPU virtuales | 85 GB |
a2-highgpu-2g |
2 GPU | 80 GB GDDR6 | 24 CPU virtuales | 170 GB | |
a2-highgpu-4g |
4 GPU | 160 GB GDDR6 | 48 CPU virtuales | 340 GB | |
a2-highgpu-8g |
8 GPU | 320 GB GDDR6 | 96 CPU virtuales | 680 GB | |
a2-megagpu-16g |
16 GPU | 640 GB GDDR6 | 96 CPU virtuales | 1,360 GB |
Otros modelos de GPU de NVIDIA®
Las VM con una cantidad menor de GPU están limitadas a una cantidad máxima de CPU virtuales. En general, una cantidad mayor de GPU te permite crear instancias con mayores cantidades de CPU virtuales y de memoria.
.| Modelo de GPU | GPU | Memoria de GPU | CPU virtuales disponibles | Memoria disponible |
|---|---|---|---|---|
| NVIDIA® T4 | 1 GPU | GDDR6 de 16 GB | De 1 a 24 CPU virtuales | De 1 a 156 GB |
| 2 GPU | GDDR6 de 32 GB | De 1 a 48 CPU virtuales | De 1 a 312 GB | |
| 4 GPU | GDDR6 de 64 GB | De 1 a 96 CPU virtuales | De 1 a 624 GB | |
| NVIDIA® P4 | 1 GPU | GDDR5 de 8 GB | De 1 a 24 CPU virtuales | De 1 a 156 GB |
| 2 GPU | GDDR5 de 16 GB | De 1 a 48 CPU virtuales | De 1 a 312 GB | |
| 4 GPU | GDDR5 de 32 GB | De 1 a 96 CPU virtuales | De 1 a 624 GB | |
| NVIDIA® V100 | 1 GPU | HBM2 de 16 GB | De 1 a 12 CPU virtuales | De 1 a 78 GB |
| 2 GPU | HBM2 de 32 GB | De 1 a 24 CPU virtuales | De 1 a 156 GB | |
| 4 GPU | 64 GB HBM2 | De 1 a 48 CPU virtuales | De 1 a 312 GB | |
| 8 GPU | 128 GB de HBM2 | De 1 a 96 CPU virtuales | De 1 a 624 GB | |
| NVIDIA® P100 | 1 GPU | HBM2 de 16 GB | De 1 a 16 CPU virtuales | De 1 a 104 GB |
| 2 GPU | HBM2 de 32 GB | De 1 a 32 CPU virtuales | De 1 a 208 GB | |
| 4 GPU | 64 GB HBM2 | De 1 a 64 CPU virtuales De 1 a 96 CPU virtuales |
De 1 a 208 GB De 1 a 624 GB |
|
| NVIDIA® K80 | 1 GPU | GDDR5 de 12 GB | De 1 a 8 CPU virtuales | De 1 a 52 GB |
| 2 GPU | GDDR5 de 24 GB | De 1 a 16 CPU virtuales | De 1 a 104 GB | |
| 4 GPU | GDDR5 de 48 GB | De 1 a 32 CPU virtuales | De 1 a 208 GB | |
| 8 GPU | GDDR5 de 96 GB | De 1 a 64 CPU virtuales | De 1 a 416 GB De 1 a 208 GB |
- Para obtener una descripción más detallada de las zonas, consulta la página sobre regiones y zonas.
- Las placas NVIDIA® K80® tienen dos GPU cada una. El precio es por cada GPU K80, no por placa.
GPU NVIDIA® GRID® para cargas de trabajo de gráficos
Si tienes cargas de trabajo de contenido gráfico alto, como la visualización en 3D, puedes crear estaciones de trabajo virtuales que usen la plataforma NVIDIA® GRID®. Para obtener información general sobre NVIDIA® GRID®, consulta la descripción general de GRID.
Cuando seleccionas una GPU para una estación de trabajo virtual, se agrega una licencia NVIDIA® GRID® a tu VM. Para obtener más información sobre los precios, consulta la página de precios de GPU.
Para configurar una estación de trabajo virtual de NVIDIA® GRID®, debes crear una VM con Virtual Workstation habilitado y, luego, instalar un controlador de GRID.
Después de crear una estación de trabajo virtual, puedes conectarte a ella mediante un protocolo de escritorio remoto, como Teradici® PCoIP o VMWare® Horizon View.
| Modelo de GPU | GPU | Memoria de GPU | CPU virtuales disponibles | Memoria disponible |
|---|---|---|---|---|
| Estación de trabajo virtual con tecnología NVIDIA® T4 | 1 GPU | GDDR6 de 16 GB | De 1 a 24 CPU virtuales | De 1 a 156 GB |
| 2 GPU | GDDR6 de 32 GB | De 1 a 48 CPU virtuales | De 1 a 312 GB | |
| 4 GPU | GDDR6 de 64 GB | De 1 a 96 CPU virtuales | De 1 a 624 GB | |
| Estación de trabajo virtual con NVIDIA® P4 | 1 GPU | GDDR5 de 8 GB | De 1 a 16 CPU virtuales | De 1 a 156 GB |
| 2 GPU | GDDR5 de 16 GB | De 1 a 48 CPU virtuales | De 1 a 312 GB | |
| 4 GPU | GDDR5 de 32 GB | De 1 a 96 CPU virtuales | De 1 a 624 GB | |
| Estación de trabajo virtual con NVIDIA® P100 | 1 GPU | HBM2 de 16 GB | De 1 a 16 CPU virtuales | De 1 a 104 GB |
| 2 GPU | HBM2 de 32 GB | De 1 a 32 CPU virtuales | De 1 a 208 GB | |
| 4 GPU | 64 GB HBM2 | De 1 a 64 CPU virtuales De 1 a 96 CPU virtuales |
De 1 a 208 GB De 1 a 624 GB |
Ancho de banda de la red y GPU
Usar más ancho de banda de la red puede mejorar el rendimiento de las cargas de trabajo distribuidas. Para obtener más información, consulta Anchos de banda de red y GPU.
GPU de instancias interrumpibles
Puedes agregar GPU a tus instancias de VM interrumpibles a precios interrumpibles para las GPU. Las GPU conectadas a instancias interrumpibles funcionan como las GPU normales, pero persisten solo durante la vida útil de la instancia. Las instancias interrumpibles con GPU siguen el mismo proceso de interrupción que todas las instancias de ese tipo.
Cuando agregas una GPU a una instancia interrumpible, utilizas tu cuota de GPU normal. Si necesitas una cuota aparte para las GPU interrumpibles, solicita una cuota de GPU interrumpible por separado.
Durante los eventos de mantenimiento, las instancias interrumpibles con GPU se interrumpen de forma predeterminada y no se pueden reiniciar automáticamente. Si deseas volver a crear tus instancias después de que hayan sido interrumpidas, usa un grupo de instancias administrado. Los grupos de instancias administrados recrean tus instancias si están disponibles los recursos de CPU virtuales, memoria y GPU.
Si deseas recibir una advertencia antes de que se interrumpa tu instancia, o si deseas configurar tu instancia para que se reinicie automáticamente después de un evento de mantenimiento, usa una instancia no interrumpible con una GPU. Para instancias no interrumpibles con GPU, Google proporciona un aviso con una hora de anticipación antes de la interrupción.
Compute Engine no te cobra por las GPU si tus instancias son interrumpibles en el primer minuto después de que comienzan a ejecutarse.
Si deseas conocer los pasos con el fin de reiniciar automáticamente una instancia no interrumpible, consulta la sección Actualiza las opciones de una instancia.
Para aprender a crear instancias interrumpibles con GPU conectadas, consulta Crea VM con GPU conectadas.
Reserva GPU con descuentos por compromiso de uso
Para reservar recursos de GPU en una zona específica, consulta la sección sobre cómo reservar recursos zonales. Se requieren reservaciones para precios de descuento por compromiso de uso en GPU.
Gráfico de comparación de GPU
Revisa esta sección para obtener más información sobre factores como las especificaciones de rendimiento, la disponibilidad de funciones y los tipos de carga de trabajo ideales que se adaptan mejor a los diferentes modelos de GPU disponibles en Compute Engine.
La cantidad máxima de CPU y memoria disponible para cualquier modelo de GPU depende de la zona en la que se ejecuta el recurso de GPU. Para obtener más información sobre memoria, recursos de CPU y regiones y zonas disponibles, consulta la lista de GPU.
Comparación general
| Métrica | A100 | T4 | V100 | P4 | P100 | K80 |
|---|---|---|---|---|---|---|
| Memoria | HBM2 de 40 GB a 1.6 TB/s | GDDR6 de 16 GB a 320 GB/s | HBM2 de 16 GB a 900 GB/s | GDDR5 de 8 GB a 192 GB/s | HBM2 de 16 GB a 732 GB/s | GDDR5 de 12 GB a 240 GB/s |
| Interconexión | Malla de NVLink completa a 600 GB/s | N/A | Anillo de NVLink a 300 GB/s | N/A | N/A | N/A |
| Admisión de estación de trabajo remota GRID | ||||||
| Mejor uso para | AA, entrenamiento, inferencia, HPC | Inferencia de ML, entrenamiento, estaciones de trabajo de visualización remota, transcodificación de video | AA, entrenamiento, inferencia, HPC | Estaciones de trabajo de visualización remota, inferencia ML y transcodificación de video | AA, entrenamiento, inferencia, HPC, estaciones de trabajo de visualización remota | AA inferencia, entrenamiento, HPC |
| Precios | Si deseas comparar los precios de GPU para los diferentes modelos y regiones de GPU disponibles en Compute Engine, consulta los precios de GPU. | |||||
Comparación de rendimiento
| Métrica | A100 | T4 | V100 | P4 | P100 | K80 |
|---|---|---|---|---|---|---|
| Rendimiento de procesamiento | ||||||
| FP64 | 9.7 TFLOPS | 0.25 TFLOPS1 | 7.8 TFLOPS | 0.2 TFLOPS 1 | 4.7 TFLOPS | 1.46 TFLOP |
| FP32 | 19.5 TFLOPS | 8.1 TFLOPS | 15.7 TFLOPS | 5.5 TFLOPS | 9.3 TFLOPS | 4.37 TFLOPS |
| FP16 | 18.7 TFLOPS | |||||
| INT8 | 22 TOPS2 | |||||
| Rendimiento del núcleo de tensor | ||||||
| FP64 | 19.5 TFLOPS | |||||
| TF32 | 156 TFLOPS | |||||
| FP16/FP32 de precisión mixta | 312 TFLOPS3 | 65 TFLOPS | 125 TFLOPS | |||
| INT8 | 624 TOPS2 | 180 TOPS2 | ||||
| INT4 | 1,248 TOPS2 | 260 TOPS2 | ||||
1Para permitir que el código FP64 funcione correctamente, se incluye una pequeña cantidad de unidades de hardware FP64 en la arquitectura de GPU T4 y P4.
2 Teraoperaciones por segundo.
3 Para el entrenamiento de precisión mixta, NVIDIA A100 también admite el tipo de datos bfloat16.
Restricciones
Para las VM con GPU adjuntas, se aplican las siguientes restricciones:
Los sistemas operativos de Windows no son compatibles con la vista previa de NVIDIA® A100.
Si deseas usar GPU NVIDIA® K80 con tus VM, estas no pueden usar Intel Skylake ni plataformas de CPU posteriores.
Actualmente, las GPU solo son compatibles con los tipos de máquina N1 de uso general o A2 optimizadas para aceleración.
No puedes conectar las GPU a VM con tipos de máquina de núcleo compartido.
Las VM con GPU adjuntas deben detenerse para los eventos de mantenimiento del host, pero pueden reiniciarse automáticamente. En Compute Engine, los eventos de mantenimiento del host tienen una frecuencia de una vez cada dos semanas, pero a veces pueden ejecutarse con mayor frecuencia. Debes configurar las cargas de trabajo para manejar estos eventos de mantenimiento de forma definida. En especial, las cargas de trabajo de larga duración, como el aprendizaje automático y la computación de alto rendimiento (HPC), deben manejar la interrupción de los eventos de mantenimiento del host. Para obtener más información, consulta Controla eventos de mantenimiento del host de GPU.
Para proteger los sistemas y usuarios de Compute Engine, los nuevos proyectos tienen una cuota global de GPU que limita la cantidad total de GPU que puedes crear en cualquier zona compatible. Cuando solicitas una cuota de GPU, debes especificar una cuota de los modelos de GPU que quieres crear en cada región, así como indicar la cuota global con la cantidad total de GPU de los tipos de todas las zonas.
Las VM con una o más GPU tienen una cantidad máxima de CPU virtuales para cada GPU que agregues a la instancia. Por ejemplo, cada GPU NVIDIA® Tesla® K80 te permite tener hasta ocho CPU virtuales y hasta 52 GB de memoria en el tipo de máquina de la instancia. Si deseas ver los rangos de CPU virtuales y memoria disponibles para diferentes configuraciones de GPU, consulta la lista de GPU.
Las GPU requieren controladores de dispositivo para funcionar correctamente. Las GPU de NVIDIA que se ejecutan en Compute Engine deben usar una versión de controlador mínima. Para obtener más información sobre las versiones de controlador, consulta Versiones de controladores NVIDIA necesarias.
Las VM con un modelo de GPU adjunto específico están cubiertas por el ANS de Compute Engine solo si ese modelo de GPU adjunto está en fase de disponibilidad general y se admite en más de una zona de la misma región. El ANS de Compute Engine no cubre los modelos de GPU en las siguientes zonas:
- NVIDIA® T4:
australia-southeast1-aeurope-west3-bsouthamerica-east1-c
- NVIDIA® V100:
asia-east1-cus-east1-c
- NVIDIA® P100:
australia-southeast1-ceurope-west4-a
- NVIDIA® K80:
us-west1-b
- NVIDIA® T4:
Compute Engine admite la ejecución de un usuario simultáneo por GPU.
Próximos pasos
- Aprende a crear VM con GPU adjuntas.
- Revisa la disponibilidad de las regiones y zonas de GPU.
- Obtén información sobre los precios de GPU.
- Prueba la calculadora de precios de Google Cloud.
- Prueba el instructivo sobre la ejecución de las cargas de trabajo de inferencia de TensorFlow a gran escala con TensorRT5 y GPU NVIDIA T4.