GPU en Compute Engine

Compute Engine proporciona unidades de procesamiento de gráficos (GPU) que puedes agregar a tus instancias de máquina virtual (VM). Puedes usar estas GPU para acelerar cargas de trabajo específicas en las instancias, como aprendizaje automático y procesamiento de datos.

Si tienes cargas de trabajo de alto contenido gráfico, como visualización 3D, procesamiento 3D o aplicaciones virtuales, puedes crear estaciones de trabajo virtuales que utilicen la tecnología NVIDIA® GRID®. A fin de obtener información sobre las GPU en aplicaciones de alto contenido gráfico, consulta sobre GPU para cargas de trabajo de gráficos.

En este documento, se proporciona una descripción general de las GPU en Compute Engine. Para obtener más información sobre cómo trabajar con GPU, consulta los siguientes recursos:

Introducción

Compute Engine proporciona GPU de NVIDIA® Tesla® para tus instancias en modo de transferencia a fin de que tus instancias de máquina virtual tengan control directo sobre las GPU y su memoria asociada.

Para las cargas de trabajo de procesamiento, los modelos de GPU están disponibles en las siguientes etapas:

  • NVIDIA® A100: Vista previa
  • NVIDIA® T4: nvidia-tesla-t4: Disponibilidad general
  • NVIDIA® V100: nvidia-tesla-v100: Disponibilidad general
  • NVIDIA® P100: nvidia-tesla-p100: Disponibilidad general
  • NVIDIA® P4: nvidia-tesla-p4: Disponibilidad general
  • NVIDIA® K80: nvidia-tesla-k80: Disponibilidad general

Para las cargas de trabajo de gráficos, los modelos de GPU están disponibles en las siguientes etapas:

  • Estaciones de trabajo virtuales con tecnología NVIDIA® Tesla® T4nvidia-tesla-t4-vws: Disponibilidad general
  • Estaciones de trabajo virtuales con tecnología NVIDIA® Tesla® P100nvidia-tesla-p100-vws: Disponibilidad general
  • Estaciones de trabajo virtuales con tecnología NVIDIA® Tesla® P4nvidia-tesla-p4-vws: Disponibilidad general

Si deseas obtener información sobre GPU en estaciones de trabajo virtuales, consulta GPU para cargas de trabajo de gráficos.

Solo puedes conectar las GPU a instancias con tipos de máquinas predefinidos o personalizados. Las GPU no son compatibles con los tipos de máquina de núcleo compartido o con memoria optimizada.

También puedes agregar SSD locales a las GPU. Para obtener una lista de la compatibilidad con SSD locales según los tipos y regiones de GPU, consulta Disponibilidad de SSD local por regiones y zonas de GPU.

Precios

Los dispositivos de GPU reciben descuentos por uso continuo de manera similar a las CPU virtuales. Para obtener los precios por hora y por mes, consulta la página de precios de GPU.

Modelos de GPU

GPU NVIDIA® A100

Para ejecutar GPU NVIDIA® A100, debes usar el tipo de máquina optimizada por acelerador (A2).

Nota: Cada tipo de máquina A2 tiene un recuento fijo de GPU, de CPU virtuales y de tamaño de memoria.

.
Modelo de GPU Tipo de máquina GPU Memoria de GPU CPU virtuales disponibles Memoria disponible
NVIDIA® A100 a2-highgpu-1g 1 GPU 40 GB GDDR6 12 CPU virtuales 85 GB
a2-highgpu-2g 2 GPU 80 GB GDDR6 24 CPU virtuales 170 GB
a2-highgpu-4g 4 GPU 160 GB GDDR6 48 CPU virtuales 340 GB
a2-highgpu-8g 8 GPU 320 GB GDDR6 96 CPU virtuales 680 GB
a2-megagpu-16g 16 GPU 640 GB GDDR6 96 CPU virtuales 1,360 GB

Otros modelos de GPU de NVIDIA®

Las VM con una cantidad menor de GPU están limitadas a una cantidad máxima de CPU virtuales. En general, una cantidad mayor de GPU te permite crear instancias con mayores cantidades de CPU virtuales y de memoria.

.
Modelo de GPU GPU Memoria de GPU CPU virtuales disponibles Memoria disponible
NVIDIA® T4 1 GPU GDDR6 de 16 GB De 1 a 24 CPU virtuales De 1 a 156 GB
2 GPU GDDR6 de 32 GB De 1 a 48 CPU virtuales De 1 a 312 GB
4 GPU GDDR6 de 64 GB De 1 a 96 CPU virtuales De 1 a 624 GB
NVIDIA® P4 1 GPU GDDR5 de 8 GB De 1 a 24 CPU virtuales De 1 a 156 GB
2 GPU GDDR5 de 16 GB De 1 a 48 CPU virtuales De 1 a 312 GB
4 GPU GDDR5 de 32 GB De 1 a 96 CPU virtuales De 1 a 624 GB
NVIDIA® V100 1 GPU HBM2 de 16 GB De 1 a 12 CPU virtuales De 1 a 78 GB
2 GPU HBM2 de 32 GB De 1 a 24 CPU virtuales De 1 a 156 GB
4 GPU 64 GB HBM2 De 1 a 48 CPU virtuales De 1 a 312 GB
8 GPU 128 GB de HBM2 De 1 a 96 CPU virtuales De 1 a 624 GB
NVIDIA® P100 1 GPU HBM2 de 16 GB De 1 a 16 CPU virtuales De 1 a 104 GB
2 GPU HBM2 de 32 GB De 1 a 32 CPU virtuales De 1 a 208 GB
4 GPU 64 GB HBM2

De 1 a 64 CPU virtuales
(us-east1-c, europe-west1-d, europe-west1-b)

De 1 a 96 CPU virtuales
(todas las zonas de P100)

De 1 a 208 GB
(us-east1-c, europe-west1-d, europe-west1-b)

De 1 a 624 GB
(todas las zonas de P100)

NVIDIA® K80 1 GPU GDDR5 de 12 GB De 1 a 8 CPU virtuales De 1 a 52 GB
2 GPU GDDR5 de 24 GB De 1 a 16 CPU virtuales De 1 a 104 GB
4 GPU GDDR5 de 48 GB De 1 a 32 CPU virtuales De 1 a 208 GB
8 GPU GDDR5 de 96 GB De 1 a 64 CPU virtuales

De 1 a 416 GB
(asia-east1-a y us-east1-d)

De 1 a 208 GB
(todas las zonas de K80)

Nota:
  • Para obtener una descripción más detallada de las zonas, consulta la página sobre regiones y zonas.
  • Las placas NVIDIA® K80® tienen dos GPU cada una. El precio es por cada GPU K80, no por placa.

GPU NVIDIA® GRID® para cargas de trabajo de gráficos

Si tienes cargas de trabajo de contenido gráfico alto, como la visualización en 3D, puedes crear estaciones de trabajo virtuales que usen la plataforma NVIDIA® GRID®. Para obtener información general sobre NVIDIA® GRID®, consulta la descripción general de GRID.

Cuando seleccionas una GPU para una estación de trabajo virtual, se agrega una licencia NVIDIA® GRID® a tu VM. Para obtener más información sobre los precios, consulta la página de precios de GPU.

Para configurar una estación de trabajo virtual de NVIDIA® GRID®, debes crear una VM con Virtual Workstation habilitado y, luego, instalar un controlador de GRID.

Después de crear una estación de trabajo virtual, puedes conectarte a ella mediante un protocolo de escritorio remoto, como Teradici® PCoIP o VMWare® Horizon View.

Modelo de GPU GPU Memoria de GPU CPU virtuales disponibles Memoria disponible
Estación de trabajo virtual con tecnología NVIDIA® T4 1 GPU GDDR6 de 16 GB De 1 a 24 CPU virtuales De 1 a 156 GB
2 GPU GDDR6 de 32 GB De 1 a 48 CPU virtuales De 1 a 312 GB
4 GPU GDDR6 de 64 GB De 1 a 96 CPU virtuales De 1 a 624 GB
Estación de trabajo virtual con NVIDIA® P4 1 GPU GDDR5 de 8 GB De 1 a 16 CPU virtuales De 1 a 156 GB
2 GPU GDDR5 de 16 GB De 1 a 48 CPU virtuales De 1 a 312 GB
4 GPU GDDR5 de 32 GB De 1 a 96 CPU virtuales De 1 a 624 GB
Estación de trabajo virtual con NVIDIA® P100 1 GPU HBM2 de 16 GB De 1 a 16 CPU virtuales De 1 a 104 GB
2 GPU HBM2 de 32 GB De 1 a 32 CPU virtuales De 1 a 208 GB
4 GPU 64 GB HBM2

De 1 a 64 CPU virtuales
(us-east1-c, europe-west1-d, europe-west1-b)

De 1 a 96 CPU virtuales
(todas las zonas de P100)

De 1 a 208 GB
(us-east1-c, europe-west1-d, europe-west1-b)

De 1 a 624 GB
(todas las zonas de P100)

Ancho de banda de la red y GPU

Usar más ancho de banda de la red puede mejorar el rendimiento de las cargas de trabajo distribuidas. Para obtener más información, consulta Anchos de banda de red y GPU.

GPU de instancias interrumpibles

Puedes agregar GPU a tus instancias de VM interrumpibles a precios interrumpibles para las GPU. Las GPU conectadas a instancias interrumpibles funcionan como las GPU normales, pero persisten solo durante la vida útil de la instancia. Las instancias interrumpibles con GPU siguen el mismo proceso de interrupción que todas las instancias de ese tipo.

Cuando agregas una GPU a una instancia interrumpible, utilizas tu cuota de GPU normal. Si necesitas una cuota aparte para las GPU interrumpibles, solicita una cuota de GPU interrumpible por separado.

Durante los eventos de mantenimiento, las instancias interrumpibles con GPU se interrumpen de forma predeterminada y no se pueden reiniciar automáticamente. Si deseas volver a crear tus instancias después de que hayan sido interrumpidas, usa un grupo de instancias administrado. Los grupos de instancias administrados recrean tus instancias si están disponibles los recursos de CPU virtuales, memoria y GPU.

Si deseas recibir una advertencia antes de que se interrumpa tu instancia, o si deseas configurar tu instancia para que se reinicie automáticamente después de un evento de mantenimiento, usa una instancia no interrumpible con una GPU. Para instancias no interrumpibles con GPU, Google proporciona un aviso con una hora de anticipación antes de la interrupción.

Compute Engine no te cobra por las GPU si tus instancias son interrumpibles en el primer minuto después de que comienzan a ejecutarse.

Si deseas conocer los pasos con el fin de reiniciar automáticamente una instancia no interrumpible, consulta la sección Actualiza las opciones de una instancia.

Para aprender a crear instancias interrumpibles con GPU conectadas, consulta Crea VM con GPU conectadas.

Reserva GPU con descuentos por compromiso de uso

Para reservar recursos de GPU en una zona específica, consulta la sección sobre cómo reservar recursos zonales. Se requieren reservaciones para precios de descuento por compromiso de uso en GPU.

Gráfico de comparación de GPU

Revisa esta sección para obtener más información sobre factores como las especificaciones de rendimiento, la disponibilidad de funciones y los tipos de carga de trabajo ideales que se adaptan mejor a los diferentes modelos de GPU disponibles en Compute Engine.

La cantidad máxima de CPU y memoria disponible para cualquier modelo de GPU depende de la zona en la que se ejecuta el recurso de GPU. Para obtener más información sobre memoria, recursos de CPU y regiones y zonas disponibles, consulta la lista de GPU.

Comparación general

Métrica A100 T4 V100 P4 P100 K80
Memoria HBM2 de 40 GB a 1.6 TB/s GDDR6 de 16 GB a 320 GB/s HBM2 de 16 GB a 900 GB/s GDDR5 de 8 GB a 192 GB/s HBM2 de 16 GB a 732 GB/s GDDR5 de 12 GB a 240 GB/s
Interconexión Malla de NVLink completa a 600 GB/s N/A Anillo de NVLink a 300 GB/s N/A N/A N/A
Admisión de estación de trabajo remota GRID
Mejor uso para AA, entrenamiento, inferencia, HPC Inferencia de ML, entrenamiento, estaciones de trabajo de visualización remota, transcodificación de video AA, entrenamiento, inferencia, HPC Estaciones de trabajo de visualización remota, inferencia ML y transcodificación de video AA, entrenamiento, inferencia, HPC, estaciones de trabajo de visualización remota AA inferencia, entrenamiento, HPC
Precios Si deseas comparar los precios de GPU para los diferentes modelos y regiones de GPU disponibles en Compute Engine, consulta los precios de GPU.

Comparación de rendimiento

Métrica A100 T4 V100 P4 P100 K80
Rendimiento de procesamiento
FP64 9.7 TFLOPS 0.25 TFLOPS1 7.8 TFLOPS 0.2 TFLOPS 1 4.7 TFLOPS 1.46 TFLOP
FP32 19.5 TFLOPS 8.1 TFLOPS 15.7 TFLOPS 5.5 TFLOPS 9.3 TFLOPS 4.37 TFLOPS
FP16 18.7 TFLOPS
INT8 22 TOPS2
Rendimiento del núcleo de tensor
FP64 19.5 TFLOPS
TF32 156 TFLOPS
FP16/FP32 de precisión mixta 312 TFLOPS3 65 TFLOPS 125 TFLOPS
INT8 624 TOPS2 180 TOPS2
INT4 1,248 TOPS2 260 TOPS2

1Para permitir que el código FP64 funcione correctamente, se incluye una pequeña cantidad de unidades de hardware FP64 en la arquitectura de GPU T4 y P4.

2 Teraoperaciones por segundo.

3 Para el entrenamiento de precisión mixta, NVIDIA A100 también admite el tipo de datos bfloat16.

Restricciones

Para las VM con GPU adjuntas, se aplican las siguientes restricciones:

  • Los sistemas operativos de Windows no son compatibles con la vista previa de NVIDIA® A100.

  • Si deseas usar GPU NVIDIA® K80 con tus VM, estas no pueden usar Intel Skylake ni plataformas de CPU posteriores.

  • Actualmente, las GPU solo son compatibles con los tipos de máquina N1 de uso general o A2 optimizadas para aceleración.

  • No puedes conectar las GPU a VM con tipos de máquina de núcleo compartido.

  • Las VM con GPU adjuntas deben detenerse para los eventos de mantenimiento del host, pero pueden reiniciarse automáticamente. En Compute Engine, los eventos de mantenimiento del host tienen una frecuencia de una vez cada dos semanas, pero a veces pueden ejecutarse con mayor frecuencia. Debes configurar las cargas de trabajo para manejar estos eventos de mantenimiento de forma definida. En especial, las cargas de trabajo de larga duración, como el aprendizaje automático y la computación de alto rendimiento (HPC), deben manejar la interrupción de los eventos de mantenimiento del host. Para obtener más información, consulta Controla eventos de mantenimiento del host de GPU.

  • Para proteger los sistemas y usuarios de Compute Engine, los nuevos proyectos tienen una cuota global de GPU que limita la cantidad total de GPU que puedes crear en cualquier zona compatible. Cuando solicitas una cuota de GPU, debes especificar una cuota de los modelos de GPU que quieres crear en cada región, así como indicar la cuota global con la cantidad total de GPU de los tipos de todas las zonas.

  • Las VM con una o más GPU tienen una cantidad máxima de CPU virtuales para cada GPU que agregues a la instancia. Por ejemplo, cada GPU NVIDIA® Tesla® K80 te permite tener hasta ocho CPU virtuales y hasta 52 GB de memoria en el tipo de máquina de la instancia. Si deseas ver los rangos de CPU virtuales y memoria disponibles para diferentes configuraciones de GPU, consulta la lista de GPU.

  • Las GPU requieren controladores de dispositivo para funcionar correctamente. Las GPU de NVIDIA que se ejecutan en Compute Engine deben usar una versión de controlador mínima. Para obtener más información sobre las versiones de controlador, consulta Versiones de controladores NVIDIA necesarias.

  • Las VM con un modelo de GPU adjunto específico están cubiertas por el ANS de Compute Engine solo si ese modelo de GPU adjunto está en fase de disponibilidad general y se admite en más de una zona de la misma región. El ANS de Compute Engine no cubre los modelos de GPU en las siguientes zonas:

    • NVIDIA® T4:
      • australia-southeast1-a
      • europe-west3-b
      • southamerica-east1-c
    • NVIDIA® V100:
      • asia-east1-c
      • us-east1-c
    • NVIDIA® P100:
      • australia-southeast1-c
      • europe-west4-a
    • NVIDIA® K80:
      • us-west1-b
  • Compute Engine admite la ejecución de un usuario simultáneo por GPU.

Próximos pasos