GPU en Compute Engine

Compute Engine proporciona unidades de procesamiento de gráficos (GPU) que puedes agregar a tus instancias de máquina virtual. Puedes usar estas GPU para acelerar cargas de trabajo específicas en las instancias, como aprendizaje automático y procesamiento de datos.

Si tienes cargas de trabajo de contenido gráfico alto, como visualización 3D, procesamiento 3D o aplicaciones virtuales, puedes crear estaciones de trabajo virtuales que utilicen la tecnología NVIDIA® GRID®. A fin de obtener información sobre las GPU en aplicaciones de alto contenido gráfico, consulta sobre GPU para cargas de trabajo de gráficos.

En este documento, se proporciona una descripción general de las GPU en Compute Engine. Para obtener más información sobre cómo trabajar con GPU, consulta los siguientes recursos:

Introducción

Compute Engine proporciona GPU de NVIDIA® Tesla® para tus instancias en modo de transferencia a fin de que tus instancias de máquina virtual tengan control directo sobre las GPU y su memoria asociada.

Para las cargas de trabajo de procesamiento, los modelos de GPU están disponibles en las siguientes etapas:

  • NVIDIA® Tesla® T4nvidia-tesla-t4: generalmente, está disponible

  • NVIDIA® Tesla® V100nvidia-tesla-v100: generalmente, está disponible

  • NVIDIA® Tesla® P100nvidia-tesla-p100: generalmente, está disponible

  • NVIDIA® Tesla® P4nvidia-tesla-p4: generalmente, está disponible

  • NVIDIA® Tesla® K80nvidia-tesla-k80: generalmente, está disponible

Para las cargas de trabajo de gráficos, los modelos de GPU están disponibles en las siguientes etapas:

  • Estaciones de trabajo virtuales con tecnología NVIDIA® Tesla® T4nvidia-tesla-t4-vws: generalmente, están disponibles
  • Estaciones de trabajo virtuales con tecnología NVIDIA® Tesla® P100nvidia-tesla-p100-vws: generalmente, están disponibles
  • Estaciones de trabajo virtuales con tecnología NVIDIA® Tesla® P4nvidia-tesla-p4-vws: generalmente, están disponibles

Si deseas obtener información sobre GPU en estaciones de trabajo virtuales, consulta GPU para cargas de trabajo de gráficos.

Solo puedes conectar las GPU a instancias con tipos de máquinas predefinidos o personalizados. Las GPU no son compatibles con los tipos de máquina de núcleo compartido o con memoria optimizada.

Las instancias con una menor cantidad de GPU están limitadas a una cantidad máximo de CPU virtuales. En general, una mayor cantidad de GPU te permite crear instancias con mayores cantidades de CPU virtuales y de memoria.

GPU para cargas de trabajo de procesamiento

Modelo de GPU GPU Memoria de GPU CPU virtuales disponibles Memoria disponible Zonas disponibles
NVIDIA® Tesla® T4 1 GPU GDDR6 de 16 GB De 1 a 24 CPU virtuales De 1 a 156 GB
  • asia-northeast1-a
  • asia-south1-b
  • asia-southeast1-b
  • europe-west4-b
  • europe-west4-c
  • southamerica-east1-c
  • us-central1-a
  • us-central1-b
  • us-east1-c
  • us-east1-d
  • us-west1-a
  • us-west1-b
2 GPU GDDR6 de 32 GB De 1 a 48 CPU virtuales De 1 a 312 GB
4 GPU GDDR6 de 64 GB De 1 a 96 CPU virtuales De 1 a 624 GB
NVIDIA® Tesla® P4 1 GPU GDDR5 de 8 GB De 1 a 24 CPU virtuales De 1 a 156 GB
  • us-west2-c
  • us-west2-b
  • us-central1-a
  • us-central1-c
  • us-east4-a
  • us-east4-b
  • us-east4-c
  • northamerica-northeast1-a
  • northamerica-northeast1-b
  • northamerica-northeast1-c
  • europe-west4-b
  • europe-west4-c
  • australia-southeast1-a
  • australia-southeast1-b
  • asia-southeast1-b
  • asia-southeast1-c
2 GPU GDDR5 de 16 GB De 1 a 48 CPU virtuales De 1 a 312 GB
4 GPU GDDR5 de 32 GB De 1 a 96 CPU virtuales De 1 a 624 GB
NVIDIA® Tesla® V100 1 GPU HBM2 de 16 GB De 1 a 12 CPU virtuales De 1 a 78 GB
  • us-west1-a
  • us-west1-b
  • us-central1-a
  • us-central1-b
  • us-central1-c
  • us-central1-f
  • europe-west4-a
  • europe-west4-b
  • europe-west4-c
  • asia-east1-c
2 GPU HBM2 de 32 GB De 1 a 24 CPU virtuales De 1 a 156 GB
4 GPU 64 GB HBM2 De 1 a 48 CPU virtuales De 1 a 312 GB
8 GPU 128 GB de HBM2 De 1 a 96 CPU virtuales De 1 a 624 GB
NVIDIA® Tesla® P100 1 GPU HBM2 de 16 GB De 1 a 16 CPU virtuales De 1 a 104 GB
  • us-west1-a
  • us-west1-b
  • us-central1-c
  • us-central1-f
  • us-east1-b
  • us-east1-c
  • europe-west1-b
  • europe-west1-d
  • europe-west4-a
  • asia-east1-a
  • asia-east1-c
  • australia-southeast1-c
2 GPU HBM2 de 32 GB De 1 a 32 CPU virtuales De 1 a 208 GB
4 GPU 64 GB HBM2

De 1 a 64 CPU virtuales
(us-east1-c, europe-west1-d, europe-west1-b)

De 1 a 96 CPU virtuales
(todas las demás zonas)

De 1 a 208 GB
(us-east1-c, europe-west1-d, europe-west1-b)

De 1 a 624 GB
(todas las demás zonas)

NVIDIA® Tesla® K80 1 GPU GDDR5 de 12 GB De 1 a 8 CPU virtuales De 1 a 52 GB
  • us-west1-b
  • us-central1-a
  • us-central1-c
  • us-east1-c
  • us-east1-d
  • europe-west1-b
  • europe-west1-d
  • asia-east1-a
  • asia-east1-b
2 GPU GDDR5 de 24 GB De 1 a 16 CPU virtuales De 1 a 104 GB
4 GPU GDDR5 de 48 GB De 1 a 32 CPU virtuales De 1 a 208 GB
8 GPU GDDR5 de 96 GB De 1 a 64 CPU virtuales

De 1 a 416 GB
(asia-east1-a y us-east1-d)

De 1 a 208 GB
(todas las demás zonas)

Nota:
  • Para obtener una descripción más detallada de las zonas, consulta la página sobre regiones y zonas.
  • Las placas NVIDIA® K80® tienen dos GPU cada una. El precio es por cada GPU K80, no por placa.

Los dispositivos de GPU reciben descuentos por uso continuo de manera similar a las CPU virtuales. Consulta la página de precios de GPU a fin de ver los precios por hora y por mes de los dispositivos de GPU.

En las cargas de trabajo de varias GPU, las GPU V100 se ofrecen con conexiones NVLink ™ de alta velocidad para la comunicación entre GPU.

Para ver información sobre cómo tus GPU se conectan entre sí y con tus CPU, ejecuta el siguiente comando en tu instancia:

nvidia-smi topo -m

Si deseas obtener información sobre NVLink y sus ventajas, consulta el blog para desarrolladores de NVIDIA.

GPU NVIDIA® GRID® para cargas de trabajo de gráficos

Si tienes cargas de trabajo de contenido gráfico alto, como la visualización en 3D, puedes crear estaciones de trabajo virtuales que usen la plataforma NVIDIA GRID®.

Para obtener información general sobre GRID, consulta la descripción general de GRID.

Cuando seleccionas una GPU para una estación de trabajo virtual, se agrega una licencia NVIDIA GRID a tu instancia. Para admitir las GPU en tus estaciones de trabajo virtuales, necesitas que haya un controlador GRID instalado.

Después de crear una estación de trabajo virtual, puedes conectarte a ella mediante un protocolo de escritorio remoto, como Teradici® PCoIP o VMWare® Horizon View.

Modelo de GPU GPU Memoria de GPU CPU virtuales disponibles Memoria disponible Zonas disponibles
Estación de trabajo virtual con tecnología NVIDIA® Tesla® T4 1 GPU GDDR6 de 16 GB De 1 a 24 CPU virtuales De 1 a 156 GB
  • asia-northeast1-a
  • asia-south1-b
  • asia-southeast1-b
  • europe-west4-b
  • europe-west4-c
  • southamerica-east1-c
  • us-central1-a
  • us-central1-b
  • us-east1-c
  • us-east1-d (próximamente)
  • us-west1-a
  • us-west1-b
2 GPU GDDR6 de 32 GB De 1 a 48 CPU virtuales De 1 a 312 GB
4 GPU GDDR6 de 64 GB De 1 a 96 CPU virtuales De 1 a 624 GB
Estación de trabajo virtual con tecnología NVIDIA® Tesla® P4 1 GPU GDDR5 de 8 GB De 1 a 16 CPU virtuales De 1 a 192 GB
  • us-west2-c
  • us-west2-b
  • us-central1-a
  • us-central1-c
  • us-east4-a
  • us-east4-b
  • us-east4-c
  • northamerica-northeast1-a
  • northamerica-northeast1-b
  • northamerica-northeast1-c
  • europe-west4-b
  • europe-west4-c
  • australia-southeast1-a
  • australia-southeast1-b
  • asia-southeast1-b
  • asia-southeast1-c
2 GPU GDDR5 de 16 GB De 1 a 48 CPU virtuales De 1 a 312 GB
4 GPU GDDR5 de 32 GB De 1 a 96 CPU virtuales De 1 a 624 GB
Estación de trabajo virtual con tecnología NVIDIA® Tesla® P100 1 GPU HBM2 de 16 GB De 1 a 16 CPU virtuales De 1 a 104 GB
  • us-west1-b
  • us-central1-c
  • us-central1-f
  • us-east1-b
  • us-east1-c
  • europe-west1-b
  • europe-west1-d
  • asia-east1-a
  • asia-east1-c
  • europe-west4-a
  • australia-southeast1-c
2 GPU HBM2 de 32 GB De 1 a 32 CPU virtuales De 1 a 208 GB
4 GPU 64 GB HBM2

De 1 a 64 CPU virtuales
(us-east1-c, europe-west1-d, europe-west1-b)

De 1 a 96 CPU virtuales
(todas las demás zonas)

De 1 a 208 GB
(us-east1-c, europe-west1-d, europe-west1-b)

De 1 a 624 GB
(todas las demás zonas)

Ancho de banda de la red y GPU

Un ancho de banda superior de la red puede mejorar el rendimiento de las cargas de trabajo distribuidas. En Compute Engine, el ancho de banda de la red depende del tipo de máquina y la cantidad de CPU. En el caso de las instancias de VM que tienen GPU adjuntas, la configuración de la cantidad de GPU, CPU y memoria también afecta el ancho de banda de la red. Además, para alcanzar velocidades de 50 a 100 Gbps, que ahora están disponibles en versión Beta, las instancias de VM deben usar la interfaz de red virtual de Compute Engine (gVNIC).

Los anchos de banda máximos disponibles en Compute Engine son los siguientes:

  • Las instancias de VM que tienen adjuntas las GPU P100, P4 y K80 tienen disponible un ancho de banda máximo de 32 Gbps. Esto es similar a la velocidad máxima disponible para las instancias de VM que no tienen GPU adjuntas. Para obtener más información sobre el ancho de banda de la red, consulta la tasa máxima de datos de salida.
  • En función de la cantidad de GPU, las instancias de VM que tienen adjuntas GPU V100 y T4 ahora pueden obtener un ancho de banda máximo de hasta 50 o 100 Gbps. Para crear instancias de VM con GPU V100 y T4, que usan hasta 100 Gbps, consulta cómo usar anchos de banda de hasta 100 Gbps.

Configuración del ancho de banda

En las siguientes tablas, se resume el ancho de banda de la red disponible para diferentes configuraciones de VM de los tipos de GPU T4 y V100.

Se aplica automáticamente el ancho de banda de la red según la configuración de la instancia de VM. Por ejemplo, si tienes una instancia de VM con un solo núcleo de GPU V100, 12 CPU virtuales y 78 GB de memoria, el ancho de banda máximo de la red será de 24 Gbps.

Configuración de instancia de VM V100 Ancho de banda de red
Cantidad de GPU
CPU virtuales Memoria
1 12 78 GB 24 Gbps
2 24 156 GB 32 Gbps
4 48 312 GB 50 GbpsBeta
8 96 624 GB 100 GbpsBeta
Configuración de instancia de VM T4 Ancho de banda de red
Cantidad de GPU
CPU virtuales Memoria
1 24 156 GB 32 Gbps
2 48 312 GB 50 GbpsBeta
4 96 624 GB 100 GbpsBeta

GPU de instancias interrumpibles

Puedes agregar GPU a tus instancias de VM interrumpibles a precios interrumpibles más bajos para las GPU. Las GPU conectadas a instancias interrumpibles funcionan como las GPU normales, pero persisten solo durante la vida útil de la instancia. Las instancias interrumpibles con GPU siguen el mismo proceso de interrupción que todas las instancias interrumpibles.

Cuando agregas una GPU a una instancia interrumpible, utilizas tu cuota de GPU normal. Si necesitas una cuota aparte para las GPU interrumpibles, solicita una cuota de GPU interrumpible por separado.

Durante los eventos de mantenimiento, las instancias interrumpibles con GPU se interrumpen de forma predeterminada y no se pueden reiniciar automáticamente. Si deseas volver a crear tus instancias después de que hayan sido interrumpidas, usa un grupo de instancias administrado. Los grupos de instancias administrados recrean tus instancias si están disponibles los recursos de CPU virtuales, memoria y GPU.

Si deseas recibir una advertencia antes de que se interrumpa tu instancia o si deseas configurar tu instancia para que se reinicie de forma automática después de un evento de mantenimiento, usa una instancia no interrumpible con una GPU. Para instancias no interrumpibles con GPU, Google muestra una notificación con una hora de anticipación antes de la interrupción.

Compute Engine no te cobra por las GPU si tus instancias son interrumpibles durante el primer minuto después de que comienzan a ejecutarse.

Si deseas conocer los pasos con el fin de reiniciar automáticamente una instancia no interrumpible, consulta la sección Actualiza las opciones de una instancia.

Para aprender a crear instancias interrumpibles con GPU conectadas, consulta la sección sobre cómo crear una instancia con una GPU.

Reserva GPU con descuentos por compromiso de uso

Para reservar recursos de GPU en una zona específica, consulta la sección sobre cómo reservar recursos zonales. Se requieren reservaciones para precios de descuento por compromiso de uso en GPU.

Gráfico de comparación de GPU

Revisa esta sección para obtener más información sobre factores como las especificaciones de rendimiento, la disponibilidad de características y los tipos de carga de trabajo ideales que se adaptan mejor a los diferentes tipos de GPU disponibles en Compute Engine.

La cantidad máxima de CPU y memoria disponible para cualquier tipo de GPU depende de la zona en la que se ejecuta el recurso de GPU. Para obtener más información sobre memoria, recursos de CPU y regiones y zonas disponibles, consulta la lista de GPU.

El SSD local es compatible con las GPU que se ejecutan en todas las regiones y zonas disponibles, con la excepción de las GPU P4. Las GPU de P4 admiten un SSD local solo en las zonas us-central1-c y us-central1-f.

Métrica T4 P4 V100 P100 K80
Núcleos tensores 320 N/A 640 N/A N/A
Núcleos CUDA 2,560 2,560 5,120 3840 2,496
Máximo rendimiento en TeraFLOPS (TFLOPS) Doble precisión (FP64) 0.25 TFLOPS1 0.2 TFLOPS 1 7.8 TFLOPS 4.7 TFLOPS 1.46 TFLOP
Precisión simple (FP32) 8.1 TFLOPS 5.5 TFLOPS 15.7 TFLOPS 9.3 TFLOPS 4.37 TFLOPS
Media precisión (FP16) 65 TFLOPS2 N/A 125 TFLOPS2 18.7 TFLOPS N/A
INT8 130 TOPS3 22 TOPS3 63 TOPS3 N/A N/A
Interconexión NVLink/PCIe PCIe Gen 3x16 PCIe Gen 3x16 NVLink; 300 GB/s, PCIe Gen 3x16 PCIe Gen 3x16 PCIe Gen 3x16
Memoria con ancho de banda GDDR6 de 16 GB a 320 GB/s GDDR5 de 8 GB a 192 GB/s HBM2 de 16 GB a 900 GB/s HBM2 de 16 GB a 732 GB/s GDDR5 de 12 GB a 240 GB/s
Admisión de estación de trabajo remota GRID S S N S N
Mejor uso para Inferencia de ML, entrenamiento, estaciones de trabajo de visualización remota, transcodificación de video Estaciones de trabajo de visualización remota, inferencia ML y transcodificación de video AA, entrenamiento, inferencia, HPC AA, entrenamiento, inferencia, HPC, estaciones de trabajo de visualización remota AA inferencia, entrenamiento, HPC
Precios Si deseas comparar los precios de GPU para los diferentes tipos y regiones de GPU que están disponibles en Compute Engine, consulta los precios de GPU.

1Para permitir que el código FP64 funcione correctamente, se incluye una pequeña cantidad de unidades de hardware FP64 en la arquitectura de GPU T4 y P4.

2Este rendimiento se logra mediante el uso de núcleos tensores.

3Teraoperaciones por segundo.

Restricciones

Las instancias con GPU tienen restricciones específicas que hacen que se comporten de manera diferente a otros tipos de instancias.

  • Si deseas usar GPU Tesla K80 con tus instancias, las instancias no pueden usar Intel Skylake o plataformas de CPU posteriores.

  • Actualmente, las GPU solo son compatibles con los tipos de máquina N1 de uso general.

  • Las instancias de GPU deben finalizar para llevar a cabo los eventos de mantenimiento del host, pero pueden reiniciarse automáticamente. Estos eventos de mantenimiento generalmente ocurren una vez al mes, pero pueden llevarse a cabo con mayor frecuencia cuando sea necesario. Debes configurar tus cargas de trabajo para manejar estos eventos de mantenimiento definidamente. En especial, las cargas de trabajo de larga duración, como el aprendizaje automático y la computación de alto rendimiento (HPC), deben manejar la interrupción de los eventos de mantenimiento del host. Aprende a manejar los eventos de mantenimiento del host en instancias con GPU.

  • Para proteger los sistemas y usuarios de Compute Engine, los nuevos proyectos tienen una cuota global de GPU que limita la cantidad total de GPU que puedes crear en cualquier zona compatible. Cuando solicitas una cuota de GPU, debes especificar una cuota de los modelos de GPU que quieres crear en cada región, así como indicar la cuota global con la cantidad total de GPU de los tipos de todas las zonas.

  • Las instancias con una o más GPU tienen una cantidad máxima de CPU virtuales para cada GPU que agregues a la instancia. Por ejemplo, cada GPU NVIDIA® Tesla® K80 te permite tener hasta ocho CPU virtuales y hasta 52 GB de memoria en tu tipo de máquina de instancia. Si deseas ver los rangos de CPU virtuales y memoria disponibles para diferentes configuraciones de GPU, consulta la lista de GPU.

  • No puedes conectar las GPU a instancias con tipos de máquina de núcleo compartido.

  • Las GPU requieren controladores de dispositivo para funcionar correctamente. Las GPU de NVIDIA que se ejecutan en Compute Engine deben usar las siguientes versiones de controlador:

    • Instancias de Linux:

      • Controlador NVIDIA 410.79 o superior
    • Instancias de Windows Server:

      • Controlador NVIDIA 411.98 o superior
  • Las instancias con un modelo de GPU adjunto específico están cubiertas por el ANS de Compute Engine solo si ese modelo de GPU adjunto está disponible en más de una zona en la misma región donde se encuentra la instancia. El ANS de Compute Engine no abarca modelos de GPU específicos en las siguientes zonas:

    • NVIDIA® Tesla® T4
        :
      • asia-northeast1-a
      • asia-south1-b
      • asia-southeast1-b
      • southamerica-east1-c
    • NVIDIA® Tesla® V100
        :
      • asia-east1-c
    • NVIDIA® Tesla® P100
        :
      • us-west1-b
      • europe-west4-a
    • NVIDIA® Tesla® K80
        :
      • us-west1-b
      • us-central1-c
  • Las instancias con GPU de NVIDIA® Tesla® P100 en europe-west1-d no pueden usar dispositivos SSD locales.

  • Compute Engine admite la ejecución de un usuario simultáneo por GPU.

Próximos pasos