Tipos de máquinas de GPU

Puedes usar GPU en Compute Engine para acelerar cargas de trabajo específicas en las VMs, como el aprendizaje automático (AA) y el procesamiento de datos. Para usar GPU, puedes implementar una VM optimizada para aceleradores que tenga GPU conectadas o adjuntar GPU a una VM N1 de uso general.

Compute Engine proporciona GPU de NVIDIA para tus VMs en modo de transferencia así tus VMs podrán tener control directo sobre las GPU y su memoria asociada.

Para obtener más información sobre las GPU en Compute Engine, consulta Acerca de las GPU.

Si tienes cargas de trabajo de contenido gráfico alto, como visualización 3D, renderización 3D o aplicaciones virtuales, puedes usar estaciones de trabajo virtuales de NVIDIA RTX (antes conocidas como NVIDIA GRID).

En este documento, se proporciona una descripción general de los diferentes modelos de VMs que están disponibles en Compute Engine.

Si deseas ver las regiones y zonas disponibles para las GPU en Compute Engine, consulta Regiones de GPU y disponibilidad de zonas.

GPU para cargas de trabajo de procesamiento

Para las cargas de trabajo de procesamiento, las GPUs son compatibles con los siguientes tipos de máquinas:

  • VMs A3: Estas VMs tienen GPUs NVIDIA H100 de 80 GB conectadas automáticamente.
  • VMs A2: Estas VMs tienen GPU NVIDIA A100 de 80 GB o NVIDIA A100 de 40 GB conectadas automáticamente.
  • VMs G2: Estas VMs tienen GPU NVIDIA L4 conectadas automáticamente.
  • VMs N1: En el caso de estas VMs, puedes conectar los siguientes modelos de GPU: NVIDIA T4, NVIDIA V100, NVIDIA P100 o NVIDIA P4.

Serie de máquinas A3

Para usar GPU NVIDIA H100 de 80 GB, debes usar un tipo de máquina A3 optimizada para aceleradores. Nota: Cada tipo de máquina A3 tiene un recuento fijo de GPU, de CPU virtuales y de tamaño de memoria.

Las series de máquinas A3 están disponibles en tres tipos:

  • A3 Mega: Estos tipos de máquinas tienen GPUs H100 de 80 GB (nvidia-h100-mega-80gb) y proporcionan el mayor rendimiento de red. Son ideales para las cargas de trabajo de entrenamiento más exigentes y a gran escala.
  • A3 High: Estos tipos de máquinas tienen GPUs H100 de 80 GB (nvidia-h100-80gb) y son adecuados para tareas de entrenamiento y entrega de modelos de IA grandes.
  • A3 Edge: Estos tipos de máquinas tienen GPUs H100 de 80 GB (nvidia-h100-80gb), están diseñados específicamente para la publicación y están disponibles en un conjunto limitado de regiones.

A3 Mega

Tipo de máquina Recuento de GPU Memoria de GPU*
(GB HBM3)		 Recuento de CPU virtuales† Memoria de VM (GB) SSD local conectado (GiB) Cantidad de NICs físicas Ancho de banda de red máximo (Gbps)‡ Protocolo de red
a3-megagpu-8g 8 640 208 1,872 6,000 9 1,800 GPUDirect-TCPXO

A3 High

Cuando aprovisiones tipos de máquinas a3-highgpu-1g, a3-highgpu-2g o a3-highgpu-4g, debes usar VMs Spot o una función que use el programador de cargas de trabajo dinámico (DWS), como las solicitudes de cambio de tamaño en un MIG. Para obtener instrucciones detalladas sobre cualquiera de estas opciones, consulta lo siguiente:
Tipo de máquina Recuento de GPU Memoria de GPU*
(GB HBM3)		 Recuento de CPU virtuales† Memoria de VM (GB) SSD local conectado (GiB) Cantidad de NICs físicas Ancho de banda de red máximo (Gbps)‡ Protocolo de red
a3-highgpu-1g 1 80 26 234 750 1 25 GPUDirect-TCPX
a3-highgpu-2g 2 160 52 468 1,500 1 50 GPUDirect-TCPX
a3-highgpu-4g 4 320 104 936 3,000 1 100 GPUDirect-TCPX
a3-highgpu-8g 8 640 208 1,872 6,000 5 1,000 GPUDirect-TCPX

A3 Edge

Tipo de máquina Recuento de GPU Memoria de GPU*
(GB HBM3)		 Recuento de CPU virtuales† Memoria de VM (GB) SSD local conectado (GiB) Cantidad de NICs físicas Ancho de banda de red máximo (Gbps)‡ Protocolo de red
a3-edgegpu-8g 8 640 208 1,872 6,000 5
  • 800: para asia-south1 y northamerica-northeast2
  • 400: para todas las demás regiones de Edge A3
 GPUDirect-TCPX

*La memoria de GPU es la memoria de un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
†Una CPU virtual se implementa como un solo hipersubproceso de hardware en una de las plataformas de CPU disponibles.
‡El ancho de banda de salida máximo no puede ser superior al número especificado. El ancho de banda de salida real depende de la dirección IP de destino y de otros factores. Consulta Ancho de banda de red.

Serie de máquinas A2

Para usar GPU NVIDIA A100 en Google Cloud, debes implementar una máquina A2 optimizada para aceleradores. Nota: Cada tipo de máquina A2 tiene un recuento fijo de GPU, de CPU virtuales y de tamaño de memoria.

Las series de máquinas A2 están disponibles en dos tipos:

  • A2 Ultra: Estos tipos de máquinas tienen GPU A100 (nvidia-a100-80gb) de 80 GB y discos SSD local conectados.
  • A2 estándar: Estos tipos de máquinas tienen GPU A100 (nvidia-tesla-a100) de 40 GB conectadas.

A2 ultra

Tipo de máquina Recuento de GPU Memoria de GPU*
(GB HBM3)		 Recuento de CPU virtuales† Memoria de VM (GB) SSD local conectado (GiB) Ancho de banda de red máximo (Gbps)‡
a2-ultragpu-1g 1 80 12 170 375 24
a2-ultragpu-2g 2 160 24 340 750 32
a2-ultragpu-4g 4 320 48 680 1,500 50
a2-ultragpu-8g 8 640 96 1,360 3,000 100

A2 estándar

Tipo de máquina Recuento de GPU Memoria de GPU*
(GB HBM3)		 Recuento de CPU virtuales† Memoria de VM (GB) SSD local conectado (GiB) Ancho de banda de red máximo (Gbps)‡
a2-highgpu-1g 1 40 12 85 Sí 24
a2-highgpu-2g 2 80 24 170 Sí 32
a2-highgpu-4g 4 160 48 340 Sí 50
a2-highgpu-8g 8 320 96 680 Sí 100
a2-megagpu-16g 16 640 96 1,360 Sí 100

*La memoria de GPU es la memoria disponible en un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.

Serie de máquinas G2

Para usar las GPUs NVIDIA L4 (nvidia-l4 o nvidia-l4-vws), debes implementar una máquina optimizada para aceleradores de G2.

Cada tipo de máquina G2 tiene una cantidad fija de GPU NVIDIA L4 y CPU virtuales conectadas. Cada tipo de máquina G2 también tiene una memoria predeterminada y un rango de memoria personalizado. El rango de memoria personalizado define la cantidad de memoria que puedes asignar a tu VM para cada tipo de máquina. Puedes especificar la memoria personalizada durante la creación de la VM.

Tipo de máquina Recuento de GPU Memoria de GPU* (GB GDDR6) Recuento de CPU virtuales† Memoria de VM predeterminada (GB) Rango de memoria de VM personalizado (GB) Máximo de SSD local admitido (GiB) Ancho de banda de red máximo (Gbps)‡
g2-standard-4 1 24 4 16 De 16 a 32 375 10
g2-standard-8 1 24 8 32 De 32 a 54 375 16
g2-standard-12 1 24 12 48 De 48 a 54 375 16
g2-standard-16 1 24 16 64 De 54 a 64 375 32
g2-standard-24 2 48 24 96 De 96 a 108 750 32
g2-standard-32 1 24 32 128 De 96 a 128 375 32
g2-standard-48 4 96 48 192 De 192 a 216 1,500 50
g2-standard-96 8 192 96 384 De 384 a 432 3,000 100

*La memoria de GPU es la memoria disponible en un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.

Serie de máquinas N1

Puedes adjuntar los siguientes modelos de GPU a un Tipo de máquina N1 con el excepción del tipo de máquina de núcleo compartido N1.

Las VMs N1 con una cantidad menor de GPU están limitadas a una cantidad máxima de CPU virtuales. En general, una cantidad mayor de GPU te permite crear instancias de VM con mayores cantidades de CPU virtuales y de memoria.

GPU de N1 + T4

Puedes conectar las GPU NVIDIA T4 a las VMs N1 de uso general con los siguientes parámetros de configuración de VM.

Tipo de acelerador Recuento de GPU Memoria de GPU* (GB GDDR6) Recuento de CPU virtuales Memoria de VM (GB) Compatible con SSD local
nvidia-tesla-t4 o
nvidia-tesla-t4-vws 		1 16 De 1 a 48 De 1 a 312 Sí
2 32 De 1 a 48 De 1 a 312 Sí
4 64 De 1 a 96 De 1 a 624 Sí

*La memoria de GPU es la memoria disponible en un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.

GPU de N1 + P4

Puedes conectar las GPU NVIDIA P4 a las VMs N1 de uso general con los siguientes parámetros de configuración de VM.

Tipo de acelerador Recuento de GPU Memoria de GPU* (GB GDDR5) Recuento de CPU virtuales Memoria de VM (GB) Compatible con SSD local †
nvidia-tesla-p4 o
nvidia-tesla-p4-vws 		1 8 De 1 a 24 De 1 a 156 Sí
2 16 De 1 a 48 De 1 a 312 Sí
4 32 De 1 a 96 De 1 a 624 Sí

*La memoria de GPU es la memoria disponible en un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

†Para las VMs con GPU NVIDIA P4 conectadas, los discos SSD locales solo son compatibles en las zonas us-central1-c y northamerica-northeast1-b.

GPU de N1 + V100

Puedes adjuntar las GPU NVIDIA V100 a las VMs N1 de uso general con la siguiente configuración de VM.

Tipo de acelerador Recuento de GPU Memoria de GPU* (GB HBM2) Recuento de CPU virtuales Memoria de VM (GB) Compatible con SSD local †
nvidia-tesla-v100 1 16 De 1 a 12 De 1 a 78 Sí
2 32 De 1 a 24 De 1 a 156 Sí
4 64 De 1 a 48 De 1 a 312 Sí
8 128 De 1 a 96 De 1 a 624 Sí

*La memoria de GPU es la memoria disponible en un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.
†Para las VMs con GPU NVIDIA V100 conectadas, los discos SSD locales no son compatibles con us-east1-c.

GPU de N1 + P100

Puedes adjuntar las GPU NVIDIA P100a las VMs N1 de uso general con la siguiente configuración de VM.

En algunas GPU P100, la CPU y la memoria máximas disponibles para algunas configuraciones dependen de la zona en la que se ejecuta el recurso de GPU.

Tipo de acelerador Recuento de GPU Memoria de GPU* (GB HBM2) Recuento de CPU virtuales Memoria de VM (GB) Compatible con SSD local
nvidia-tesla-p100 o
nvidia-tesla-p100-vws 		1 16 De 1 a 16 De 1 a 104 Sí
2 32 De 1 a 32 De 1 a 208 Sí
4 64

De 1 a 64
(us-east1-c, europe-west1-d, europe-west1-b)

De 1 a 96
(todas las zonas P100)

De 1 a 208
(us-east1-c, europe-west1-d, europe-west1-b)

De 1 a 624
(todas las zonas de P100)

 Sí

*La memoria de GPU es la memoria disponible en un dispositivo GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado de forma específica para manejar las demandas más altas de ancho de banda de tus cargas de trabajo de alto contenido gráfico.

Estaciones de trabajo virtuales (vWS) NVIDIA RTX para cargas de trabajo de gráficos

Si tienes cargas de trabajo de contenido gráfico alto, como la visualización 3D, puedes crear estaciones de trabajo virtuales que usen estaciones de trabajo virtuales (vWS) NVIDIA RTX (antes conocidas como NVIDIA GRID). Cuando creas una estación de trabajo virtual, se agrega de forma automática una licencia de estación de trabajo virtual (vWS) NVIDIA RTX a tu VM.

Para obtener información sobre los precios de las estaciones de trabajo virtuales, consulta la página de precios de GPU.

Para las cargas de trabajo de gráficos, están disponibles los modelos de estación de trabajo virtual (vWS) NVIDIA RTX:

  • Serie de máquinas G2: Para los tipos de máquinas G2, puedes habilitar Estaciones de trabajo virtuales (vWS) de NVIDIA L4: nvidia-l4-vws

  • Serie de máquinas N1: Para los tipos de máquinas N1, puedes habilitar las siguientes estaciones de trabajo virtuales:

    • Estaciones de trabajo virtuales NVIDIA T4: nvidia-tesla-t4-vws
    • Estaciones de trabajo virtuales NVIDIA P100: nvidia-tesla-p100-vws
    • Estaciones de trabajo virtuales NVIDIA P4: nvidia-tesla-p4-vws

Gráfico de comparación general

En la siguiente tabla, se describe el tamaño de la memoria de GPU, la disponibilidad de las funciones y los tipos de carga de trabajo ideales de diferentes modelos de GPU que están disponibles en Compute Engine.

Modelo de GPU Memoria de GPU Interconexión Compatibilidad con la estación de trabajo virtual (vWS) NVIDIA RTX Mejor uso para
H100 80 GB HBM3 de 80 GB a 3.35 TBps Malla completa de NVLink a 900 GBps Modelos grandes con tablas de datos enormes para el entrenamiento de AA, la inferencia, la HPC, BERT y DLRM
A100 80 GB HBM2e de 80 GB a 1.9 TBps Malla completa de NVLink a 600 GBps Modelos grandes con tablas de datos enormes para el entrenamiento de AA, la inferencia, la HPC, BERT y DLRM
A100 40 GB HBM2 de 40 GB a 1.6 TBps Malla completa de NVLink a 600 GBps AA, entrenamiento, inferencia, HPC
L4 GDDR6 de 24 GB a 300 GBps N/A Inferencia de ML, entrenamiento, estaciones de trabajo de visualización remota, transcodificación de video, HPC
T4 GDDR6 de 16 GB a 320 GBps N/A Inferencia de ML, entrenamiento, estaciones de trabajo de visualización remota, transcodificación de video
V100 HBM2 de 16 GB a 900 GBps NVLink Ring a 300 GBps AA, entrenamiento, inferencia, HPC
P4 GDDR5 de 8 GB a 192 GBps N/A Estaciones de trabajo de visualización remota, inferencia ML y transcodificación de video
P100 HBM2 de 16 GB a 732 GBps N/A AA, entrenamiento, inferencia, HPC, estaciones de trabajo de visualización remota

Si deseas comparar los precios de GPU para los diferentes modelos y regiones de GPU disponibles en Compute Engine, consulta los precios de GPU.

Gráfico de comparación de rendimiento

En la siguiente tabla, se describen las especificaciones de rendimiento de diferentes modelos de GPU que están disponibles en Compute Engine.

Rendimiento de procesamiento

Modelo de GPU FP64 FP32 FP16 INT8
H100 80 GB 34 TFLOPS* 67 TFLOPS*
A100 80 GB 9.7 TFLOPS 19.5 TFLOPS
A100 40 GB 9.7 TFLOPS 19.5 TFLOPS
L4 0.5 TFLOPS* 30.3 TFLOPS
T4 0.25 TFLOPS* 8.1 TFLOPS
V100 7.8 TFLOPS 15.7 TFLOPS
P4 0.2 TFLOPS* 5.5 TFLOPS 22 TOPS†
P100 4.7 TFLOPS 9.3 TFLOPS 18.7 TFLOPS

*Para permitir que el código FP64 funcione correctamente, se incluye una pequeña cantidad de unidades de hardware FP64 en la arquitectura de GPU T4, L4 y P4.
†Teraoperaciones por segundo.

Rendimiento del núcleo de tensor

Modelo de GPU FP64 TF32 FP16/FP32 de precisión mixta INT8 INT4 FP8
H100 80 GB 67 TFLOPS* 989 TFLOPS† 1,979 TFLOPS*, † 3,958 TOPS† 3,958 TFLOPS†
A100 80 GB 19.5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 TOPS 1248 TOPS
A100 40 GB 19.5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 TOPS 1248 TOPS
L4 120 TFLOPS† 242 TFLOPS*, † 485 TOPS† 485 TFLOPS†
T4 65 TFLOPS 130 TOPS 260 TOPS
V100 125 TFLOPS
P4
P100

* Para el entrenamiento de precisión mixta, las GPU NVIDIA H100, A100 y L4 también admiten el tipo de datos bfloat16.
†Para las GPU H100 y L4, se admite la dispersión estructural, que puedes usar para duplicar el valor de rendimiento. Los valores que se muestran están con dispersión. Las especificaciones son la mitad inferior sin dispersión.

Próximos pasos