Plataformas de GPU


Compute Engine proporciona unidades de procesamiento de gráficos (GPU) que puedes agregar a tus instancias de máquina virtual (VM). Puedes usar estas GPU para acelerar cargas de trabajo específicas en las VM, como el aprendizaje automático y el procesamiento de datos.

Compute Engine proporciona GPU de NVIDIA para tus VM en modo de transferencia a fin de que tus VM tengan control directo sobre las GPU y su memoria asociada.

Si tienes cargas de trabajo de contenido gráfico alto, como visualización 3D, renderización 3D o aplicaciones virtuales, puedes usar estaciones de trabajo virtuales de NVIDIA RTX (antes conocidas como NVIDIA GRID).

En este documento, se proporciona una descripción general de los diferentes modelos de GPU que están disponibles en Compute Engine.

Si deseas ver las regiones y zonas disponibles para las GPU en Compute Engine, consulta Regiones de GPU y disponibilidad de zonas.

GPU NVIDIA para cargas de trabajo de procesamiento

Para las cargas de trabajo de procesamiento, los modelos de GPU están disponibles en las siguientes etapas:

  • NVIDIA H100 80 GB: nvidia-h100-80gb: Disponibilidad general
  • NVIDIA L4: nvidia-l4: Disponibilidad general
  • NVIDIA A100
    • NVIDIA A100 40GB: nvidia-tesla-a100: Disponibilidad general
    • NVIDIA A100 80GB: nvidia-a100-80gb: Disponibilidad general
  • NVIDIA T4: nvidia-tesla-t4: Disponibilidad general
  • NVIDIA V100: nvidia-tesla-v100: Disponibilidad general
  • NVIDIA P100: nvidia-tesla-p100: Disponibilidad general
  • NVIDIA P4: nvidia-tesla-p4: Disponibilidad general
  • NVIDIA K80: nvidia-tesla-k80: Disponibilidad general. Consulta Fin de la asistencia de NVIDIA K80.

GPU NVIDIA H100

Para ejecutar GPU NVIDIA H100 de 80 GB, debes usar un tipo de máquina A3 optimizada para aceleradores.

Modelo de GPU Tipo de máquina GPU Memoria de GPU* CPU virtuales disponibles Memoria disponible Compatible con SSD local
NVIDIA H100 a3-highgpu-8g 8 GPU 640 GB de HBM3 208 CPU virtuales 1,872 GB Por paquetes (6,000 GB)

*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

GPU NVIDIA L4

Para ejecutar GPU NVIDIA L4, debes usar un tipo de máquina optimizada para aceleradores G2.

Cada tipo de máquina G2 tiene una cantidad fija de GPU NVIDIA L4 y CPU virtuales conectadas. Cada tipo de máquina G2 también tiene una memoria predeterminada y un rango de memoria personalizado. El rango de memoria personalizado define la cantidad de memoria que puedes asignar a tu VM para cada tipo de máquina. Puedes especificar la memoria personalizada durante la creación de la VM.

Modelo de GPU Tipo de máquina GPU Memoria de GPU* CPU virtuales Memoria predeterminada Rango de memoria personalizado Máximo SSD local admitido
NVIDIA L4 g2-standard-4 1 GPU 24 GB GDDR6 4 CPUs virtuales 16 GB De 16 a 32 GB 375 GB
g2-standard-8 1 GPU 24 GB GDDR6 8 CPUs virtuales 32 GB De 32 a 54 GB 375 GB
g2-standard-12 1 GPU 24 GB GDDR6 12 CPU virtuales 48 GB De 48 a 54 GB 375 GB
g2-standard-16 1 GPU 24 GB GDDR6 16 CPUs virtuales 64 GB De 54 a 64 GB 375 GB
g2-standard-24 2 GPU 48 GB GDDR6 24 CPU virtuales 96 GB De 96 a 108 GB 750 GB
g2-standard-32 1 GPU 24 GB GDDR6 32 CPU virtuales 128 GB De 96 a 128 GB 375 GB
g2-standard-48 4 GPU 96 GB GDDR6 48 CPU virtuales 192 GB De 192 a 216 GB 1,500 GB
g2-standard-96 8 GPU 192 GB GDDR6 96 CPUs virtuales 384 GB De 384 a 432 GB 3000 GB

*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

GPU NVIDIA A100

Para ejecutar GPU NVIDIA A100, debes usar el tipo de máquina optimizada para aceleradores A2.

Nota: Cada tipo de máquina A2 tiene un recuento fijo de GPU, de CPU virtuales y de tamaño de memoria.

A100 40 GB

Modelo de GPU Tipo de máquina GPU Memoria de GPU* CPU virtuales disponibles Memoria disponible Compatible con SSD local
NVIDIA A100 40 GB a2-highgpu-1g 1 GPU 40 GB HBM2 12 CPU virtuales 85 GB
a2-highgpu-2g 2 GPU 80 GB HBM2 24 CPU virtuales 170 GB
a2-highgpu-4g 4 GPU 160 GB HBM2 48 CPU virtuales 340 GB
a2-highgpu-8g 8 GPU 320 GB HBM2 96 CPU virtuales 680 GB
a2-megagpu-16g 16 GPU 640 GB HBM2 96 CPU virtuales 1,360 GB

A100 80 GB

Modelo de GPU Tipo de máquina GPU Memoria de GPU* CPU virtuales disponibles Memoria disponible Compatible con SSD local
NVIDIA A100 80 GB a2-ultragpu-1g 1 GPU 80 GB HBM2e 12 CPU virtuales 170 GB Por paquetes (375 GB)
a2-ultragpu-2g 2 GPU 160 GB HBM2e 24 CPU virtuales 340 GB Por paquetes (750 GB)
a2-ultragpu-4g 4 GPU HBM2e de 320 GB 48 CPU virtuales 680 GB Por paquetes (1.5 TB)
a2-ultragpu-8g 8 GPU 640 GB HBM2e 96 CPU virtuales 1,360 GB Por paquetes (3 TB)

*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

GPU NVIDIA T4

Las VM con una cantidad menor de GPU están limitadas a una cantidad máxima de CPU virtuales. En general, una cantidad mayor de GPU te permite crear instancias con mayores cantidades de CPU virtuales y de memoria.

Modelo de GPU Tipo de máquina GPU Memoria de GPU* CPU virtuales disponibles Memoria disponible Compatible con SSD local
NVIDIA® T4: Serie de máquinas N1, excepto N1 con núcleo compartido 1 GPU 16 GB GDDR6 De 1 a 48 CPU virtuales De 1 a 312 GB
2 GPU GDDR6 de 32 GB De 1 a 48 CPU virtuales De 1 a 312 GB
4 GPU GDDR6 de 64 GB De 1 a 96 CPU virtuales De 1 a 624 GB

*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

GPU NVIDIA P4

Para las GPUs P4, el SSD local solo es compatible en regiones seleccionadas. Consulta Disponibilidad de SSD local por regiones y zonas de GPU.

Modelo de GPU Tipo de máquina GPU Memoria de GPU* CPU virtuales disponibles Memoria disponible Compatible con SSD local
NVIDIA P4 Serie de máquinas N1, excepto N1 con núcleo compartido 1 GPU GDDR5 de 8 GB De 1 a 24 CPU virtuales De 1 a 156 GB
2 GPU GDDR5 de 16 GB De 1 a 48 CPU virtuales De 1 a 312 GB
4 GPU GDDR5 de 32 GB De 1 a 96 CPU virtuales De 1 a 624 GB

*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

GPU NVIDIA V100

En el caso de las GPU V100, el SSD local solo se admite en regiones seleccionadas. Consulta Disponibilidad de SSD local por regiones y zonas de GPU.

Modelo de GPU Tipo de máquina GPU Memoria de GPU* CPU virtuales disponibles Memoria disponible Compatible con SSD local
NVIDIA V100 Serie de máquinas N1, excepto N1 con núcleo compartido 1 GPU HBM2 de 16 GB De 1 a 12 CPU virtuales De 1 a 78 GB
2 GPU HBM2 de 32 GB De 1 a 24 CPU virtuales De 1 a 156 GB
4 GPU 64 GB HBM2 De 1 a 48 CPU virtuales De 1 a 312 GB
8 GPU 128 GB de HBM2 De 1 a 96 CPU virtuales De 1 a 624 GB

*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

GPU NVIDIA P100

En algunas GPU P100, la CPU y la memoria máximas disponibles para algunas configuraciones dependen de la zona en la que se ejecuta el recurso de GPU.

Modelo de GPU Tipo de máquina GPU Memoria de GPU* CPU virtuales disponibles Memoria disponible Compatible con SSD local
NVIDIA P100 Serie de máquinas N1, excepto N1 con núcleo compartido 1 GPU HBM2 de 16 GB De 1 a 16 CPU virtuales De 1 a 104 GB
2 GPU HBM2 de 32 GB De 1 a 32 CPU virtuales De 1 a 208 GB
4 GPU 64 GB HBM2

De 1 a 64 CPU virtuales
(us-east1-c, europe-west1-d, europe-west1-b)

De 1 a 96 CPU virtuales
(todas las zonas de P100)

De 1 a 208 GB
(us-east1-c, europe-west1-d, europe-west1-b)

De 1 a 624 GB
(todas las zonas de P100)

*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

GPU NVIDIA K80

Las placas NVIDIA K80 contienen dos GPU cada una. El precio es por cada GPU K80, no por placa.

Modelo de GPU Tipo de máquina GPU Memoria de GPU* CPU virtuales disponibles Memoria disponible Compatible con SSD local
NVIDIA K80 Serie de máquinas N1, excepto N1 con núcleo compartido 1 GPU GDDR5 de 12 GB De 1 a 8 CPU virtuales De 1 a 52 GB
2 GPU GDDR5 de 24 GB De 1 a 16 CPU virtuales De 1 a 104 GB
4 GPU GDDR5 de 48 GB De 1 a 32 CPU virtuales De 1 a 208 GB
8 GPU GDDR5 de 96 GB De 1 a 64 CPU virtuales

De 1 a 416 GB
(asia-east1-a y us-east1-d)

De 1 a 208 GB
(todas las zonas de K80)

*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

Estaciones de trabajo virtuales (vWS) NVIDIA RTX para cargas de trabajo de gráficos

Si tienes cargas de trabajo de contenido gráfico alto, como la visualización 3D, puedes crear estaciones de trabajo virtuales que usen estaciones de trabajo virtuales (vWS) NVIDIA RTX (antes conocidas como NVIDIA GRID). Cuando creas una estación de trabajo virtual, se agrega de forma automática una licencia de estación de trabajo virtual (vWS) NVIDIA RTX a tu VM.

Para obtener información sobre los precios de las estaciones de trabajo virtuales, consulta la página de precios de GPU.

Para las cargas de trabajo de gráficos, los modelos de estación de trabajo virtual (vWS) NVIDIA RTX están disponibles en las siguientes etapas:

  • Estaciones de trabajo virtuales NVIDIA L4: nvidia-l4-vws: Disponibilidad general
  • Estaciones de trabajo virtuales NVIDIA T4: nvidia-tesla-t4-vws: Disponibilidad general
  • Estaciones de trabajo virtuales NVIDIA P100: nvidia-tesla-p100-vws: Disponibilidad general
  • Estaciones de trabajo virtuales NVIDIA P4: nvidia-tesla-p4-vws: Disponibilidad general

GPUs de vWS NVIDIA L4

Modelo de GPU Tipo de máquina GPU Memoria de GPU CPU virtuales Memoria predeterminada Rango de memoria personalizado Máximo SSD local admitido
Estación de trabajo virtual NVIDIA L4 g2-standard-4 1 GPU 24 GB GDDR6 4 CPUs virtuales 16 GB De 16 a 32 GB 375 GB
g2-standard-8 1 GPU 24 GB GDDR6 8 CPUs virtuales 32 GB De 32 a 54 GB 375 GB
g2-standard-12 1 GPU 24 GB GDDR6 12 CPU virtuales 48 GB De 48 a 54 GB 375 GB
g2-standard-16 1 GPU 24 GB GDDR6 16 CPUs virtuales 64 GB De 54 a 64 GB 375 GB
g2-standard-24 2 GPU 48 GB GDDR6 24 CPU virtuales 96 GB De 96 a 108 GB 750 GB
g2-standard-32 1 GPU 24 GB GDDR6 32 CPU virtuales 128 GB De 96 a 128 GB 375 GB
g2-standard-48 4 GPU 96 GB GDDR6 48 CPU virtuales 192 GB De 192 a 216 GB 1,500 GB
g2-standard-96 8 GPU 192 GB GDDR6 96 CPUs virtuales 384 GB De 384 a 432 GB 3000 GB

*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

GPUs de vWS NVIDIA T4

Modelo de GPU Tipo de máquina GPU Memoria de GPU* CPU virtuales disponibles Memoria disponible Compatible con SSD local
Estación de trabajo virtual NVIDIA T4 Serie de máquinas N1, excepto N1 con núcleo compartido 1 GPU 16 GB GDDR6 De 1 a 48 CPU virtuales De 1 a 312 GB
2 GPU GDDR6 de 32 GB De 1 a 48 CPU virtuales De 1 a 312 GB
4 GPU GDDR6 de 64 GB De 1 a 96 CPU virtuales De 1 a 624 GB

*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

GPUs de vWS NVIDIA P4

Para las GPUs P4, el SSD local solo es compatible en regiones seleccionadas. Consulta Disponibilidad de SSD local por regiones y zonas de GPU.

Modelo de GPU Tipo de máquina GPU Memoria de GPU* CPU virtuales disponibles Memoria disponible Compatible con SSD local
Estación de trabajo virtual NVIDIA P4 Serie de máquinas N1, excepto N1 con núcleo compartido 1 GPU GDDR5 de 8 GB De 1 a 16 CPU virtuales De 1 a 156 GB
2 GPU GDDR5 de 16 GB De 1 a 48 CPU virtuales De 1 a 312 GB
4 GPU GDDR5 de 32 GB De 1 a 96 CPU virtuales De 1 a 624 GB

*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

GPUs de vWS NVIDIA P100

Modelo de GPU Tipo de máquina GPU Memoria de GPU* CPU virtuales disponibles Memoria disponible Compatible con SSD local
Estación de trabajo virtual NVIDIA P100 Serie de máquinas N1, excepto N1 con núcleo compartido 1 GPU HBM2 de 16 GB De 1 a 16 CPU virtuales De 1 a 104 GB
2 GPU HBM2 de 32 GB De 1 a 32 CPU virtuales De 1 a 208 GB
4 GPU 64 GB HBM2

De 1 a 64 CPU virtuales
(us-east1-c, europe-west1-d, europe-west1-b)

De 1 a 96 CPU virtuales
(todas las zonas de P100)

De 1 a 208 GB
(us-east1-c, europe-west1-d, europe-west1-b)

De 1 a 624 GB
(todas las zonas de P100)

*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.

Gráfico de comparación general

En la siguiente tabla, se describe el tamaño de la memoria de GPU, la disponibilidad de las funciones y los tipos de carga de trabajo ideales de diferentes modelos de GPU que están disponibles en Compute Engine.

Modelo de GPU Memoria Interconnect Compatibilidad con la estación de trabajo virtual (vWS) NVIDIA RTX Mejor uso para
H100 80 GB HBM3 de 80 GB a 3.35 TBps Malla completa de NVLink a 900 GBps Modelos grandes con tablas de datos enormes para el entrenamiento de AA, la inferencia, la HPC, BERT y DLRM
A100 80 GB HBM2e de 80 GB a 1.9 TBps Malla completa de NVLink a 600 GBps Modelos grandes con tablas de datos enormes para el entrenamiento de AA, la inferencia, la HPC, BERT y DLRM
A100 40 GB HBM2 de 40 GB a 1.6 TBps Malla completa de NVLink a 600 GBps AA, entrenamiento, inferencia, HPC
L4 GDDR6 de 24 GB a 300 GBps No disponible Inferencia de ML, entrenamiento, estaciones de trabajo de visualización remota, transcodificación de video, HPC
T4 GDDR6 de 16 GB a 320 GBps No disponible Inferencia de ML, entrenamiento, estaciones de trabajo de visualización remota, transcodificación de video
V100 HBM2 de 16 GB a 900 GBps NVLink Ring a 300 GBps AA, entrenamiento, inferencia, HPC
P4 GDDR5 de 8 GB a 192 GBps No disponible Estaciones de trabajo de visualización remota, inferencia ML y transcodificación de video
P100 HBM2 de 16 GB a 732 GBps No disponible AA, entrenamiento, inferencia, HPC, estaciones de trabajo de visualización remota
K80EOL GDDR5 de 12 GB a 240 GBps No disponible AA inferencia, entrenamiento, HPC

Si deseas comparar los precios de GPU para los diferentes modelos y regiones de GPU disponibles en Compute Engine, consulta los precios de GPU.

Gráfico de comparación de rendimiento

En la siguiente tabla, se describen las especificaciones de rendimiento de diferentes modelos de GPU que están disponibles en Compute Engine.

Rendimiento de procesamiento

Modelo de GPU FP64 FP32 FP16 INT8
H100 80 GB 34 TFLOPS* 67 TFLOPS*
A100 80 GB 9.7 TFLOPS 19.5 TFLOPS
A100 40 GB 9.7 TFLOPS 19.5 TFLOPS
L4 0.5 TFLOPS* 30.3 TFLOPS
T4 0.25 TFLOPS* 8.1 TFLOPS
V100 7.8 TFLOPS 15.7 TFLOPS
P4 0.2 TFLOPS* 5.5 TFLOPS 22 TOPS
P100 4.7 TFLOPS 9.3 TFLOPS 18.7 TFLOPS
K80EOL 1.46 TFLOP 4.37 TFLOPS

*Para permitir que el código FP64 funcione correctamente, se incluye una pequeña cantidad de unidades de hardware FP64 en la arquitectura de GPU T4, L4 y P4.

Teraoperaciones por segundo.

Rendimiento del núcleo de tensor

Modelo de GPU FP64 TF32 FP16/FP32 de precisión mixta INT8 INT4 FP8
H100 80 GB 67 TFLOPS* 989 TFLOPS 1,979 TFLOPS*, † 3,958 TOPS 3,958 TFLOPS
A100 80 GB 19.5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 TOPS 1248 TOPS
A100 40 GB 19.5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 TOPS 1248 TOPS
L4 120 TFLOPS 242 TFLOPS*, † 485 TOPS 485 TFLOPS
T4 65 TFLOPS 130 TOPS 260 TOPS
V100 125 TFLOPS
P4
P100
K80EOL

* Para el entrenamiento de precisión mixta, las GPU NVIDIA H100, A100 y L4 también admiten el tipo de datos bfloat16.

Para las GPU H100 y L4, se admite la dispersión estructural, que puedes usar para duplicar el valor de rendimiento. Los valores que se muestran están con dispersión. Las especificaciones son la mitad inferior sin dispersión.

Próximos pasos