Compute Engine proporciona unidades de procesamiento de gráficos (GPU) que puedes agregar a tus instancias de máquina virtual (VM). Puedes usar estas GPU para acelerar cargas de trabajo específicas en las VM, como el aprendizaje automático y el procesamiento de datos.
Compute Engine proporciona GPU de NVIDIA para tus VM en modo de transferencia a fin de que tus VM tengan control directo sobre las GPU y su memoria asociada.
Si tienes cargas de trabajo de contenido gráfico alto, como visualización 3D, renderización 3D o aplicaciones virtuales, puedes usar estaciones de trabajo virtuales de NVIDIA RTX (antes conocidas como NVIDIA GRID).
En este documento, se proporciona una descripción general de los diferentes modelos de GPU que están disponibles en Compute Engine.
Si deseas ver las regiones y zonas disponibles para las GPU en Compute Engine, consulta Regiones de GPU y disponibilidad de zonas.
GPU NVIDIA para cargas de trabajo de procesamiento
Para las cargas de trabajo de procesamiento, los modelos de GPU están disponibles en las siguientes etapas:
- NVIDIA H100 80 GB:
nvidia-h100-80gb
: Disponibilidad general - NVIDIA L4:
nvidia-l4
: Disponibilidad general - NVIDIA A100
- NVIDIA A100 40GB:
nvidia-tesla-a100
: Disponibilidad general - NVIDIA A100 80GB:
nvidia-a100-80gb
: Disponibilidad general
- NVIDIA A100 40GB:
- NVIDIA T4:
nvidia-tesla-t4
: Disponibilidad general - NVIDIA V100:
nvidia-tesla-v100
: Disponibilidad general - NVIDIA P100:
nvidia-tesla-p100
: Disponibilidad general - NVIDIA P4:
nvidia-tesla-p4
: Disponibilidad general - NVIDIA K80:
nvidia-tesla-k80
: Disponibilidad general. Consulta Fin de la asistencia de NVIDIA K80.
GPU NVIDIA H100
Para ejecutar GPU NVIDIA H100 de 80 GB, debes usar un tipo de máquina A3 optimizada para aceleradores.
Modelo de GPU | Tipo de máquina | GPU | Memoria de GPU* | CPU virtuales disponibles | Memoria disponible | Compatible con SSD local |
---|---|---|---|---|---|---|
NVIDIA H100 | a3-highgpu-8g |
8 GPU | 640 GB de HBM3 | 208 CPU virtuales | 1,872 GB | Por paquetes (6,000 GB) |
*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.
GPU NVIDIA L4
Para ejecutar GPU NVIDIA L4, debes usar un tipo de máquina optimizada para aceleradores G2.
Cada tipo de máquina G2 tiene una cantidad fija de GPU NVIDIA L4 y CPU virtuales conectadas. Cada tipo de máquina G2 también tiene una memoria predeterminada y un rango de memoria personalizado. El rango de memoria personalizado define la cantidad de memoria que puedes asignar a tu VM para cada tipo de máquina. Puedes especificar la memoria personalizada durante la creación de la VM.
Modelo de GPU | Tipo de máquina | GPU | Memoria de GPU* | CPU virtuales | Memoria predeterminada | Rango de memoria personalizado | Máximo SSD local admitido |
---|---|---|---|---|---|---|---|
NVIDIA L4 | g2-standard-4 |
1 GPU | 24 GB GDDR6 | 4 CPUs virtuales | 16 GB | De 16 a 32 GB | 375 GB |
g2-standard-8 |
1 GPU | 24 GB GDDR6 | 8 CPUs virtuales | 32 GB | De 32 a 54 GB | 375 GB | |
g2-standard-12 |
1 GPU | 24 GB GDDR6 | 12 CPU virtuales | 48 GB | De 48 a 54 GB | 375 GB | |
g2-standard-16 |
1 GPU | 24 GB GDDR6 | 16 CPUs virtuales | 64 GB | De 54 a 64 GB | 375 GB | |
g2-standard-24 |
2 GPU | 48 GB GDDR6 | 24 CPU virtuales | 96 GB | De 96 a 108 GB | 750 GB | |
g2-standard-32 |
1 GPU | 24 GB GDDR6 | 32 CPU virtuales | 128 GB | De 96 a 128 GB | 375 GB | |
g2-standard-48 |
4 GPU | 96 GB GDDR6 | 48 CPU virtuales | 192 GB | De 192 a 216 GB | 1,500 GB | |
g2-standard-96 |
8 GPU | 192 GB GDDR6 | 96 CPUs virtuales | 384 GB | De 384 a 432 GB | 3000 GB |
*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.
GPU NVIDIA A100
Para ejecutar GPU NVIDIA A100, debes usar el tipo de máquina optimizada para aceleradores A2.
Nota: Cada tipo de máquina A2 tiene un recuento fijo de GPU, de CPU virtuales y de tamaño de memoria.
A100 40 GB
Modelo de GPU | Tipo de máquina | GPU | Memoria de GPU* | CPU virtuales disponibles | Memoria disponible | Compatible con SSD local |
---|---|---|---|---|---|---|
NVIDIA A100 40 GB | a2-highgpu-1g |
1 GPU | 40 GB HBM2 | 12 CPU virtuales | 85 GB | Sí |
a2-highgpu-2g |
2 GPU | 80 GB HBM2 | 24 CPU virtuales | 170 GB | Sí | |
a2-highgpu-4g |
4 GPU | 160 GB HBM2 | 48 CPU virtuales | 340 GB | Sí | |
a2-highgpu-8g |
8 GPU | 320 GB HBM2 | 96 CPU virtuales | 680 GB | Sí | |
a2-megagpu-16g |
16 GPU | 640 GB HBM2 | 96 CPU virtuales | 1,360 GB | Sí |
A100 80 GB
Modelo de GPU | Tipo de máquina | GPU | Memoria de GPU* | CPU virtuales disponibles | Memoria disponible | Compatible con SSD local |
---|---|---|---|---|---|---|
NVIDIA A100 80 GB | a2-ultragpu-1g |
1 GPU | 80 GB HBM2e | 12 CPU virtuales | 170 GB | Por paquetes (375 GB) |
a2-ultragpu-2g |
2 GPU | 160 GB HBM2e | 24 CPU virtuales | 340 GB | Por paquetes (750 GB) | |
a2-ultragpu-4g |
4 GPU | HBM2e de 320 GB | 48 CPU virtuales | 680 GB | Por paquetes (1.5 TB) | |
a2-ultragpu-8g |
8 GPU | 640 GB HBM2e | 96 CPU virtuales | 1,360 GB | Por paquetes (3 TB) |
*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.
GPU NVIDIA T4
Las VM con una cantidad menor de GPU están limitadas a una cantidad máxima de CPU virtuales. En general, una cantidad mayor de GPU te permite crear instancias con mayores cantidades de CPU virtuales y de memoria.
Modelo de GPU | Tipo de máquina | GPU | Memoria de GPU* | CPU virtuales disponibles | Memoria disponible | Compatible con SSD local |
---|---|---|---|---|---|---|
NVIDIA® T4: | Serie de máquinas N1, excepto N1 con núcleo compartido | 1 GPU | 16 GB GDDR6 | De 1 a 48 CPU virtuales | De 1 a 312 GB | Sí |
2 GPU | GDDR6 de 32 GB | De 1 a 48 CPU virtuales | De 1 a 312 GB | Sí | ||
4 GPU | GDDR6 de 64 GB | De 1 a 96 CPU virtuales | De 1 a 624 GB | Sí |
*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.
GPU NVIDIA P4
Para las GPUs P4, el SSD local solo es compatible en regiones seleccionadas. Consulta Disponibilidad de SSD local por regiones y zonas de GPU.
Modelo de GPU | Tipo de máquina | GPU | Memoria de GPU* | CPU virtuales disponibles | Memoria disponible | Compatible con SSD local |
---|---|---|---|---|---|---|
NVIDIA P4 | Serie de máquinas N1, excepto N1 con núcleo compartido | 1 GPU | GDDR5 de 8 GB | De 1 a 24 CPU virtuales | De 1 a 156 GB | Sí |
2 GPU | GDDR5 de 16 GB | De 1 a 48 CPU virtuales | De 1 a 312 GB | Sí | ||
4 GPU | GDDR5 de 32 GB | De 1 a 96 CPU virtuales | De 1 a 624 GB | Sí |
*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.
GPU NVIDIA V100
En el caso de las GPU V100, el SSD local solo se admite en regiones seleccionadas. Consulta Disponibilidad de SSD local por regiones y zonas de GPU.
Modelo de GPU | Tipo de máquina | GPU | Memoria de GPU* | CPU virtuales disponibles | Memoria disponible | Compatible con SSD local |
---|---|---|---|---|---|---|
NVIDIA V100 | Serie de máquinas N1, excepto N1 con núcleo compartido | 1 GPU | HBM2 de 16 GB | De 1 a 12 CPU virtuales | De 1 a 78 GB | Sí |
2 GPU | HBM2 de 32 GB | De 1 a 24 CPU virtuales | De 1 a 156 GB | Sí | ||
4 GPU | 64 GB HBM2 | De 1 a 48 CPU virtuales | De 1 a 312 GB | Sí | ||
8 GPU | 128 GB de HBM2 | De 1 a 96 CPU virtuales | De 1 a 624 GB | Sí |
*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.
GPU NVIDIA P100
En algunas GPU P100, la CPU y la memoria máximas disponibles para algunas configuraciones dependen de la zona en la que se ejecuta el recurso de GPU.
Modelo de GPU | Tipo de máquina | GPU | Memoria de GPU* | CPU virtuales disponibles | Memoria disponible | Compatible con SSD local |
---|---|---|---|---|---|---|
NVIDIA P100 | Serie de máquinas N1, excepto N1 con núcleo compartido | 1 GPU | HBM2 de 16 GB | De 1 a 16 CPU virtuales | De 1 a 104 GB | Sí |
2 GPU | HBM2 de 32 GB | De 1 a 32 CPU virtuales | De 1 a 208 GB | Sí | ||
4 GPU | 64 GB HBM2 | De 1 a 64 CPU virtuales De 1 a 96 CPU virtuales |
De 1 a 208 GB De 1 a 624 GB |
Sí |
*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.
GPU NVIDIA K80
Las placas NVIDIA K80 contienen dos GPU cada una. El precio es por cada GPU K80, no por placa.
Modelo de GPU | Tipo de máquina | GPU | Memoria de GPU* | CPU virtuales disponibles | Memoria disponible | Compatible con SSD local |
---|---|---|---|---|---|---|
NVIDIA K80 | Serie de máquinas N1, excepto N1 con núcleo compartido | 1 GPU | GDDR5 de 12 GB | De 1 a 8 CPU virtuales | De 1 a 52 GB | Sí |
2 GPU | GDDR5 de 24 GB | De 1 a 16 CPU virtuales | De 1 a 104 GB | Sí | ||
4 GPU | GDDR5 de 48 GB | De 1 a 32 CPU virtuales | De 1 a 208 GB | Sí | ||
8 GPU | GDDR5 de 96 GB | De 1 a 64 CPU virtuales | De 1 a 416 GB De 1 a 208 GB |
Sí |
*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.
Estaciones de trabajo virtuales (vWS) NVIDIA RTX para cargas de trabajo de gráficos
Si tienes cargas de trabajo de contenido gráfico alto, como la visualización 3D, puedes crear estaciones de trabajo virtuales que usen estaciones de trabajo virtuales (vWS) NVIDIA RTX (antes conocidas como NVIDIA GRID). Cuando creas una estación de trabajo virtual, se agrega de forma automática una licencia de estación de trabajo virtual (vWS) NVIDIA RTX a tu VM.
Para obtener información sobre los precios de las estaciones de trabajo virtuales, consulta la página de precios de GPU.
Para las cargas de trabajo de gráficos, los modelos de estación de trabajo virtual (vWS) NVIDIA RTX están disponibles en las siguientes etapas:
- Estaciones de trabajo virtuales NVIDIA L4:
nvidia-l4-vws
: Disponibilidad general - Estaciones de trabajo virtuales NVIDIA T4:
nvidia-tesla-t4-vws
: Disponibilidad general - Estaciones de trabajo virtuales NVIDIA P100:
nvidia-tesla-p100-vws
: Disponibilidad general - Estaciones de trabajo virtuales NVIDIA P4:
nvidia-tesla-p4-vws
: Disponibilidad general
GPUs de vWS NVIDIA L4
Modelo de GPU | Tipo de máquina | GPU | Memoria de GPU | CPU virtuales | Memoria predeterminada | Rango de memoria personalizado | Máximo SSD local admitido |
---|---|---|---|---|---|---|---|
Estación de trabajo virtual NVIDIA L4 | g2-standard-4 |
1 GPU | 24 GB GDDR6 | 4 CPUs virtuales | 16 GB | De 16 a 32 GB | 375 GB |
g2-standard-8 |
1 GPU | 24 GB GDDR6 | 8 CPUs virtuales | 32 GB | De 32 a 54 GB | 375 GB | |
g2-standard-12 |
1 GPU | 24 GB GDDR6 | 12 CPU virtuales | 48 GB | De 48 a 54 GB | 375 GB | |
g2-standard-16 |
1 GPU | 24 GB GDDR6 | 16 CPUs virtuales | 64 GB | De 54 a 64 GB | 375 GB | |
g2-standard-24 |
2 GPU | 48 GB GDDR6 | 24 CPU virtuales | 96 GB | De 96 a 108 GB | 750 GB | |
g2-standard-32 |
1 GPU | 24 GB GDDR6 | 32 CPU virtuales | 128 GB | De 96 a 128 GB | 375 GB | |
g2-standard-48 |
4 GPU | 96 GB GDDR6 | 48 CPU virtuales | 192 GB | De 192 a 216 GB | 1,500 GB | |
g2-standard-96 |
8 GPU | 192 GB GDDR6 | 96 CPUs virtuales | 384 GB | De 384 a 432 GB | 3000 GB |
*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.
GPUs de vWS NVIDIA T4
Modelo de GPU | Tipo de máquina | GPU | Memoria de GPU* | CPU virtuales disponibles | Memoria disponible | Compatible con SSD local |
---|---|---|---|---|---|---|
Estación de trabajo virtual NVIDIA T4 | Serie de máquinas N1, excepto N1 con núcleo compartido | 1 GPU | 16 GB GDDR6 | De 1 a 48 CPU virtuales | De 1 a 312 GB | Sí |
2 GPU | GDDR6 de 32 GB | De 1 a 48 CPU virtuales | De 1 a 312 GB | Sí | ||
4 GPU | GDDR6 de 64 GB | De 1 a 96 CPU virtuales | De 1 a 624 GB | Sí |
*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.
GPUs de vWS NVIDIA P4
Para las GPUs P4, el SSD local solo es compatible en regiones seleccionadas. Consulta Disponibilidad de SSD local por regiones y zonas de GPU.
Modelo de GPU | Tipo de máquina | GPU | Memoria de GPU* | CPU virtuales disponibles | Memoria disponible | Compatible con SSD local |
---|---|---|---|---|---|---|
Estación de trabajo virtual NVIDIA P4 | Serie de máquinas N1, excepto N1 con núcleo compartido | 1 GPU | GDDR5 de 8 GB | De 1 a 16 CPU virtuales | De 1 a 156 GB | Sí |
2 GPU | GDDR5 de 16 GB | De 1 a 48 CPU virtuales | De 1 a 312 GB | Sí | ||
4 GPU | GDDR5 de 32 GB | De 1 a 96 CPU virtuales | De 1 a 624 GB | Sí |
*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.
GPUs de vWS NVIDIA P100
Modelo de GPU | Tipo de máquina | GPU | Memoria de GPU* | CPU virtuales disponibles | Memoria disponible | Compatible con SSD local |
---|---|---|---|---|---|---|
Estación de trabajo virtual NVIDIA P100 | Serie de máquinas N1, excepto N1 con núcleo compartido | 1 GPU | HBM2 de 16 GB | De 1 a 16 CPU virtuales | De 1 a 104 GB | Sí |
2 GPU | HBM2 de 32 GB | De 1 a 32 CPU virtuales | De 1 a 208 GB | Sí | ||
4 GPU | 64 GB HBM2 | De 1 a 64 CPU virtuales De 1 a 96 CPU virtuales |
De 1 a 208 GB De 1 a 624 GB |
Sí |
*La memoria de GPU es la memoria disponible en un dispositivo de GPU que se puede usar para el almacenamiento temporal de datos. Es independiente de la memoria de la VM y está diseñado específicamente para manejar las demandas de ancho de banda más altas de tus cargas de trabajo de alto contenido gráfico.
Gráfico de comparación general
En la siguiente tabla, se describe el tamaño de la memoria de GPU, la disponibilidad de las funciones y los tipos de carga de trabajo ideales de diferentes modelos de GPU que están disponibles en Compute Engine.
Modelo de GPU | Memoria | Interconnect | Compatibilidad con la estación de trabajo virtual (vWS) NVIDIA RTX | Mejor uso para |
---|---|---|---|---|
H100 80 GB | HBM3 de 80 GB a 3.35 TBps | Malla completa de NVLink a 900 GBps | Modelos grandes con tablas de datos enormes para el entrenamiento de AA, la inferencia, la HPC, BERT y DLRM | |
A100 80 GB | HBM2e de 80 GB a 1.9 TBps | Malla completa de NVLink a 600 GBps | Modelos grandes con tablas de datos enormes para el entrenamiento de AA, la inferencia, la HPC, BERT y DLRM | |
A100 40 GB | HBM2 de 40 GB a 1.6 TBps | Malla completa de NVLink a 600 GBps | AA, entrenamiento, inferencia, HPC | |
L4 | GDDR6 de 24 GB a 300 GBps | No disponible | Inferencia de ML, entrenamiento, estaciones de trabajo de visualización remota, transcodificación de video, HPC | |
T4 | GDDR6 de 16 GB a 320 GBps | No disponible | Inferencia de ML, entrenamiento, estaciones de trabajo de visualización remota, transcodificación de video | |
V100 | HBM2 de 16 GB a 900 GBps | NVLink Ring a 300 GBps | AA, entrenamiento, inferencia, HPC | |
P4 | GDDR5 de 8 GB a 192 GBps | No disponible | Estaciones de trabajo de visualización remota, inferencia ML y transcodificación de video | |
P100 | HBM2 de 16 GB a 732 GBps | No disponible | AA, entrenamiento, inferencia, HPC, estaciones de trabajo de visualización remota | |
K80EOL | GDDR5 de 12 GB a 240 GBps | No disponible | AA inferencia, entrenamiento, HPC |
Si deseas comparar los precios de GPU para los diferentes modelos y regiones de GPU disponibles en Compute Engine, consulta los precios de GPU.
Gráfico de comparación de rendimiento
En la siguiente tabla, se describen las especificaciones de rendimiento de diferentes modelos de GPU que están disponibles en Compute Engine.
Rendimiento de procesamiento
Modelo de GPU | FP64 | FP32 | FP16 | INT8 |
---|---|---|---|---|
H100 80 GB | 34 TFLOPS* | 67 TFLOPS* | ||
A100 80 GB | 9.7 TFLOPS | 19.5 TFLOPS | ||
A100 40 GB | 9.7 TFLOPS | 19.5 TFLOPS | ||
L4 | 0.5 TFLOPS* | 30.3 TFLOPS | ||
T4 | 0.25 TFLOPS* | 8.1 TFLOPS | ||
V100 | 7.8 TFLOPS | 15.7 TFLOPS | ||
P4 | 0.2 TFLOPS* | 5.5 TFLOPS | 22 TOPS† | |
P100 | 4.7 TFLOPS | 9.3 TFLOPS | 18.7 TFLOPS | |
K80EOL | 1.46 TFLOP | 4.37 TFLOPS |
*Para permitir que el código FP64 funcione correctamente, se incluye una pequeña cantidad de unidades de hardware FP64 en la arquitectura de GPU T4, L4 y P4.
†Teraoperaciones por segundo.
Rendimiento del núcleo de tensor
Modelo de GPU | FP64 | TF32 | FP16/FP32 de precisión mixta | INT8 | INT4 | FP8 |
---|---|---|---|---|---|---|
H100 80 GB | 67 TFLOPS* | 989 TFLOPS† | 1,979 TFLOPS*, † | 3,958 TOPS† | 3,958 TFLOPS† | |
A100 80 GB | 19.5 TFLOPS | 156 TFLOPS | 312 TFLOPS* | 624 TOPS | 1248 TOPS | |
A100 40 GB | 19.5 TFLOPS | 156 TFLOPS | 312 TFLOPS* | 624 TOPS | 1248 TOPS | |
L4 | 120 TFLOPS† | 242 TFLOPS*, † | 485 TOPS† | 485 TFLOPS† | ||
T4 | 65 TFLOPS | 130 TOPS | 260 TOPS | |||
V100 | 125 TFLOPS | |||||
P4 | ||||||
P100 | ||||||
K80EOL |
* Para el entrenamiento de precisión mixta, las GPU NVIDIA H100, A100 y L4
también admiten el tipo de datos bfloat16
.
† Para las GPU H100 y L4, se admite la dispersión estructural, que puedes usar para duplicar el valor de rendimiento. Los valores que se muestran están con dispersión. Las especificaciones son la mitad inferior sin dispersión.
Próximos pasos
- Para obtener más información sobre las GPU en Compute Engine, consulta Acerca de las GPU.
- Revisa la disponibilidad de las regiones y zonas de GPU.
- Obtén información sobre los precios de GPU.