Tipos de máquina de GPU

É possível usar GPUs no Compute Engine para acelerar cargas de trabalho específicas nas VMs, como aprendizado de máquina (ML) e processamento de dados. Para usar GPUs, implante uma VM otimizada para aceleradores com GPUs anexadas ou anexe GPUs a uma VM N1 de uso geral.

O Compute Engine fornece GPUs para as VMs no modo de passagem. Com elas, as VMs têm controle direto sobre as GPUs e a memória associada.

Para mais informações sobre GPUs no Compute Engine, consulte Sobre GPUs.

Se você tiver cargas de trabalho com muitos gráficos, como visualização em 3D, renderização em 3D ou aplicativos virtuais, será possível usar estações de trabalho virtuais NVIDIA RTX (antes conhecidas como NVIDIA GRID).

Este documento apresenta uma visão geral das diferentes VMs de GPU disponíveis no Compute Engine.

Para ver as regiões e zonas disponíveis para GPUs no Compute Engine, consulte Regiões de GPUs e disponibilidade de zonas.

GPUs para cargas de trabalho computacionais

Para cargas de trabalho computacionais, as GPUs são compatíveis com os seguintes tipos de máquina:

  • VMs A3: essas VMs têm GPUs NVIDIA H100 de 80 GB anexadas automaticamente.
  • VMs A2: essas VMs têm GPUs NVIDIA A100 de 80 GB ou NVIDIA A100 de 40 GB anexadas automaticamente.
  • VMs G2: essas VMs têm GPUs NVIDIA L4 anexadas automaticamente.
  • VMs N1: para essas VMs, é possível anexar os seguintes modelos de GPU: NVIDIA T4, NVIDIA V100, NVIDIA P100 ou NVIDIA P4.

Série de máquinas A3

Para usar GPUs NVIDIA H100 de 80 GB, é necessário usar uma máquina otimizada para aceleradores A3. Cada tipo de máquina A3 tem uma contagem de GPU, vCPU e tamanho de memória fixos.

A série de máquinas A3 está disponível em três tipos:

  • A3 Mega: esses tipos de máquina têm GPUs H100 de 80 GB (nvidia-h100-mega-80gb) e oferecem o melhor desempenho de rede. Eles são ideais para as cargas de trabalho de treinamento mais exigentes e em grande escala.
  • A3 High: esses tipos de máquina têm GPUs H100 de 80 GB (nvidia-h100-80gb) e são adequados para tarefas de treinamento e veiculação de modelos de IA grandes.
  • A3 Edge: esses tipos de máquina têm GPUs H100 de 80 GB (nvidia-h100-80gb), foram projetados especificamente para veiculação e estão disponíveis em um conjunto limitado de regiões.

A3 Mega

Tipo de máquina Contagem de GPUs Memória da GPU*
(GB HBM3)		 Contagem de vCPU† Memória da VM (GB) SSD local anexado (GiB) Contagem de NICs físicas Largura de banda máxima da rede (Gbps)‡ Protocolo de rede
a3-megagpu-8g 8 640 208 1.872 6.000 9 1.800 GPUDirect-TCPXO

A3 Alto

Ao provisionar tipos de máquina a3-highgpu-1g, a3-highgpu-2g ou a3-highgpu-4g, é necessário usar VMs do Spot ou um recurso que use o Dynamic Workload Scheduler (DWS), como solicitações de redimensionamento em um MIG. Para instruções detalhadas sobre essas opções, consulte o seguinte:
Tipo de máquina Contagem de GPUs Memória da GPU*
(GB HBM3)		 Contagem de vCPU† Memória da VM (GB) SSD local anexado (GiB) Contagem de NICs físicas Largura de banda máxima da rede (Gbps)‡ Protocolo de rede
a3-highgpu-1g 1 80 26 234 750 1 25 GPUDirect-TCPX
a3-highgpu-2g 2 160 52 468 1.500 1 50 GPUDirect-TCPX
a3-highgpu-4g 4 320 104 936 3.000 1 100 GPUDirect-TCPX
a3-highgpu-8g 8 640 208 1.872 6.000 5 1.000 GPUDirect-TCPX

A3 Edge

Tipo de máquina Contagem de GPUs Memória da GPU*
(GB HBM3)		 Contagem de vCPU† Memória da VM (GB) SSD local anexado (GiB) Contagem de NICs físicas Largura de banda máxima da rede (Gbps)‡ Protocolo de rede
a3-edgegpu-8g 8 640 208 1.872 6.000 5
  • 800: para asia-south1 e northamerica-northeast2
  • 400: para todas as outras regiões do A3 Edge
 GPUDirect-TCPX

*A memória da GPU é a memória em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da VM e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
†Uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU.
‡A largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Consulte Largura de banda de rede.

Série de máquina A2

Para usar GPUs NVIDIA A100 no Google Cloud, é necessário implantar uma máquina otimizada para aceleradores A2. Cada tipo de máquina A2 tem uma contagem de GPU fixa, uma contagem de vCPU e um tamanho de memória.

A série de máquinas A2 está disponível em dois tipos:

  • A2 Ultra: esses tipos de máquina têm GPUs A100 de 80 GB (nvidia-a100-80gb) e discos SSD locais conectados.
  • A2 Standard: esses tipos de máquina têm GPUs A100 de 40 GB (nvidia-tesla-a100) anexadas.

A2 Ultra

Tipo de máquina Contagem de GPUs Memória da GPU*
(GB HBM3)		 Contagem de vCPU† Memória da VM (GB) SSD local anexado (GiB) Largura de banda máxima da rede (Gbps)‡
a2-ultragpu-1g 1 80 12 170 375 24
a2-ultragpu-2g 2 160 24 340 750 32
a2-ultragpu-4g 4 320 48 680 1.500 50
a2-ultragpu-8g 8 640 96 1.360 3.000 100

A2 Padrão

Tipo de máquina Contagem de GPUs Memória da GPU*
(GB HBM3)		 Contagem de vCPU† Memória da VM (GB) SSD local anexado (GiB) Largura de banda máxima da rede (Gbps)‡
a2-highgpu-1g 1 40 12 85 Sim 24
a2-highgpu-2g 2 80 24 170 Sim 32
a2-highgpu-4g 4 160 48 340 Sim 50
a2-highgpu-8g 8 320 96 680 Sim 100
a2-megagpu-16g 16 640 96 1.360 Sim 100

*A memória da GPU é a memória disponível em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da VM e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Série de máquinas G2

Para usar GPUs NVIDIA L4 (nvidia-l4 ou nvidia-l4-vws), é necessário implantar uma máquina otimizada para acelerador G2.

Cada tipo de máquina G2 tem um número fixo de GPUs NVIDIA L4 e vCPUs anexadas. Cada tipo de máquina G2 também tem uma memória padrão e um intervalo de memória personalizado. O intervalo de memória personalizado define a quantidade de memória que pode ser alocada à VM para cada tipo de máquina. É possível especificar a memória personalizada durante a criação da VM.

Tipo de máquina Contagem de GPUs Memória da GPU* (GB GDDR6) Contagem de vCPU† Memória padrão da VM (GB) Intervalo de memória personalizada da VM (GB) Suporte máximo para SSD local (GiB) Largura de banda máxima da rede (Gbps)‡
g2-standard-4 1 24 4 16 16 a 32 375 10
g2-standard-8 1 24 8 32 32 a 54 375 16
g2-standard-12 1 24 12 48 48 a 54 375 16
g2-standard-16 1 24 16 64 54 a 64 375 32
g2-standard-24 2 48 24 96 96 a 108 750 32
g2-standard-32 1 24 32 128 96 a 128 375 32
g2-standard-48 4 96 48 192 192 a 216 1.500 50
g2-standard-96 8 192 96 384 384 a 432 3.000 100

*A memória da GPU é a memória disponível em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da VM e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Série de máquinas N1

É possível anexar os seguintes modelos de GPU a um tipo de máquina N1, com exceção do tipo de máquina N1 com núcleo compartilhado.

As VMs N1 com números mais baixos de GPUs estão limitadas a um número máximo de vCPUs. Em geral, um número maior de GPUs possibilita a criação de instâncias de VM com um número maior de vCPUs e memória.

GPUs N1+T4

É possível anexar GPUs NVIDIA T4 a VMs N1 de uso geral com as seguintes configurações de VM.

Tipo de acelerador Contagem de GPUs Memória da GPU* (GB GDDR6) Contagem de vCPU Memória da VM (GB) Compatível com SSD local
nvidia-tesla-t4 ou
nvidia-tesla-t4-vws 		1 16 1 a 48 1 a 312 Sim
2 32 1 a 48 1 a 312 Sim
4 64 1 a 96 1 a 624 Sim

*A memória da GPU é a memória disponível em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da VM e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

GPUs N1+P4

É possível anexar GPUs NVIDIA P4 a VMs N1 de uso geral com as seguintes configurações de VM.

Tipo de acelerador Contagem de GPUs Memória da GPU* (GB GDDR5) Contagem de vCPU Memória da VM (GB) Suporte a SSD local†
nvidia-tesla-p4 ou
nvidia-tesla-p4-vws 		1 8 1 a 24 1 a 156 Sim
2 16 1 a 48 1 a 312 Sim
4 32 1 a 96 1 a 624 Sim

*A memória da GPU é a memória disponível em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da VM e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

†Para VMs com GPUs NVIDIA P4 anexadas, os discos SSD locais têm suporte apenas nas zonas us-central1-c e northamerica-northeast1-b.

GPUs N1+V100

É possível anexar GPUs NVIDIA V100 a VMs N1 de uso geral com as seguintes configurações de VM.

Tipo de acelerador Contagem de GPUs Memória da GPU* (GB HBM2) Contagem de vCPU Memória da VM (GB) Suporte a SSD local†
nvidia-tesla-v100 1 16 1 a 12 1 a 78 Sim
2 32 1 a 24 1 a 156 Sim
4 64 1 a 48 1 a 312 Sim
8 128 1 a 96 1 a 624 Sim

*A memória da GPU é a memória disponível em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da VM e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.
†Para VMs com GPUs NVIDIA V100 anexadas, os discos SSD locais não têm suporte no us-east1-c.

GPUs N1+P100

É possível anexar GPUs NVIDIA P100 a VMs N1 de uso geral com as seguintes configurações de VM.

Para algumas GPUs NVIDIA P100, a CPU máxima e a memória disponível para algumas configurações dependem da zona em que o recurso da GPU está sendo executado.

Tipo de acelerador Contagem de GPUs Memória da GPU* (GB HBM2) Contagem de vCPU Memória da VM (GB) Compatível com SSD local
nvidia-tesla-p100 ou
nvidia-tesla-p100-vws 		1 16 1 a 16 1 a 104 Sim
2 32 1 a 32 1 a 208 Sim
4 64

De 1 a 64
(us-east1-c, europe-west1-d, europe-west1-b)

1 a 96
(todas as zonas P100)

De 1 a 208
(us-east1-c, europe-west1-d, europe-west1-b)

De 1 a 624
(todas as zonas P100)

 Sim

*A memória da GPU é a memória disponível em um dispositivo GPU que pode ser usada para armazenamento temporário de dados. Ela é separada da memória da VM e foi projetada especificamente para lidar com as demandas de largura de banda mais altas das cargas de trabalho com uso intensivo de gráficos.

Estações de trabalho virtuais (vWS) NVIDIA RTX para cargas de trabalho de gráficos

Se você tiver cargas de trabalho com muitos gráficos, como a visualização em 3D, será possível criar estações de trabalho virtuais que usam estações de trabalho virtuais (vWS) NVIDIA RTX (antes conhecidas como NVIDIA GRID). Quando você cria uma estação de trabalho virtual, uma licença da estação de trabalho virtual NVIDIA RTX (vWS) é adicionada automaticamente à VM.

Para informações sobre preços de estações de trabalho virtuais, consulte a página de preços da GPU.

Para cargas de trabalho de gráficos, os modelos de estação de trabalho virtual NVIDIA RTX (vWS) estão disponíveis:

  • Série de máquinas G2: para tipos de máquinas G2, é possível ativar estações de trabalho virtuais NVIDIA L4 (vWS): nvidia-l4-vws

  • Série de máquinas N1: para tipos de máquinas N1, é possível ativar as seguintes estações de trabalho virtuais:

    • NVIDIA T4 Virtual Workstations: nvidia-tesla-t4-vws
    • NVIDIA P100 Virtual Workstations: nvidia-tesla-p100-vws
    • NVIDIA P4 Virtual Workstations: nvidia-tesla-p4-vws

Gráfico de comparação geral

A tabela a seguir descreve o tamanho da memória da GPU, a disponibilidade do recurso e os tipos de carga de trabalho ideais nos diferentes modelos de GPU disponíveis no Compute Engine.

Modelo de GPU Memória da GPU Interconexão Compatibilidade com NVIDIA RTX Virtual Workstation (vWS) Melhor aplicação
H100 80GB 80 GB HBM3 a 3,35 TBps Malha completa NVLink com 900 GBps Modelos grandes com tabelas de dados enormes para treinamento de ML, inferência, HPC, BERT e DLRM
A100 80 GB 80 GB HBM2e a 1,9 TBps NVLink Full Mesh a 600 GBps Modelos grandes com tabelas de dados enormes para treinamento de ML, inferência, HPC, BERT e DLRM
A100 40 GB 40 GB HBM2 a 1,6 TBps NVLink Full Mesh a 600 GBps Treinamento de ML, inferência, HPC
L4 24 GB GDDR6 a 300 GBps N/A Inferência de ML, treinamento, estações de trabalho de visualização remota, transcodificação de vídeos
T4 16 GB GDDR6 a 320 GBps N/A Inferência de ML, treinamento, estações de trabalho de visualização remota, transcodificação de vídeos
V100 16 GB HBM2 a 900 GBps NVLink Ring com 300 GBps Treinamento de ML, inferência, HPC
P4 8 GB GDDR5 a 192 GBps N/A Estações de trabalho de visualização remota, inferência de ML e transcodificação de vídeos
P100 16 GB HBM2 a 732 GBps N/A Treinamento de ML, inferência, HPC, estações de trabalho de visualização remota

Para comparar os preços de GPU para os diferentes modelos e regiões de GPU disponíveis no Compute Engine, consulte o sistema de preços de GPU.

Gráfico de comparação de desempenho

A tabela a seguir descreve as especificações de desempenho de diferentes modelos de GPU disponíveis no Compute Engine.

Desempenho de computação

Modelo de GPU FP64 FP32 FP16 INT8
H100 80GB 34 TFLOPS 67 TFLOPS
A100 80 GB 9,7 TFLOPS 19,5 TFLOPS
A100 40 GB 9,7 TFLOPS 19,5 TFLOPS
L4 0.5 TFLOPS* 30.3 TFLOPS
T4 0,25 TFLOPS* 8,1 TFLOPS
V100 7,8 TFLOPS 15,7 TFLOPS
P4 0,2 TFLOPS* 5,5 TFLOPS 22 TOPS†
P100 4,7 TFLOPS 9,3 TFLOPS 18,7 TFLOPS

*Para que o código FP64 funcione corretamente, está incluído na arquitetura da GPU T4, L4 e P4 um pequeno número de unidades de hardware FP64.
†TeraOperações por segundo.

Desempenho do Tensor Core

Modelo de GPU FP64 TF32 FP16/FP32 de precisão mista INT8 INT4 FP8
H100 80GB 67 TFLOPS 989 TFLOPS† 1,979 TFLOPS*, † 3,958 TOPS† 3,958 TFLOPS†
A100 80 GB 19,5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 TOPS 1248 TOPS
A100 40 GB 19,5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 TOPS 1248 TOPS
L4 120 TFLOPS† 242 TFLOPS*, † 485 TOPS† 485 TFLOPS†
T4 65 TFLOPS 130 TOPS 260 TOPS
V100 125 TFLOPS
P4
P100

*Para treinamento de precisão mista, as GPUs NVIDIA H100, A100 e L4 também são compatíveis com o tipo de dados bfloat16.
†Para GPUs H100 e L4, há compatibilidade com a esparsidade estrutural, que pode ser usada para dobrar o valor do desempenho. Os valores mostrados são com esparsidade. As especificações são um meio inferiores e sem esparsidade.

A seguir