Família de máquinas com otimização de acelerador

A família de máquinas com otimização para aceleradores foi projetada pelo Google Cloud para oferecer o desempenho e a eficiência necessários às cargas de trabalho aceleradas por GPU, como inteligência artificial (IA), machine learning (ML) e computação de alto desempenho (HPC).

A família de máquinas com otimização para aceleradores está disponível nas seguintes séries de máquinas: A3, A2 e G2. Cada tipo de máquina em uma série tem um modelo específico e um número de GPUs NVIDIA anexadas. Também é possível anexar alguns modelos de GPU a tipos de máquinas de uso geral N1.

Recomendação de série de máquinas por tipo de carga de trabalho

Na seção a seguir, apresentamos as séries de máquinas recomendadas com base nas cargas de trabalho da GPU.

Grandes modelos de IA

Tipo de carga de trabalho	Tamanho original	Boa alternativa
Treinamento de vários servidores (distribuídos)	A3	A2
Inferência	A3, A2

Modelos convencionais

Tipo de carga de trabalho	Tamanho original	Boa alternativa (na ordem recomendada)
Treinamento de vários servidores (distribuídos)	A3	A2 G2 N1+V100
Treinamento de servidor único	A3, A2	G2 N1+V100
Inferência	G2	N1+T4 N1+V100

Cargas de trabalho com uso intensivo de gráficos

Tipo de carga de trabalho	Melhor ajuste (na ordem recomendada)
Streaming e transcodificação de vídeo, estações de trabalho de virtuais remotas, gêmeos digitais	G2 N1+T4

Computação de alto desempenho

Para cargas de trabalho de computação de alto desempenho, qualquer série de máquinas otimizada para aceleradores funciona bem. O melhor ajuste depende da quantidade de computação que precisa ser transferida para a GPU.

Preços e desconto

Todos os tipos de máquina com otimização para aceleradores são compatíveis com as seguintes opções de desconto e consumo:

Os tipos de máquina com otimização para aceleradores são faturados por suas GPUs anexadas, vCPU predefinida, memória e SSD local empacotado (se aplicável). Para mais informações sobre preços de VMs otimizadas para aceleradores, consulte a seção Família de tipos de máquinas otimizados para aceleradores na página de preços de instâncias de VM.

A série de máquinas A3

A série de máquinas A3 está disponível em um tipo de máquina padrão e tem 208 vCPUs e até 1.872 GB de memória. Essa série de máquinas é otimizada para uso intenso de computação e memória, treinamento de ML vinculado à rede e cargas de trabalho de HPC.

A série de máquinas A3 também oferece os seguintes recursos:

Hardware de última geração: cada tipo de máquina A3 tem GPUs NVIDIA H100 anexadas, que oferecem 80 GB de memória por GPU e é ideal para transformadores grandes baseados em linguagem, bancos de dados e HPC.

Essa série de máquinas é criada com o processador escalonável Intel Xeon de 4a geração (Sapphire Rapids) e oferece até 3,3 GHz de frequência turbo máxima sustentada com um núcleo.
Escala NVLink líder do setor: as GPUs NVIDIA H100 fornecem largura de banda de GPU NVLink de pico de 450 GB/s, unidirecionalmente. Com a topologia de NVLink completa entre oito GPUs em um sistema, a largura de banda NVLink agregada é de até 7,2 TB/s. Essas GPUs podem ser usadas como um único acelerador de alto desempenho com espaço de memória unificado para fornecer até 25 petaFLOPS de capacidade de computação de IA/DL/ML e até 50 petaFLOPS de poder de computação de inferência.
Melhoria na velocidade de computação e na rede: as GPUs NVIDIA H100 oferecem uma velocidade de computação 2,5 vezes maior e largura de banda da rede da máquina virtual (VM) 10 vezes maior em comparação com as GPUs NVIDIA A100 da geração anterior.
Cada VM a3-highgpu-8g tem cinco placas de interface de rede física (NICs), quatro das quais compartilham o mesmo barramento PCIe (Peripheral Component Interconnect Express) e têm um alinhamento de acesso à memória não uniforme (NUMA) de um NIC por duas GPUs NVIDIA H100 de 80 GB. Essas quatro NICs físicas são ideais para comunicação dedicada de GPU para GPU de alta largura de banda. A outra NIC física reside em um barramento PCIe separado e é ideal para outras necessidades de rede. Cada placa de rede tem uma largura de banda máxima de 200 Gbps, que totaliza para uma largura de banda máxima de 1.000 Gbps (1 Tbps) por VM.
Melhoria no desempenho do cluster da GPU com GPUDirect-TCPX: o GPUDirect-TCPX aumenta o desempenho da rede ao permitir que os payloads dos pacotes de dados sejam transferidos diretamente da memória da GPU para a interface de rede.

Ao usar GPUDirect-TCPX, as VMs A3 oferecem a maior capacidade de processamento entre as VMs em um cluster quando comparadas aos tipos de máquina com otimização de acelerador A2 ou G2.

Para maximizar o desempenho do cluster da GPU com GPUDirect-TCPX, consulte os seguintes documentos:
- Para o Compute Engine, consulte Maximizar o desempenho da rede da GPU com GPUDirect-TCPX.
- Para o Google Kubernetes Engine, consulte Maximizar a largura de banda da GPU com GPUDirect-TCPX e várias redes.
Otimizações de virtualização: a topologia Express de interconexão de componentes periféricos (PCIe) das VMs do A3 fornece informações de localidade mais precisas que as cargas de trabalho podem usar para otimizar as transferências de dados.

As GPUs NVIDIA H100 também expõem a redefinição de nível de função (FLR) para recuperação graciosa de falhas e compatibilidade com operações atômicas para melhorias de simultaneidade em determinados cenários.
Armazenamento: 6 TB de SSD local são adicionados automaticamente a VMs criadas usando o tipo de máquina A3. O SSD local pode ser usado como discos de trabalho rápidos ou para alimentar dados nas GPUs, evitando os gargalos de E/S.

Você pode anexar até 257 TB de disco permanente a esses tipos de máquina nestas séries para aplicativos que exigem maior desempenho de armazenamento.
Suporte à política de posicionamento compacto: oferece mais controle sobre o posicionamento físico das suas VMs em data centers. Isso permite menor latência e maior largura de banda para a colocação de VMs em uma única zona de disponibilidade. A política de posicionamento compacto é compatível com até 96 VMs em um subconjunto de latência mais baixa da rede, dentro de uma determinada zona.

Tipos de disco compatíveis com A3

VMs A3 podem usar os seguintes tipos de armazenamento em blocos:

Disco permanente equilibrado (pd-balanced)
Disco permanente SSD (desempenho) (pd-ssd)
Hiperdisco extremo (hyperdisk-extreme)
Capacidade de processamento do hiperdisco (hyperdisk-throughput)
SSD local: adicionado automaticamente às VMs criadas usando o tipo de máquina A3

Limites de disco e capacidade

É possível usar uma combinação de volumes do Persistent Disk e Hyperdisk com uma VM, mas as restrições a seguir se aplicam:

O número combinado de volumes do Hyperdisk e Persistent Disk não pode exceder 128 por VM.
A capacidade total máxima de disco (em TiB) em todos os tipos de disco não pode exceder:
- Ao usar tipos de máquina com menos de 32 vCPUs:
  - 257 TiB para Persistent Disk ou Hyperdisk
  - 257 TiB para uma combinação de Persistent Disk e Hyperdisk
- Ao usar tipos de máquina com 32 ou mais vCPUs:
  - 257 TiB para Persistent Disk
  - 512 TiB para Hyperdisk ou para uma combinação de Persistent Disk e Hyperdisk

Para mais detalhes sobre esses limites, consulte Limites de capacidade do Hyperdisk por VM e Capacidade máxima do Persistent Disk.

Tipos de máquina A3 padrão

Esse tipo de máquina tem um número fixo de GPUs H100.

Tipos de máquina	Contagem de GPUs	vCPUs^*	Memória (GB)	Número máximo de discos por VM, em todos os discos^†	Total máximo de volumes de hiperdisco por VM	Tamanho total máximo do disco em todos os discos (TiB)^#	SSD local	Largura de banda de saída máxima (Gbps)^‡
`a3-highgpu-8g`	8	208	1872	128	Capacidade de processamento do hiperdisco-64 Hiperdisco extremo-8	512, incluindo até 257 TiB de disco permanente	Sim	1000

^*Uma vCPU é implementada como um único hiperthread de hardware em uma das plataformas de CPU disponíveis.
^†O uso de hiperdisco e disco permanente é cobrado separadamente do preço por tipo de máquina.
^‡A largura de banda de saída máxima não pode exceder o número informado. A largura de banda de saída real depende do endereço IP de destino e de outros fatores. Consulte Largura de banda de rede.
^#Na capacidade de processamento do hiperdisco, o tamanho máximo por volume é de 32 TiB. Para todos os outros volumes de Persistent Disk ou Hiperdisco, o tamanho máximo é de 64 TiB.

Limitações padrão A3

Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível no caso de VMs que usam tipos de máquina A3 padrão.
Só é possível usar tipos de máquina A3 padrão em determinadas regiões e zonas.
Não é possível usar discos permanentes regionais em VMs que usam tipos de máquina A3 padrão.
O tipo de máquina A3 padrão só está disponível na plataforma Sapphire Rapids.
Se a VM usar um tipo de máquina A3 padrão, não será possível alterar o tipo. Para usar outro tipo de máquina, é preciso criar uma nova VM.
Não é possível alterar nenhum outro tipo de máquina para o A3 padrão. Para usar um tipo de máquina A3 padrão, crie uma nova VM.
Os tipos de máquina A3 padrão não dão suporte a locatários individuais.
Não é possível executar os tipos de máquina A3 padrão em sistemas operacionais Windows.

A série de máquinas A2

A série de máquinas A2 está disponível nos tipos de máquina A2 padrão e A2 ultra. Esses tipos de máquina têm de 12 a 96 vCPUs e até 1.360 GB de memória.

A série de máquinas A2 também oferece os seguintes recursos:

GPUs NVIDIA anexadas: cada tipo de máquina A2 tem GPUs NVIDIA A100. Elas estão disponíveis nas opções A100 de 40 GB e A100 de 80 GB.
Escala do NVLink líder do setor que fornece GPU de pico para a largura de banda de GPU NVLink de 600 Gbps. Por exemplo, sistemas com 16 GPUs têm uma largura de banda NVLink agregada de até 9,6 TBps. Essas 16 GPUs podem ser usadas como um único acelerador de alto desempenho com espaço de memória unificado para fornecer até 10 petaFLOPS de capacidade de computação e até 20 petaFLOPS de capacidade de computação de inferência que podem ser usados para inteligência artificial, aprendizado profundo e cargas de trabalho de machine learning.
Velocidade de computação de última geração: as GPUs NVIDIA A100 anexadas oferecem melhoria de 10 vezes a velocidade de computação em comparação com as GPUs NVIDIA V100 da geração anterior.

Com a série de máquinas A2, você pode ter até 100 Gbps de largura de banda de rede.
Armazenamento: para discos de trabalho rápidos ou para inserir dados nas GPUs e evitar gargalos de E/S, os tipos de máquina A2 são compatíveis com SSD local da seguinte maneira:
- Para os tipos de máquina A2 padrão, é possível adicionar até 3 TB de SSD local.
- Para os tipos de ultramáquina A2, o SSD local é anexado automaticamente quando você cria a VM.
Também é possível anexar até 257 TB de armazenamento em disco permanente a VMs A2 para aplicativos que exigem esse desempenho de armazenamento maior.
Suporte à política de posicionamento compacto: oferece mais controle sobre o posicionamento físico das suas VMs em data centers. Isso permite menor latência e maior largura de banda para a colocação de VMs em uma única zona de disponibilidade. Para mais informações, consulte Reduzir a latência usando políticas de posicionamento compactas.

Tipos de disco compatíveis com A2

VMs A2 podem usar os seguintes tipos de armazenamento em blocos:

Disco permanente equilibrado (pd-balanced)
Disco permanente SSD (desempenho) (pd-ssd)
Disco permanente padrão (pd-standard)
SSD local: anexado automaticamente às VMs criadas usando os tipos de ultramáquina A2.

Tipos de máquina A2 padrão

Esses tipos de máquina têm um número fixo de GPUs A100 de 40 GB.

Tipos de máquina	Contagem de GPUs	vCPUs^*	Memória (GB)	Número máximo de volumes do Persistent Disk^†	Total máximo de disco permanente (TB)	SSD local	Largura de banda de saída máxima (Gbps)^‡
`a2-highgpu-1g`	1	12	85	128	257	Sim	24
`a2-highgpu-2g`	2	24	170	128	257	Sim	32
`a2-highgpu-4g`	4	48	340	128	257	Sim	50
`a2-highgpu-8g`	8	96	680	128	257	Sim	100
`a2-megagpu-16g`	16	96	1.360	128	257	Sim	100

Limitações padrão A2

Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível no caso de VMs que usam tipos de máquina A2 padrão.
Só é possível usar tipos de máquina padrão A2 em determinadas regiões e zonas.
Não é possível usar discos permanentes regionais em VMs que usam tipos de máquina A2 padrão.
Os tipos de máquina A2 padrão só estão disponíveis na plataforma Cascade Lake.
Se a VM usa um tipo de máquina padrão A2, só é possível trocar esse tipo A2 por outro tipo A2. Não é possível mudar para outro tipo de máquina. Para mais informações, consulte Modificar VMs otimizadas para aceleradores.
Não é possível usar o tipo de máquina padrão a2-megagpu-16g A2 em sistemas operacionais Windows. Ao usar sistemas operacionais Windows, escolha outro tipo de máquina A2.
Não é possível fazer um formato rápido dos SSDs locais anexados em VMs do Windows que usam tipos de máquina padrão A2. Para formatar esses SSDs locais, é preciso usar o utilitário diskpart e especificar format fs=ntfs label=tmpfs.
Os tipos de máquina A2 padrão não dão suporte a locatários individuais.

Tipos de máquina A2 ultra

Esses tipos de máquina têm um número fixo de GPUs A100 de 80 GB. O SSD local é anexado automaticamente às VMs criadas usando os tipos de ultramáquina A2.

Tipos de máquina	Contagem de GPUs	vCPUs^*	Memória (GB)	Número máximo de volumes do Persistent Disk^†	Total máximo em disco permanente (TB)	SSD local em pacote	Largura de banda de saída máxima (Gbps)^‡
`a2-ultragpu-1g`	1	12	170	128	257	375 GB	24
`a2-ultragpu-2g`	2	24	340	128	257	750 GB	32
`a2-ultragpu-4g`	4	48	680	128	257	1,5 TB	50
`a2-ultragpu-8g`	8	96	1.360	128	257	3 TB	100

Limitações da Ultra A2

Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível no caso de VMs que usam tipos de máquina A2 ultra.
Você só pode usar tipos de máquinas A2 ultra em determinadas regiões e zonas.
Não é possível usar discos permanentes regionais em VMs que usam tipos de máquina A2 ultra.
Os tipos de máquina A2 ultra só estão disponíveis na plataforma Cascade Lake.
Se a VM usa um tipo de máquina ultra A2, não é possível mudar o tipo de máquina. Se você precisar usar outro tipo de máquina ultra A2 ou qualquer outro tipo de máquina, crie uma nova VM.
Não é possível trocar nenhum tipo de máquina por um tipo de máquina A2 ultra. Se você precisar criar uma VM que use uma série de máquinas A2 ultra, crie uma nova VM.
Não é possível fazer um formato rápido dos SSDs locais anexados em VMs do Windows que usam tipos de máquina A2 ultra. Para formatar esses SSDs locais, é preciso usar o utilitário diskpart e especificar format fs=ntfs label=tmpfs.

A série de máquinas G2

A série de máquinas G2 está disponível em tipos de máquina padrão e tem de 4 a 96 vCPUs e até 432 GB de memória. Essa série de máquinas é otimizada para inferência e cargas de trabalho gráficas.

A série de máquinas G2 também oferece os seguintes recursos:

GPUs NVIDIA anexadas: cada tipo de máquina G2 tem GPUs NVIDIA L4.
Taxas de inferência aprimoradas: os tipos de máquina G2 oferecem suporte para a FP8 (ponto flutuante de 8 bits) tipo de dados que acelera as taxas de inferência de ML e reduz os requisitos de memória.
Desempenho gráfico de última geração: as GPUs NVIDIA L4 anexadas oferecem até três vezes mais performance usando gráficos de terceira geração. Núcleos de RT e tecnologia NVIDIA DLSS 3 (amostragem de aprendizado profundo).
Largura de banda de rede de alto desempenho: com a série de máquinas G2, é possível ter até 100 Gbps de largura de banda de rede.
Armazenamento: é possível adicionar até 3 TB de SSD local a VMs da G2. Isso pode ser usado como discos de trabalho rápidos ou para alimentar dados nas GPUs, evitando os gargalos de E/S.

Também é possível anexar volumes de hiperdisco e de disco permanente às VMs G2 para aplicativos que exigem mais armazenamento permanente. A capacidade máxima de armazenamento depende do número de vCPUs que a VM tem. Para mais detalhes, consulte Tipos de disco compatíveis.
Suporte à política de posicionamento compacto: oferece mais controle sobre o posicionamento físico das suas VMs em data centers. Isso permite menor latência e maior largura de banda para a colocação de VMs em uma única zona de disponibilidade. Para mais informações, consulte Reduzir a latência usando políticas de posicionamento compactas.

Tipos de disco compatíveis com a G2

As VMs G2 podem usar os seguintes tipos de armazenamento em blocos:

Disco permanente equilibrado (pd-balanced)
Disco permanente SSD (desempenho) (pd-ssd)
Capacidade de processamento do hiperdisco (hyperdisk-throughput)
SSD local