Visão geral da criação de uma instância com GPUs anexadas

Este documento fornece uma visão geral das etapas necessárias para criar uma instância do Compute Engine com unidades de processamento gráfico (GPUs) anexadas. Use GPUs para acelerar cargas de trabalho específicas, como machine learning e processamento de dados.

Também é possível usar alguns tipos de máquinas com GPU no AI Hypercomputer. O Hipercomputador de IA é um sistema de supercomputação otimizado para oferecer suporte às suas cargas de trabalho de inteligência artificial (IA) e machine learning (ML). Essa opção é recomendada para criar uma infraestrutura densamente alocada e otimizada para performance com integrações para o Google Kubernetes Engine (GKE) e os programadores do Slurm.

Para mais informações sobre GPUs no Compute Engine, consulte Sobre GPUs.

Selecione o modelo da GPU

Para ver uma lista dos modelos de GPU disponíveis, consulte Plataformas de GPU. Anote também o tipo de máquina aceito pelo modelo de GPU selecionado.

Para cada modelo, também pode ser útil revisar o seguinte:

Limitações

Além das restrições para todas as instâncias com GPUs, cada série de máquinas com GPUs anexadas tem as seguintes limitações:

Instâncias A4

  • Só é possível solicitar capacidade usando as opções de consumo aceitas para um tipo de máquina A4.
  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível para instâncias que usam um tipo de máquina A4.
  • Só é possível usar um tipo de máquina A4 em determinadas regiões e zonas.
  • Não é possível usar um disco permanente (regional ou zonal) em uma instância que usa um tipo de máquina A4.
  • O tipo de máquina A4 só está disponível na plataforma de CPU Emerald Rapids.
  • Não é possível mudar o tipo de máquina de uma instância atual para um tipo A4. Só é possível criar novas instâncias A4. Depois de criar uma instância usando um tipo de máquina A4, não é possível mudar o tipo.
  • Os tipos de máquina A4 não são compatíveis com locatário único.
  • Não é possível executar sistemas operacionais Windows em um tipo de máquina A4.

Instâncias A3 Ultra

  • Só é possível solicitar capacidade usando as opções de consumo aceitas para um tipo de máquina A3 Ultra.
  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível para instâncias que usam um tipo de máquina A3 ultra.
  • Só é possível usar um tipo de máquina A3 Ultra em determinadas regiões e zonas.
  • Não é possível usar um Persistent Disk (regional ou zonal) em uma instância que usa um tipo de máquina A3 Ultra.
  • O tipo de máquina A3 Ultra só está disponível na plataforma de CPU Emerald Rapids.
  • Não é possível mudar o tipo de máquina de uma instância atual para um tipo A3 Ultra. Só é possível criar novas instâncias A3-ultra. Depois de criar uma instância usando um tipo de máquina A3 Ultra, não é possível mudar o tipo de máquina.
  • Os tipos de máquina A3 Ultra não são compatíveis com locatário único.
  • Não é possível executar sistemas operacionais Windows em um tipo de máquina A3 Ultra.

Instâncias A3 Mega

  • Só é possível solicitar capacidade usando as opções de consumo aceitas para um tipo de máquina A3 Mega.
  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível para instâncias que usam um tipo de máquina A3 Mega.
  • Só é possível usar um tipo de máquina A3 Mega em determinadas regiões e zonas.
  • Não é possível usar um Persistent Disk regional em uma instância que usa um tipo de máquina A3 Mega.
  • O tipo de máquina A3 Mega só está disponível na plataforma de CPU Sapphire Rapids.
  • Não é possível mudar o tipo de máquina de uma instância atual para um tipo de máquina A3 mega. Só é possível criar novas instâncias A3-mega. Depois de criar uma instância usando um tipo de máquina A3 Mega, não é possível mudar o tipo de máquina.
  • Os tipos de máquina A3 Mega não dão suporte a locatário único.
  • Não é possível executar sistemas operacionais Windows em um tipo de máquina A3 Mega.

Instâncias A3 High

  • Só é possível solicitar capacidade usando as opções de consumo compatíveis para um tipo de máquina A3 High.
  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível para instâncias que usam um tipo de máquina A3 High.
  • Só é possível usar um tipo de máquina A3 High em determinadas regiões e zonas.
  • Não é possível usar Persistent Disk regional em uma instância que usa um tipo de máquina A3 High.
  • O tipo de máquina A3 High só está disponível na plataforma de CPU Sapphire Rapids.
  • Não é possível mudar o tipo de máquina de uma instância para um tipo de máquina A3 High. Só é possível criar novas instâncias A3-high. Depois de criar uma instância usando um tipo de máquina A3 High, não é possível mudar o tipo de máquina.
  • Os tipos de máquina A3 High não oferecem suporte a locatário único.
  • Não é possível executar sistemas operacionais Windows em um tipo de máquina A3 High.
  • Para os tipos de máquina a3-highgpu-1g, a3-highgpu-2g e a3-highgpu-4g, é necessário criar instâncias usando VMs spot ou um recurso que use o Dynamic Workload Scheduler (DWS), como solicitações de redimensionamento em um MIG. Para instruções detalhadas sobre qualquer uma dessas opções, consulte o seguinte:

Instâncias A3 Edge

  • Só é possível solicitar capacidade usando as opções de consumo aceitas para um tipo de máquina A3 Edge.
  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível para instâncias que usam um tipo de máquina A3 Edge.
  • Só é possível usar um tipo de máquina A3 Edge em determinadas regiões e zonas.
  • Não é possível usar um Persistent Disk regional em uma instância que usa um tipo de máquina A3 Edge.
  • O tipo de máquina A3 Edge só está disponível na plataforma de CPU Sapphire Rapids.
  • Não é possível mudar o tipo de máquina de uma instância atual para um tipo de máquina A3 Edge. Só é possível criar novas instâncias A3-edge. Depois de criar uma instância usando um tipo de máquina A3 Edge, não é possível mudar o tipo de máquina.
  • Os tipos de máquina A3 Edge não são compatíveis com locatário único.
  • Não é possível executar sistemas operacionais Windows em um tipo de máquina A3 Edge.

Instâncias A2 padrão

  • Só é possível solicitar capacidade usando as opções de consumo aceitas para um tipo de máquina padrão A2.
  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível para instâncias que usam um tipo de máquina A2 padrão.
  • Só é possível usar um tipo de máquina padrão A2 em determinadas regiões e zonas.
  • Os tipos de máquina A2 padrão só estão disponíveis na plataforma Cascade Lake.
  • Se a instância usa um tipo de máquina padrão A2, só é possível trocar esse tipo A2 padrão por outro tipo A2 padrão. Não é possível mudar para outro tipo de máquina. Para mais informações, consulte Modificar instâncias otimizadas para aceleradores.
  • Não é possível usar o sistema operacional Windows com tipos de máquina padrão a2-megagpu-16g A2. Ao usar sistemas operacionais Windows, escolha outro tipo de máquina A2.
  • Não é possível fazer um formato rápido dos SSDs locais anexados em instâncias do Windows que usam tipos de máquina padrão A2. Para formatar esses SSDs locais, é preciso usar o utilitário diskpart e especificar format fs=ntfs label=tmpfs.
  • Os tipos de máquina A2 padrão não dão suporte a locatário único.

Instâncias A2 Ultra

  • Você só pode solicitar capacidade usando as opções de consumo aceitas para um tipo de máquina A2 Ultra.
  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível para instâncias que usam um tipo de máquina A2 ultra.
  • Você só pode usar um tipo de máquina A2 ultra em determinadas regiões e zonas.
  • Os tipos de máquina A2 ultra só estão disponíveis na plataforma Cascade Lake.
  • Se a instância usa um tipo de máquina ultra A2, não é possível mudar o tipo de máquina. Se você precisar usar outro tipo de máquina ultra A2 ou qualquer outro tipo de máquina, crie uma nova instância.
  • Não é possível trocar nenhum tipo de máquina por um tipo de máquina A2 ultra. Se você precisar de uma instância que use um tipo de máquina A2 Ultra, crie uma nova instância.
  • Não é possível fazer um formato rápido dos SSDs locais anexados em instâncias do Windows que usam tipos de máquina A2 ultra. Para formatar esses SSDs locais, é preciso usar o utilitário diskpart e especificar format fs=ntfs label=tmpfs.

Instâncias G4

  • Só é possível solicitar capacidade usando as opções de consumo compatíveis para um tipo de máquina G4.
  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível para instâncias que usam um tipo de máquina G4.
  • Só é possível usar um tipo de máquina G4 em determinadas regiões e zonas.
  • Não é possível usar o Persistent Disk (regional ou zonal) em uma instância que usa um tipo de máquina G4.
  • O tipo de máquina G4 está disponível apenas na plataforma AMD EPYC Turin de 5ª geração.
  • Só é possível criar instâncias sob demanda. Reservas, início flexível ou VMs spot não são aceitos. Para começar a usar as instâncias G4, entre em contato com sua equipe de conta do Google.
  • Só é possível criar instâncias G4 em us-central1-b.
  • Só é possível usar os tipos de disco Hyperdisk Balanced e Hyperdisk Extreme em uma instância que usa um tipo de máquina G4.
  • Não é possível aplicar descontos por compromisso de uso a instâncias que usam um tipo de máquina G4.
  • Não é possível criar instâncias de VM confidencial que usam um tipo de máquina G4.
  • Não é possível criar instâncias G4 em nós de locatário individual.
  • Não é possível criar instâncias G4 que usam a estação de trabalho virtual NVIDIA RTX (vWS).

Instâncias G2

  • Só é possível solicitar capacidade usando as opções de consumo compatíveis para um tipo de máquina G2.
  • Você não recebe descontos por uso prolongado e descontos por compromisso de uso flexível para instâncias que usam um tipo de máquina G2.
  • Só é possível usar um tipo de máquina G2 em determinadas regiões e zonas.
  • Os tipos de máquina G2 só estão disponíveis na plataforma Cascade Lake.
  • O disco permanente padrão (pd-standard) não é compatível com instâncias que usam o tipo de máquina G2. Para saber quais são os tipos de disco compatíveis, consulte Tipos de disco compatíveis com a G2.
  • Não é possível criar GPUs de várias instâncias em uma instância que usa um tipo de máquina G2.
  • Se precisar mudar o tipo de máquina de uma instância G2, consulte Modificar instâncias otimizadas para aceleradores.
  • Não é possível usar o Deep Learning VM Images como discos de inicialização para instâncias que usam o tipo de máquina G2.
  • O driver padrão atual para o Container-Optimized OS não oferece suporte a GPUs L4 em execução nos tipos de máquina G2. Além disso, o Container-Optimized OS é compatível apenas com um conjunto selecionado de drivers. Se você quiser usar o Container-Optimized OS em tipos de máquina G2, leia as seguintes observações:
    • Use uma versão do Container-Optimized OS que seja compatível com a versão mínima recomendada do driver NVIDIA ou 525.60.13. Para mais informações, consulte as Notas de lançamento do Container-Optimized OS.
    • Ao instalar o driver, especifique a versão mais recente disponível que funciona para as GPUs L4. Por exemplo, sudo cos-extensions install gpu -- -version=525.60.13.
  • Use a Google Cloud CLI ou REST para criar instâncias G2 nos seguintes cenários:
    • Você quer especificar valores de memória personalizados.
    • Você quer personalizar o número de núcleos de CPU visíveis.

Instâncias N1+GPU

Para saber mais sobre as limitações das instâncias N1 com GPUs, consulte recursos da série de máquinas N1 e GPUs da série de máquinas N1.

Escolher um sistema operacional

Se você estiver usando GPUs para o aprendizado de máquina, use um dos seguintes sistemas operacionais:

  • Imagens otimizadas para cargas de trabalho de IA. Você pode usar imagens do Ubuntu e do Rocky, que estão disponíveis em versões otimizadas para aceleradores com drivers NVIDIA e kit de ferramentas CUDA pré-instalados. Consulte Imagens do SO na documentação do Hipercomputador de IA.

  • Deep Learning VM Images. Cada VM de aprendizado profundo tem uma ferramenta de instalação de driver de GPU e inclui pacotes como TensorFlow e PyTorch. Você também pode usar uma VM de aprendizado profundo para cargas de trabalho gerais de GPU. Para saber mais sobre as imagens disponíveis e os pacotes instalados nelas, consulte Como escolher uma imagem na documentação sobre VMs de aprendizado profundo.

Também é possível usar uma imagem pública ou personalizada. Para a maioria das imagens públicas ou personalizadas, é necessário instalar os drivers da NVIDIA e o kit de ferramentas CUDA. Para ajudar a identificar quais drivers são adequados para seu modelo de GPU, consulte Como instalar drivers de GPU.

Verificar a cota de GPU

Para proteger os usuários e sistemas do Compute Engine, novos projetos têm uma cota global de GPU, o que limita o número total de GPUs que podem ser criadas em qualquer zona compatível. Para analisar a cota de GPU, consulte Cota de GPU.

Se você precisar de uma cota extra de GPU, solicite um aumento de cota. Quando você solicita cota de GPU, precisa pedir uma cota para os tipos de GPU que quer criar em cada região e outra cota global para o número total de GPUs de todos os tipos em todas as zonas.

Se seu projeto tiver um histórico de faturamento estabelecido, ele receberá cota automaticamente depois que você enviar a solicitação.

Instâncias de GPU e cotas de alocação preemptivas

As instâncias que usam o modelo de provisionamento padrão geralmente não podem usar cotas de alocação preemptivas. As cotas preemptivas são para cargas de trabalho temporárias e geralmente estão mais disponíveis. Se o projeto não tiver cota preemptiva e você nunca tiver solicitado uma, todas as instâncias do projeto vão consumir cotas de alocação padrão.

Se você solicitar cota de alocação preemptiva, as instâncias que usam o modelo de provisionamento padrão precisarão atender a todos os critérios a seguir para consumir cota de alocação preemptiva:

Ao consumir a alocação preemptiva para cargas de trabalho de GPU com limite de tempo, você pode aproveitar o tempo de execução ininterrupto e a alta disponibilidade da cota de alocação preemptiva. Para mais informações, consulte Cotas preemptivas

Criar uma instância com GPUs anexadas

Para criar uma instância com GPUs anexadas, siga estas etapas:

  1. Crie a instância. O método usado para criar uma instância depende do modelo de GPU selecionado.

  2. Para que a instância use a GPU, é necessário instalar o driver da GPU na instância. Se você ativou uma estação de trabalho virtual NVIDIA RTX (anteriormente conhecida como NVIDIA GRID), instale um driver para a estação de trabalho virtual.

A seguir