Aggiungere o rimuovere GPU

Compute Engine fornisce unità di elaborazione grafica (GPU) che puoi aggiungere alle tue istanze di macchine virtuali (VM). Puoi utilizzare queste GPU per accelerare carichi di lavoro specifici sulle tue VM, come machine learning ed elaborazione di dati.

Puoi utilizzare solo due famiglie di macchine per l'esecuzione di GPU su Compute Engine:

  • La famiglia di macchine ottimizzate per l'acceleratore: A3, A2 e G2.
  • La famiglia di macchine per uso generico N1. Puoi utilizzare la maggior parte dei tipi di macchina N1, ad eccezione del tipo di macchina con core condivisi N1. Se non utilizzi una macchina per uso generico N1, puoi passare a una macchina per uso generico N1 per poi aggiungere le GPU.

Prima di iniziare

  • Per rivedere i passaggi preliminari aggiuntivi come la selezione di un'immagine del sistema operativo e la verifica della quota GPU, consulta il documento della panoramica.
  • Se non l'hai ancora fatto, configura l'autenticazione. L'autenticazione è il processo mediante il quale viene verificata l'identità per l'accesso ai servizi e alle API Google Cloud. Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi autenticarti in Compute Engine nel seguente modo.

    Seleziona la scheda relativa a come prevedi di utilizzare gli esempi in questa pagina:

    Console

    Quando utilizzi la console Google Cloud per accedere ai servizi e alle API di Google Cloud, non devi configurare l'autenticazione.

    REST

    Per utilizzare gli esempi di API REST in questa pagina in un ambiente di sviluppo locale, devi utilizzare le credenziali che fornisci a gcloud CLI.

      Installa Google Cloud CLI, quindi initialize eseguendo questo comando: 

      gcloud init

VM ottimizzate per l'acceleratore

A ogni tipo di macchina ottimizzata per l'acceleratore è collegato un modello specifico di GPU NVIDIA.

  • Per i tipi di macchine ottimizzate per l'acceleratore A3, sono collegate le GPU NVIDIA H100 da 80 GB.
  • Per i tipi di macchine ottimizzate per l'acceleratore A2, sono collegate le GPU NVIDIA A100. Questi sono disponibili nelle opzioni A100 da 40 GB e A100 da 80 GB.
  • Per i tipi di macchine ottimizzate per l'acceleratore G2, sono collegate le GPU NVIDIA L4.

Puoi modificare ogni VM ottimizzata per l'acceleratore come segue:

  • Per le VM standard A2, puoi modificare il conteggio delle GPU passando da un tipo di macchina standard A2 a un altro tipo di macchina standard A2.

  • Per le VM A3 standard e A2 ultra, non puoi modificare il tipo di macchina. Se utilizzi un tipo di macchina A3 standard o A2 Ultra per la tua VM e devi cambiare il tipo di macchina, crea una nuova VM.

  • Per le VM G2 standard, puoi:

    • Puoi modificare il conteggio delle GPU passando da un tipo di macchina standard G2 a un altro tipo di macchina standard G2.
    • Puoi passare da un tipo di macchina standard G2 a un tipo di macchina di una famiglia di macchine diversa, ad esempio per uso generico o ottimizzato per il calcolo. Vedi Cambiare il tipo di macchina.

  • Non puoi rimuovere le GPU da un tipo di macchina ottimizzato per l'acceleratore. Se non hai più bisogno delle GPU, completa i seguenti passaggi:

    • Per le VM A2 standard o ultra, crea una nuova VM.
    • Per le VM G2, passa a un tipo di macchina di una famiglia di macchine diversa.

Modifica il numero di GPU

Puoi modificare il conteggio delle GPU di una VM ottimizzata per l'acceleratore A2 o G2 utilizzando la console Google Cloud o REST.

Console

Puoi modificare il numero di GPU per la VM arrestandola e modificando la configurazione della VM.

  1. Verifica che tutte le applicazioni critiche siano arrestate sulla VM.

  2. Nella console Google Cloud, vai alla pagina Istanze VM per visualizzare l'elenco delle VM.

    Vai a Istanze VM

  3. Fai clic sul nome della VM per cui vuoi modificare il numero di GPU. Viene visualizzata la pagina Dettagli.

  4. Completa i seguenti passaggi dalla pagina Dettagli.

    1. Se la VM è in esecuzione, fai clic su Arresta nella barra degli strumenti. quindi attendi l'arresto della VM.

    2. Nella barra degli strumenti, fai clic su Modifica.

    3. Nella sezione Configurazione macchina, seleziona la famiglia di macchine GPU, quindi procedi nel seguente modo:

      1. Nell'elenco Numero di GPU, aumenta o riduci il numero di GPU.

    4. Per applicare le modifiche, fai clic su Salva.

    5. Per riavviare la VM, fai clic su Avvia/Riprendi.

REST

Puoi modificare il numero di GPU sulla VM arrestando la VM e cambiando il tipo di macchina. A ogni tipo di macchina ottimizzata per l'acceleratore è collegato un numero specifico di GPU. Se cambi il tipo di macchina, viene modificato il numero di GPU collegate alla VM.

  1. Verifica che tutte le applicazioni critiche siano arrestate sulla VM, quindi crea un comando POST per arrestare la VM in modo che possa essere spostata in un sistema host in cui sono disponibili GPU.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/stop

  2. Dopo l'arresto della VM, crea una richiesta POST per modificare il tipo di macchina.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setMachineType

{
   machineType: "zones/ZONE/machineTypes/MACHINE_TYPE"
}

  3. Avviare la VM.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/start

Sostituisci quanto segue:

  • PROJECT_ID: il tuo ID progetto.
  • VM_NAME: il nome della VM a cui vuoi aggiungere GPU.
  • ZONE: la zona in cui si trova la VM. Questa zona deve supportare le GPU.

  • MACHINE_TYPE: il tipo di macchina che vuoi utilizzare. Deve essere uno dei seguenti:

    • Se la tua VM utilizza una macchina standard A2, seleziona un altro tipo di macchina A2.
    • Se la tua VM utilizza un tipo di macchina G2, seleziona un altro tipo di macchina G2. I tipi di macchine G2 supportano anche la memoria personalizzata. La memoria deve essere un multiplo di 1024 MB e deve rientrare nell'intervallo di memoria supportato. Ad esempio, per creare una VM con 4 vCPU e 19 GB di memoria specifica --machine-type=g2-custom-4-19456.

Limitazioni

Standard A2

  • Non ricevi sconti per utilizzo sostenuto e sconti per impegno di utilizzo flessibili per le VM che utilizzano i tipi di macchine standard A2.
  • Puoi utilizzare i tipi di macchina standard A2 solo in determinate regioni e zone.
  • Non puoi utilizzare i dischi permanenti a livello di regione sulle VM che utilizzano i tipi di macchine standard A2.
  • Il tipo di macchina standard A2 è disponibile solo sulla piattaforma Cascade Lake.
  • Se la tua VM utilizza un tipo di macchina standard A2, puoi passare solo da un tipo di macchina standard A2 a un altro tipo di macchina standard A2. Non puoi passare a nessun altro tipo di macchina. Per saperne di più, consulta Modificare le VM ottimizzate per l'acceleratore.
  • Non puoi utilizzare il tipo di macchina standard a2-megagpu-16g A2 sui sistemi operativi Windows. Se utilizzi i sistemi operativi Windows, scegli un tipo di macchina standard A2 diverso.
  • Non puoi eseguire una formattazione rapida delle unità SSD locali collegate sulle VM Windows che utilizzano tipi di macchine standard A2. Per formattare queste unità SSD locali, devi creare un formato completo utilizzando l'utilità diskpart e specificando format fs=ntfs label=tmpfs.
  • I tipi di macchina standard A2 non supportano la modalità single-tenancy.

A2 Ultra

  • Non ricevi sconti per utilizzo sostenuto e sconti per impegno di utilizzo flessibili per le VM che utilizzano i tipi di macchine A2 Ultra.
  • Puoi utilizzare i tipi di macchina A2 Ultra solo in determinate regioni e zone.
  • Non puoi utilizzare i dischi permanenti a livello di regione sulle VM che utilizzano i tipi di macchine A2 Ultra.
  • Il tipo di macchina A2 ultra è disponibile solo sulla piattaforma Cascade Lake.
  • Se la tua VM utilizza un tipo di macchina A2 Ultra, non puoi cambiarlo. Se devi utilizzare un tipo di macchina A2 Ultra diverso o qualsiasi altro tipo di macchina, devi creare una nuova VM.
  • Non puoi cambiare nessun altro tipo di macchina in un tipo di macchina A2 ultra. Se devi creare una VM che utilizza un tipo di macchina A2 Ultra, devi creare una nuova VM.
  • Non puoi eseguire una formattazione rapida delle unità SSD locali collegate sulle VM Windows che utilizzano tipi di macchine ultra A2. Per formattare queste unità SSD locali, devi creare un formato completo utilizzando l'utilità diskpart e specificando format fs=ntfs label=tmpfs.

Standard G2

  • Non ricevi sconti per utilizzo sostenuto e sconti per impegno di utilizzo flessibili per le VM che utilizzano i tipi di macchine standard G2.
  • Puoi utilizzare i tipi di macchina standard G2 solo in determinate regioni e zone.
  • Non è possibile utilizzare i dischi permanenti a livello di regione sulle VM che utilizzano i tipi di macchina standard G2.
  • Il tipo di macchina standard G2 è disponibile solo sulla piattaforma Cascade Lake.
  • I dischi permanenti standard (pd-standard) non sono supportati sulle VM che utilizzano i tipi di macchine standard G2. Per i tipi di disco supportati, consulta Tipi di disco supportati per G2.
  • Non puoi creare GPU multi-istanza sui tipi di macchine standard G2.
  • Se devi cambiare il tipo di macchina di una VM G2, consulta la pagina Modifica delle VM ottimizzate per l'acceleratore.
  • Non puoi utilizzare Deep Learning VM Image come dischi di avvio per le tue VM che utilizzano i tipi di macchine standard G2.
  • L'attuale driver predefinito per Container-Optimized OS non supporta le GPU L4 in esecuzione sui tipi di macchine G2. Inoltre, Container-Optimized OS supporta solo un insieme selezionato di driver. Se vuoi utilizzare Container-Optimized OS sui tipi di macchine G2, leggi le seguenti note:
    • Utilizza una versione Container-Optimized OS che supporti la versione minima consigliata del driver NVIDIA 525.60.13 o successive. Per saperne di più, consulta le note di rilascio di Container-Optimized OS.
    • Quando installi il driver, specifica la versione più recente disponibile che funziona per le GPU L4. Ad esempio, sudo cos-extensions install gpu -- -version=525.60.13.
  • Devi utilizzare Google Cloud CLI o REST per creare VM G2 per i seguenti scenari:
    • Vuoi specificare valori di memoria personalizzati.
    • Vuoi personalizzare il numero di core della CPU visibili.

VM per uso generico N1

Questa sezione illustra come aggiungere, modificare o rimuovere GPU da una macchina per uso generico N1.

In sintesi, la procedura per aggiungere, modificare o rimuovere GPU da una VM esistente è la seguente:

  1. Verifica che la VM abbia un disco di avvio di almeno 40 GB.
  2. Arresta la VM.

  3. Aggiungi, modifica o rimuovi le GPU.

    Se alla VM non erano state collegate GPU, devi completare i seguenti passaggi:

    1. Prepara la VM per la modifica.
    2. Modifica l'impostazione di manutenzione dell'host per la VM. Le VM con GPU non possono eseguire la migrazione live perché sono assegnate a dispositivi hardware specifici. Per ulteriori informazioni, consulta la sezione Limitazioni delle GPU.
    3. Cambiare il tipo di macchina. Le GPU sono supportate solo su alcuni tipi di macchina.
    4. Installa un driver GPU sulla VM, in modo che il sistema possa utilizzare il dispositivo.

Prepara la VM

Quando viene aggiunta una GPU a una VM, l'ordine dell'interfaccia di rete può cambiare.

La maggior parte delle immagini pubbliche su Compute Engine non ha nomi di interfaccia di rete permanenti e si adegua al nuovo ordine.

Tuttavia, se utilizzi SLES o un'immagine personalizzata, devi aggiornare l'impostazione di sistema per evitare che l'interfaccia di rete rimanga attiva. Per impedire la persistenza dell'interfaccia di rete, esegui questo comando sulla VM:

 rm /etc/udev/rules.d/70-persistent-net.rules

Aggiungi GPU o modifica il tipo di GPU su VM esistenti

Questa sezione illustra come aggiungere GPU o modificare il tipo di GPU su una VM per uso generico N1 esistente. Questa procedura supporta i seguenti tipi di GPU:

GPU NVIDIA:

  • NVIDIA T4: nvidia-tesla-t4
  • NVIDIA P4: nvidia-tesla-p4
  • NVIDIA P100: nvidia-tesla-p100
  • NVIDIA V100: nvidia-tesla-v100
  • NVIDIA K80: nvidia-tesla-k80. Consulta EOL di NVIDIA K80.

NVIDIA RTX Virtual Workstation (vWS) (precedentemente nota come NVIDIA GRID):

  • Workstation virtuale NVIDIA T4: nvidia-tesla-t4-vws
  • Workstation virtuale NVIDIA P4: nvidia-tesla-p4-vws

  • Workstation virtuale NVIDIA P100: nvidia-tesla-p100-vws

    Per queste workstation virtuali, alla VM viene aggiunta automaticamente una licenza NVIDIA RTX Virtual Workstation (vWS).

Console

Per aggiungere GPU o modificare il tipo di GPU, completa i seguenti passaggi.

  1. Verifica che tutte le applicazioni critiche siano arrestate sulla VM.

  2. Nella console Google Cloud, vai alla pagina Istanze VM per visualizzare l'elenco delle VM.

    Vai a Istanze VM

  3. Fai clic sul nome della VM che vuoi aggiornare. Viene visualizzata la pagina Dettagli.

  4. Completa i seguenti passaggi dalla pagina Dettagli.

    1. Se la VM è in esecuzione, fai clic su Arresta nella barra degli strumenti. quindi attendi l'arresto della VM.

    2. Nella barra degli strumenti, fai clic su Modifica.

    3. Nella sezione Configurazione macchina, seleziona la famiglia di macchine GPU, quindi procedi nel seguente modo:

      1. Nell'elenco Tipo di GPU, seleziona o passa a uno dei tipi di GPU supportati sulle VM N1.

      2. Nell'elenco Numero di GPU, seleziona il numero di GPU.

      3. Se il tuo modello GPU supporta le workstation virtuali NVIDIA RTX (vWS) per i carichi di lavoro per la grafica e prevedi di eseguire carichi di lavoro ad alta intensità di grafica su questa VM, seleziona Abilita workstation virtuale (NVIDIA GRID).

    4. Se alla VM non erano state collegate GPU, completa quanto segue:

      1. Se la VM ha un tipo di macchina con core condivisi, devi cambiare il tipo di macchina. Nell'elenco Tipo di macchina, seleziona uno dei tipi di macchina N1 preimpostati. In alternativa, puoi specificare impostazioni del tipo di macchina personalizzata.

      2. Nella sezione Gestione, completa i seguenti passaggi:

        1. Nell'elenco On host manutenzione, seleziona Termina istanza VM. Non è possibile eseguire la migrazione live delle VM con GPU collegate. Vedi Gestire gli eventi host della GPU.

        2. Nell'elenco Riavvio automatico, seleziona On.

    5. Per applicare le modifiche, fai clic su Salva.

    6. Per riavviare la VM, fai clic su Avvia/Riprendi.

REST

Per aggiungere o modificare le GPU sulla VM, puoi arrestare la VM e modificare la configurazione della VM tramite l'API.

  1. Verifica che tutte le applicazioni critiche siano arrestate sulla VM, quindi crea un comando POST per arrestare la VM in modo che possa essere spostata in un sistema host in cui sono disponibili GPU.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/stop

  2. Se alla VM non erano ancora collegate GPU, completa i seguenti passaggi:

    1. Identifica il tipo di GPU che vuoi aggiungere alla VM. Puoi inviare una richiesta GET per elencare i tipi di GPU disponibili per il tuo progetto in una zona specifica.

      GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/acceleratorTypes

    2. Se la VM ha un tipo di macchina con core condivisi, devi cambiare il tipo di macchina per avere una o più vCPU. Non puoi aggiungere acceleratori alle VM con tipi di macchina con core condivisi.

    3. Crea un comando POST per impostare le opzioni di pianificazione per la VM.

      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setScheduling

{
"onHostMaintenance": "TERMINATE",
"automaticRestart": true
}

  3. Crea una richiesta POST per aggiungere o modificare le GPU collegate alla VM.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setMachineResources

    {
     "guestAccelerators": [
      {
        "acceleratorCount": ACCELERATOR_COUNT,
        "acceleratorType": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/acceleratorTypes/ACCELERATOR_TYPE"
      }
     ]
    }

  4. Avviare la VM.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/start

    Sostituisci quanto segue:

    • PROJECT_ID: il tuo ID progetto.
    • VM_NAME: il nome della VM a cui vuoi aggiungere GPU.
    • ZONE: la zona in cui si trova la VM.
    • ACCELERATOR_COUNT: il numero di GPU che vuoi collegare alla VM. Per un elenco dei limiti di GPU basati sul tipo di macchina della VM, vedi GPU su Compute Engine.

    • ACCELERATOR_TYPE: il modello GPU che vuoi collegare o a cui vuoi passare. Se prevedi di eseguire carichi di lavoro ad alta intensità di grafica su questa VM, utilizza uno dei modelli di workstation virtuale.

      Scegli uno dei seguenti valori:

      • GPU NVIDIA:

        • NVIDIA T4: nvidia-tesla-t4
        • NVIDIA P4: nvidia-tesla-p4
        • NVIDIA P100: nvidia-tesla-p100
        • NVIDIA V100: nvidia-tesla-v100
        • NVIDIA K80: nvidia-tesla-k80. Consulta EOL di NVIDIA K80.

      • NVIDIA RTX Virtual Workstation (vWS) (precedentemente nota come NVIDIA GRID):

        • Workstation virtuale NVIDIA T4: nvidia-tesla-t4-vws
        • Workstation virtuale NVIDIA P4: nvidia-tesla-p4-vws
        • Workstation virtuale NVIDIA P100: nvidia-tesla-p100-vws

        Per queste workstation virtuali, viene aggiunta automaticamente una licenza NVIDIA RTX Virtual Workstation (vWS) alla VM.

Installa driver

Per installare i driver, scegli una delle seguenti opzioni:

Rimuovi GPU

Questa sezione illustra come rimuovere i seguenti tipi di GPU da una VM per uso generico N1 esistente.

GPU NVIDIA:

  • NVIDIA T4: nvidia-tesla-t4
  • NVIDIA P4: nvidia-tesla-p4
  • NVIDIA P100: nvidia-tesla-p100
  • NVIDIA V100: nvidia-tesla-v100
  • NVIDIA K80: nvidia-tesla-k80. Consulta EOL di NVIDIA K80.

NVIDIA RTX Virtual Workstation (vWS) (precedentemente nota come NVIDIA GRID):

  • Workstation virtuale NVIDIA T4: nvidia-tesla-t4-vws
  • Workstation virtuale NVIDIA P4: nvidia-tesla-p4-vws

  • Workstation virtuale NVIDIA P100: nvidia-tesla-p100-vws

    Per queste workstation virtuali, alla VM viene aggiunta automaticamente una licenza NVIDIA RTX Virtual Workstation (vWS).

Puoi utilizzare la console Google Cloud per rimuovere le GPU da una VM esistente. Per rimuovere le GPU, segui questi passaggi:

  1. Verifica che tutte le applicazioni critiche siano arrestate sulla VM.

  2. Nella console Google Cloud, vai alla pagina Istanze VM per visualizzare il tuo elenco di VM.

    Vai a Istanze VM

  3. Fai clic sul nome della VM da cui vuoi rimuovere le GPU. Viene visualizzata la pagina Dettagli.

  4. Completa i seguenti passaggi dalla pagina Dettagli.

    1. Se la VM è in esecuzione, fai clic su Arresta nella barra degli strumenti. quindi attendi l'arresto della VM.

    2. Nella barra degli strumenti, fai clic su Modifica.

    3. Nella sezione Configurazione macchina, seleziona la famiglia di macchine Uso generico, quindi segui questi passaggi:

      1. Per visualizzare le GPU collegate, espandi Configurazioni avanzate.

      2. Nella sezione GPU, rimuovi le GPU utilizzando una delle seguenti opzioni:

        • Per rimuovere alcune GPU, seleziona un nuovo numero nell'elenco Numero di GPU.

        • Per rimuovere tutte le GPU, fai clic su Elimina GPU.

    4. (Facoltativo) Modifica l'impostazione del criterio di manutenzione dell'host VM. Nelle VM con GPU il criterio di manutenzione dell'host deve essere impostato su Termina istanza VM. Tuttavia, se hai rimosso tutte le GPU, puoi scegliere di eseguire la migrazione live di questa VM durante la manutenzione dell'host. Per maggiori informazioni, consulta Impostare i criteri di manutenzione dell'host VM.

    5. Per applicare le modifiche, fai clic su Salva.

    6. Per riavviare la VM, fai clic su Avvia/Riprendi.

Che cosa succede dopo?