Aggiungere o rimuovere GPU

Compute Engine fornisce le unità di elaborazione grafica (GPU) che puoi aggiungere alle tue istanze di macchine virtuali (VM). Puoi utilizzare queste GPU per accelerare carichi di lavoro specifici sulle tue VM come machine learning ed elaborazione di dati.

Quando esegui GPU su Compute Engine, puoi utilizzare solo due famiglie di macchine:

  • La famiglia di macchine ottimizzate per l'acceleratore: A3, A2 e G2.
  • La famiglia di macchine per uso generico N1. Puoi utilizzare la maggior parte dei tipi di macchine N1, ad eccezione del tipo di macchina con core condivisi N1. Se non utilizzi una macchina generica N1, puoi passare a una macchina generica N1 e poi aggiungere le GPU.

Prima di iniziare

  • Per esaminare ulteriori passaggi preliminari, come la selezione di un'immagine del sistema operativo e la verifica della quota GPU, consulta il documento di panoramica.
  • Se non l'hai ancora fatto, configura l'autenticazione. L'autenticazione è la procedura mediante la quale la tua identità viene verificata per l'accesso alle API e ai servizi Google Cloud. Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi autenticarti su Compute Engine selezionando una delle seguenti opzioni:

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    REST

    Per utilizzare gli esempi dell'API REST in questa pagina in un ambiente di sviluppo locale, utilizza le credenziali fornite a gcloud CLI.

      Install the Google Cloud CLI, then initialize it by running the following command: 

      gcloud init

    Per saperne di più, consulta Eseguire l'autenticazione per l'utilizzo di REST nella documentazione sull'autenticazione di Google Cloud.

VM ottimizzate per l'acceleratore

A ogni tipo di macchina ottimizzato per l'acceleratore è collegato un modello specifico di GPU NVIDIA.

Puoi modificare ogni VM ottimizzata per l'acceleratore come segue:

  • Per le VM A2 Ultra e tutte le VM A3, non puoi modificare il tipo di macchina. Se utilizzi uno di questi tipi di macchine per la tua VM e devi cambiare il tipo di macchina, crea una nuova VM.

  • Per le VM A2 Standard, puoi modificare il numero di GPU passando da un tipo di macchina A2 Standard a un altro.

  • Per le VM G2, puoi:

    • Puoi modificare il numero di GPU passando da un tipo di macchina G2 a un altro tipo di macchina G2.
    • Puoi passare da un tipo di macchina G2 a un tipo di macchina di un'altra famiglia, ad esempio per uso generico o ottimizzato per il calcolo. Consulta Modificare il tipo di macchina di una VM.

  • Non puoi rimuovere le GPU da nessuno dei tipo di macchina ottimizzati per l'acceleratore. Se non hai più bisogno di GPU, svolgi i seguenti passaggi:

    • Per tutte le VM A3 o A2, crea una nuova VM.
    • Per le VM G2, passa a un tipo di macchina di una famiglia di macchine diversa.

Modificare il numero di GPU

Puoi modificare il numero di GPU di una VM A2 standard o G2 ottimizzata per l'acceleratore utilizzando la console Google Cloud o REST.

Console

Puoi modificare il numero di GPU per la VM arrestandola e modificando la relativa configurazione.

  1. Verifica che tutte le applicazioni critiche siano interrotte sulla VM.

  2. Nella console Google Cloud, vai alla pagina Istanze VM per visualizzare l'elenco delle VM.

    Vai a Istanze VM

  3. Fai clic sul nome della VM per cui vuoi modificare il numero di GPU. Viene visualizzata la pagina Dettagli.

  4. Completa i seguenti passaggi dalla pagina Dettagli.

    1. Se la VM è in esecuzione, fai clic su Arresta nella barra degli strumenti. Quindi, attendi l'arresto della VM.

    2. Nella barra degli strumenti, fai clic su Modifica.

    3. Nella sezione Configurazione macchina, seleziona la famiglia di macchine GPU, quindi procedi nel seguente modo:

      1. Nell'elenco Numero di GPU, aumenta o diminuisci il numero di GPU.

    4. Per applicare le modifiche, fai clic su Salva.

    5. Per riavviare la VM, fai clic su Avvia/Riprendi.

REST

Puoi modificare il numero di GPU sulla VM arrestandola e cambiando il tipo di macchina. A ogni tipo di macchina ottimizzato per l'acceleratore è collegato un numero specifico di GPU. Se modifichi il tipo di macchina, viene aggiustato il numero di GPU collegate alla VM.

  1. Verifica che tutte le applicazioni critiche siano arrestate sulla VM, quindi crea un comando POST per arrestare la VM in modo che possa passare a un sistema host in cui sono disponibili le GPU.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/stop

  2. Dopo l'arresto della VM, crea una richiesta POST per modificare il tipo di macchina.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setMachineType

{
   machineType: "zones/ZONE/machineTypes/MACHINE_TYPE"
}

  3. Avvia la VM.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/start

Sostituisci quanto segue:

  • PROJECT_ID: il tuo ID progetto.
  • VM_NAME: il nome della VM a cui vuoi aggiungere GPU.
  • ZONE: la zona in cui si trova la VM. Questa zona deve supportare le GPU.

  • MACHINE_TYPE: il tipo di macchina che vuoi utilizzare. Deve essere uno dei seguenti:

    • Se la VM utilizza una macchina standard A2, seleziona un altro tipo di macchina A2.
    • Se la VM utilizza un tipo di macchina G2, seleziona un altro tipo di macchina G2. I tipi di macchine G2 supportano anche la memoria personalizzata. La memoria deve essere un multiplo di 1024 MB e rientrare nell'intervallo di memoria supportato. Ad esempio, per creare una VM con 4 vCPU e 19 GB di memoria, specifica --machine-type=g2-custom-4-19456.

Limitazioni

VM A2

  • Non ricevi sconti per utilizzo e sconti per impegno di utilizzo flessibile per le VM che utilizzano tipi di macchine A2 standard.
  • Puoi utilizzare i tipi di macchine A2 standard solo in determinate regioni e zone.
  • Non puoi utilizzare i dischi permanenti regionali nelle VM che utilizzano i tipi di macchine A2 standard.
  • Il tipo di macchina A2 standard è disponibile solo sulla piattaforma Cascade Lake.
  • Se la VM utilizza un tipo di macchina A2 standard, puoi passare solo da un tipo di macchina A2 standard a un altro tipo di macchina A2 standard. Non puoi passare a un altro tipo di macchina. Per ulteriori informazioni, consulta Modificare le VM ottimizzate per l'acceleratore.
  • Non puoi utilizzare il sistema operativo Windows con i tipi di macchine A2 standard <codea2-megagpu-16g< code="" dir="ltr" translate="no">. Quando utilizzi sistemi operativi Windows, scegli un tipo di macchina A2 Standard diverso.</codea2-megagpu-16g<>
  • Non puoi eseguire un formato rapido delle unità SSD locali collegate sulle VM Windows che utilizzano tipi di macchine A2 Standard. Per formattare questi SSD locali, devi eseguire una formattazione completa utilizzando l'utilità diskpart e specificando format fs=ntfs label=tmpfs.
  • I tipi di macchine A2 standard non supportano la modalità single-tenant.

VM G2

  • Non ricevi sconti per utilizzo e sconti per impegno di utilizzo flessibile per le VM che utilizzano tipi di macchine G2.
  • Puoi utilizzare i tipi di macchine G2 solo in determinate regioni e zone.
  • Non puoi utilizzare i dischi permanenti regionali nelle VM che utilizzano tipi di macchine G2.
  • Il tipo di macchina G2 è disponibile solo sulla piattaforma Cascade Lake.
  • I dischi permanenti standard (pd-standard) non sono supportati nelle VM che utilizzano tipi di macchina G2 standard. Per i tipi di dischi supportati, consulta Tipi di dischi supportati per G2.
  • Non puoi creare GPU con più istanze sui tipi di macchine G2.
  • Se devi modificare il tipo di macchina di una VM G2, consulta Modificare le VM ottimizzate per l'acceleratore.
  • Non puoi utilizzare le immagini VM per il deep learning come dischi di avvio per le tue VM che utilizzano tipi di macchine G2.
  • L'attuale driver predefinito per Container-Optimized OS non supporta le GPU L4 in esecuzione su tipi di macchine G2. Container-Optimized OS supporta anche solo un insieme selezionato di driver. Se vuoi utilizzare Container-Optimized OS sui tipi di macchine G2, consulta le seguenti note:
    • Utilizza una versione di Container-Optimized OS che supporti la versione minima consigliata del driver NVIDIA 525.60.13 o successive. Per ulteriori informazioni, consulta le note di rilascio di Container-Optimized OS.
    • Quando installi il driver, specifica la versione più recente disponibile che funziona per le GPU L4. Ad esempio, sudo cos-extensions install gpu -- -version=525.60.13.
  • Devi utilizzare Google Cloud CLI o REST per creare VM G2 per i seguenti scenari:
    • Vuoi specificare valori di memoria personalizzati.
    • Vuoi personalizzare il numero di core della CPU visibili.

VM N1 per uso generico

Questa sezione spiega come aggiungere, modificare o rimuovere GPU da una macchina N1 per uso generale.

In sintesi, la procedura per aggiungere, modificare o rimuovere GPU da una VM esistente è la seguente:

  1. Verifica che la VM abbia una dimensione del disco di avvio di almeno 40 GB.
  2. Arresta la VM.

  3. Aggiungi, modifica o rimuovi le GPU.

    Se alla VM non erano collegate GPU, devi completare i seguenti passaggi:

    1. Prepara la VM per la modifica.
    2. Modifica l'impostazione di manutenzione dell'host per la VM. Le VM con GPU non possono essere sottoposte a migrazione in tempo reale perché sono assegnate a dispositivi hardware specifici. Per ulteriori informazioni, consulta le limitazioni delle GPU.
    3. Modifica il tipo di macchina. Le GPU sono supportate solo su tipi di macchine selezionati.
    4. Installa un driver GPU sulla VM, in modo che il sistema possa utilizzare il dispositivo.

Prepara la VM

Quando una GPU viene aggiunta a una VM, l'ordine dell'interfaccia di rete può cambiare.

La maggior parte delle immagini pubbliche su Compute Engine non ha nomi di interfaccia di rete permanenti e si adatta al nuovo ordine.

Tuttavia, se utilizzi SLES o un'immagine personalizzata, devi aggiornare l'impostazione di sistema per impedire la persistenza dell'interfaccia di rete. Per impedire la persistenza dell'interfaccia di rete, esegui il seguente comando sulla VM:

 rm /etc/udev/rules.d/70-persistent-net.rules

Aggiungere GPU o modificare il tipo di GPU nelle VM esistenti

Questa sezione spiega come aggiungere GPU o modificare il tipo di GPU su VM N1 general purpose esistenti. Questa procedura supporta i seguenti tipi di GPU:

GPU NVIDIA:

  • NVIDIA T4: nvidia-tesla-t4
  • NVIDIA P4: nvidia-tesla-p4
  • NVIDIA P100: nvidia-tesla-p100
  • NVIDIA V100: nvidia-tesla-v100

Workstation virtuale (vWS) NVIDIA RTX (precedentemente nota come NVIDIA GRID):

  • NVIDIA T4 Virtual Workstation: nvidia-tesla-t4-vws
  • NVIDIA P4 Virtual Workstation: nvidia-tesla-p4-vws

  • NVIDIA P100 Virtual Workstation: nvidia-tesla-p100-vws

    Per queste workstation virtuali, viene aggiunta automaticamente alla VM una licenza per workstation virtuale (vWS) NVIDIA RTX.

Console

Per aggiungere GPU o modificare il tipo di GPU, completa i seguenti passaggi.

  1. Verifica che tutte le applicazioni critiche siano interrotte sulla VM.

  2. Nella console Google Cloud, vai alla pagina Istanze VM per visualizzare l'elenco delle VM.

    Vai a Istanze VM

  3. Fai clic sul nome della VM da aggiornare. Viene visualizzata la pagina Dettagli.

  4. Completa i seguenti passaggi dalla pagina Dettagli.

    1. Se la VM è in esecuzione, fai clic su Arresta nella barra degli strumenti. Quindi, attendi l'arresto della VM.

    2. Nella barra degli strumenti, fai clic su Modifica.

    3. Nella sezione Configurazione macchina, seleziona la famiglia di macchine GPU, quindi procedi nel seguente modo:

      1. Nell'elenco Tipo di GPU, seleziona o passa a uno dei tipi di GPU supportati sulle VM N1.

      2. Nell'elenco Numero di GPU, seleziona il numero di GPU.

      3. Se il modello di GPU supporta le workstation virtuali (vWS) NVIDIA RTX per i carichi di lavoro grafici, e prevedi di eseguire carichi di lavoro ad alta intensità di grafica su questa VM, seleziona Attiva workstation virtuale (NVIDIA GRID).

    4. Se alla VM non erano collegate GPU, completa quanto segue:

      1. Se la VM ha un tipo di macchina con core condivisi, devi modificare il tipo di macchina. Nell'elenco Tipo di macchina, seleziona uno dei tipi di macchina N1 preimpostati. In alternativa, puoi anche specificare impostazioni tipo di macchina personalizzata.

      2. Nella sezione Gestione, completa quanto segue:

        1. Nell'elenco In manutenzione sull'host, seleziona Termina istanza VM. Non è possibile eseguire la migrazione in tempo reale delle VM con GPU collegate. Consulta Gestire gli eventi dell'host GPU.

        2. Nell'elenco Riavvio automatico, seleziona On.

    5. Per applicare le modifiche, fai clic su Salva.

    6. Per riavviare la VM, fai clic su Avvia/Riprendi.

REST

Puoi aggiungere o modificare le GPU sulla VM arrestandola e modificando la configurazione della VM tramite l'API.

  1. Verifica che tutte le applicazioni critiche siano arrestate sulla VM e poi crea un comando POST per arrestare la VM in modo che possa passare a un sistema host in cui sono disponibili le GPU.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/stop

  2. Se alla VM non erano collegate GPU, completa i seguenti passaggi:

    1. Identifica il tipo di GPU che vuoi aggiungere alla VM. Puoi inviare una richiesta GET per elencare i tipi di GPU disponibili per il tuo progetto in una zona specifica.

      GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/acceleratorTypes

    2. Se la VM ha un tipo di macchina con core condiviso, devi modificare il tipo di macchina in modo che abbia una o più vCPU. Non puoi aggiungere acceleratori alle VM con tipi di macchine a core condiviso.

    3. Crea un comando POST per impostare le opzioni di pianificazione per la VM.

      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setScheduling

{
"onHostMaintenance": "TERMINATE",
"automaticRestart": true
}

  3. Crea una richiesta POST per aggiungere o modificare le GPU collegate alla VM.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setMachineResources

    {
     "guestAccelerators": [
      {
        "acceleratorCount": ACCELERATOR_COUNT,
        "acceleratorType": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/acceleratorTypes/ACCELERATOR_TYPE"
      }
     ]
    }

  4. Avvia la VM.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/start

    Sostituisci quanto segue:

    • PROJECT_ID: il tuo ID progetto.
    • VM_NAME: il nome della VM a cui vuoi aggiungere le GPU.
    • ZONE: la zona in cui si trova la VM.
    • ACCELERATOR_COUNT: il numero di GPU che vuoi collegare alla VM. Per un elenco dei limiti delle GPU in base al tipo di macchina della VM, consulta GPU su Compute Engine.

    • ACCELERATOR_TYPE: il modello di GPU a cui vuoi collegarti o passare. Se prevedi di eseguire workload con uso intensivo di risorse grafiche su questa VM, utilizza uno dei modelli di workstation virtuale.

      Scegli uno dei seguenti valori:

      • GPU NVIDIA:

        • NVIDIA T4: nvidia-tesla-t4
        • NVIDIA P4: nvidia-tesla-p4
        • NVIDIA P100: nvidia-tesla-p100
        • NVIDIA V100: nvidia-tesla-v100

      • Workstation virtuale (vWS) NVIDIA RTX (precedentemente nota come NVIDIA GRID):

        • NVIDIA T4 Virtual Workstation: nvidia-tesla-t4-vws
        • NVIDIA P4 Virtual Workstation: nvidia-tesla-p4-vws
        • NVIDIA P100 Virtual Workstation: nvidia-tesla-p100-vws

        Per queste workstation virtuali, alla VM viene aggiunta automaticamente una licenza per workstation virtuale (vWS) NVIDIA RTX.

Installa i driver

Per installare i driver, scegli una delle seguenti opzioni:

Rimuovere le GPU

Questa sezione illustra come rimuovere i seguenti tipi di GPU da una VM N1 generica esistente.

GPU NVIDIA:

  • NVIDIA T4: nvidia-tesla-t4
  • NVIDIA P4: nvidia-tesla-p4
  • NVIDIA P100: nvidia-tesla-p100
  • NVIDIA V100: nvidia-tesla-v100

Workstation virtuale (vWS) NVIDIA RTX (precedentemente nota come NVIDIA GRID):

  • NVIDIA T4 Virtual Workstation: nvidia-tesla-t4-vws
  • NVIDIA P4 Virtual Workstation: nvidia-tesla-p4-vws

  • NVIDIA P100 Virtual Workstation: nvidia-tesla-p100-vws

    Per queste workstation virtuali, viene aggiunta automaticamente alla VM una licenza per workstation virtuale (vWS) NVIDIA RTX.

Puoi utilizzare la console Google Cloud per rimuovere le GPU da una VM esistente. Per rimuovere le GPU:

  1. Verifica che tutte le applicazioni critiche siano interrotte sulla VM.

  2. Nella console Google Cloud, vai alla pagina Istanze VM per visualizzare l'elenco delle VM.

    Vai a Istanze VM

  3. Fai clic sul nome della VM da cui vuoi rimuovere le GPU. Viene visualizzata la pagina Dettagli.

  4. Completa i seguenti passaggi dalla pagina Dettagli.

    1. Se la VM è in esecuzione, fai clic su Arresta nella barra degli strumenti. Quindi, attendi l'arresto della VM.

    2. Nella barra degli strumenti, fai clic su Modifica.

    3. Nella sezione Configurazione macchina, seleziona la famiglia di macchine General purpose e poi procedi nel seguente modo:

      1. Per visualizzare le GPU collegate, espandi Configurazioni avanzate.

      2. Nella sezione GPU, rimuovi le GPU utilizzando una delle seguenti opzioni:

        • Per rimuovere alcune GPU, nell'elenco Numero di GPU, seleziona un nuovo numero.

        • Per rimuovere tutte le GPU, fai clic su Elimina GPU.

    4. (Facoltativo) Modifica l'impostazione del criterio di manutenzione dell'host della VM. Per le VM con GPU, il criterio di manutenzione dell'host deve essere impostato su Termina istanza VM. Tuttavia, se hai rimosso tutte le GPU, hai la possibilità di eseguire la migrazione live di questa VM durante la manutenzione dell'host. Per maggiori informazioni, consulta Impostare i criteri di manutenzione dell'host VM.

    5. Per applicare le modifiche, fai clic su Salva.

    6. Per riavviare la VM, fai clic su Avvia/Riprendi.

Passaggi successivi