Aggiungi o rimuovi GPU

Compute Engine fornisce le unità di elaborazione grafica (GPU) che puoi aggiungere alle tue istanze di macchine virtuali (VM). Puoi utilizzare queste GPU per accelerare workload specifici sulle tue istanze come machine learning ed elaborazione di dati.

Quando esegui GPU su Compute Engine, puoi utilizzare solo due famiglie di macchine:

  • La famiglia di macchine ottimizzate per l'acceleratore. Tutti i tipi di macchine ottimizzate per l'acceleratore hanno GPU collegate.
  • La famiglia di macchine per uso generico N1. Puoi utilizzare la maggior parte dei tipi di macchine N1, ad eccezione del tipo di macchina con core condivisi N1. Se non utilizzi una macchina per uso generico N1, puoi passare a una macchina a uso generico N1 e poi aggiungere le GPU.

Prima di iniziare

  • Per esaminare ulteriori passaggi preliminari, come la selezione di un'immagine sistema operativo e la verifica della quota GPU, consulta il documento di panoramica.
  • Se non l'hai ancora fatto, configura l'autenticazione. L'autenticazione verifica la tua identità per l'accesso a Google Cloud servizi e API. Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi autenticarti su Compute Engine selezionando una delle seguenti opzioni:

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    REST

    Per utilizzare gli esempi di API REST in questa pagina in un ambiente di sviluppo locale, utilizza le credenziali che fornisci a gcloud CLI.

      Installa Google Cloud CLI. Dopo l'installazione, inizializza Google Cloud CLI eseguendo il seguente comando: 

      gcloud init

      Se utilizzi un provider di identità (IdP) esterno, devi prima accedere a gcloud CLI con la tua identità federata.

    Per saperne di più, consulta Autenticarsi per l'utilizzo di REST nella documentazione sull'autenticazione di Google Cloud .

VM ottimizzate per l'acceleratore

A ogni tipo di macchina ottimizzata per l'acceleratore è collegato un modello specifico di GPU NVIDIA per supportare il tipo di workload consigliato.

Workload AI e ML Grafica e visualizzazione
I tipi di macchina della serie A ottimizzati per l'acceleratore sono progettati per workload di computing ad alte prestazioni (HPC), intelligenza artificiale (AI) e machine learning (ML).

Per questi tipi di macchine, il modello di GPU viene collegato automaticamente all'istanza.

 I tipi di macchina della serie G ottimizzati per l'acceleratore sono progettati per carichi di lavoro come quelli di simulazione NVIDIA Omniverse, applicazioni ad alta intensità grafica, transcodifica video e desktop virtuali. Questi tipi di macchine supportano le workstation virtuali (vWS) NVIDIA RTX.

Per questi tipi di macchine, il modello di GPU viene collegato automaticamente all'istanza.
  • A4X (NVIDIA GB200 Superchips)
    (nvidia-gb200)
  • A4 (NVIDIA B200)
    (nvidia-b200)
  • A3 Ultra (NVIDIA H200)
    (nvidia-h200-141gb)
  • A3 Mega (NVIDIA H100)
    (nvidia-h100-mega-80gb)
  • A3 High (NVIDIA H100)
    (nvidia-h100-80gb)
  • A3 Edge (NVIDIA H100)
    (nvidia-h100-80gb)
  • A2 Ultra (NVIDIA A100 80GB)
    (nvidia-a100-80gb)
  • A2 Standard (NVIDIA A100)
    (nvidia-a100-40gb)
  • G4 (NVIDIA RTX PRO 6000)
    (nvidia-rtx-pro-6000)
    (nvidia-rtx-pro-6000-vws)
  • G2 (NVIDIA L4)
    (nvidia-l4)
    (nvidia-l4-vws)

Puoi modificare ogni istanza ottimizzata per l'acceleratore come segue:

  • Per le istanze A4X, A4, A3 e A2 Ultra, non puoi modificare il tipo di macchina. Se utilizzi uno di questi tipi di macchine per la tua istanza e devi cambiare il tipo di macchina, crea una nuova istanza.

  • Per le istanze A2 Standard, puoi modificare il numero di GPU passando da un tipo di macchina A2 Standard a un altro.

  • Per le istanze G4, puoi modificare il numero di GPU passando da un tipo di macchinaa G4 a un altro.

  • Per le istanze G2:

    • Puoi modificare il numero di GPU passando da un tipo di macchina G2 a un altro tipo di macchina G2.
    • Puoi passare da un tipo di macchina G2 a un tipo di macchina di un'altra famiglia, ad esempio per uso generico oppure ottimizzata per il calcolo. Consulta Modifica il tipo di macchina di una VM.

  • Non puoi rimuovere le GPU da nessuno dei tipi di macchine ottimizzate per l'acceleratore.

Modifica il numero di GPU

Puoi modificare il numero di GPU di un'istanza A2 Standard, G4 o G2 ottimizzata per l'acceleratore utilizzando la console Google Cloud o REST.

Console

Puoi modificare il numero di GPU per l'istanza arrestandola e modificandone la configurazione.

  1. Verifica che tutte le applicazioni critiche siano arrestate sull'istanza.

  2. Nella console Google Cloud , vai alla pagina Istanze VM per visualizzare l'elenco delle istanze.

    Vai a Istanze VM

  3. Fai clic sul nome dell'istanza per cui vuoi modificare il numero di GPU. Viene visualizzata la pagina Dettagli.

  4. Completa i seguenti passaggi dalla pagina Dettagli.

    1. Se l'istanza è in esecuzione, fai clic su Arresta per arrestarla. Se non è presente l'opzione Arresta, fai clic su Altre azioni > Arresta.

    2. Fai clic su Modifica.

    3. Nella sezione Configurazione macchina, seleziona la famiglia di macchine GPU, quindi procedi nel seguente modo:

      1. Nell'elenco Numero di GPU, aumenta o diminuisci il numero di GPU.

    4. Per applicare le modifiche, fai clic su Salva.

    5. Per riavviare l'istanza, fai clic su Avvia/Riprendi.

REST

Puoi modificare il numero di GPU sull'istanza arrestandola e cambiando il tipo di macchina. A ogni tipo di macchina ottimizzata per l'acceleratore è collegato un numero specifico di GPU. Se modifichi il tipo di macchina, viene regolato di conseguenza il numero di GPU collegate all'istanza.

  1. Verifica che tutte le applicazioni critiche siano arrestate sull'istanza, quindi crea un comando POST per arrestare l'istanza in modo che possa passare a un sistema host in cui sono disponibili le GPU.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/stop

  2. Dopo l'arresto dell'istanza, crea una richiesta POST per modificare il tipo di macchina.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setMachineType

{
   machineType: "zones/ZONE/machineTypes/MACHINE_TYPE"
}

  3. Avvia l'istanza.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/start

Sostituisci quanto segue:

  • PROJECT_ID: il tuo ID progetto.
  • VM_NAME: il nome dell'istanza a cui vuoi aggiungere GPU.
  • ZONE: la zona in cui si trova l'istanza Questa zona deve supportare le GPU.

  • MACHINE_TYPE: il tipo di macchina che vuoi utilizzare. Deve essere uno dei seguenti:

    • Se la tua istanza utilizza una macchina A2 Standard, seleziona un altro tipo di macchina A2 Standard.
    • Se la tua istanza utilizza una macchina G4, seleziona un altro tipo di macchina G4.
    • Se l'istanza utilizza un tipo di macchina G2, seleziona un altro tipo di macchina G2. Anche i tipi di macchine G2 supportano la memoria personalizzata. La memoria deve essere un multiplo di 1024 MB e rientrare nell'intervallo di memoria supportato. Ad esempio, il nome del tipo di macchina per un'istanza con 4 vCPU e 19 GB di memoria sarebbe g2-custom-4-19456.

Limitazioni

Istanze A2

  • Puoi richiedere la capacità solo utilizzando le opzioni di consumo supportate per un tipo di macchina A2 Standard.
  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina A2 Standard.
  • Puoi utilizzare un tipo di macchina A2 Standard solo in alcune regioni e zone.
  • Il tipo di macchina A2 Standard è disponibile solo sulla piattaforma Cascade Lake.
  • Se la tua istanza utilizza un tipo di macchina A2 Standard, puoi passare solo da un tipo di macchina A2 Standard a un altro tipo di macchina A2 Standard. Non puoi passare a un altro tipo di macchina. Per ulteriori informazioni, consulta Modifica le istanze ottimizzate per l'acceleratore.
  • Non puoi utilizzare il sistema operativo Windows con il tipo di macchina a2-megagpu-16g. Quando utilizzi un sistema operativo Windows, scegli un tipo di macchina A2 Standard diverso.
  • Non puoi formattare rapidamente le unità SSD locali collegate sulle istanze Windows che utilizzano i tipi di macchine A2 Standard. Per formattare questi SSD locali, devi eseguire una formattazione completa utilizzando l'utilità diskpart e specificando format fs=ntfs label=tmpfs.
  • I tipi di macchine A2 Standard non supportano la modalità single-tenancy.

Istanze G2

  • Puoi richiedere la capacità solo utilizzando le opzioni di consumo supportate per un tipo di macchina G2.
  • Non sono previsti sconti per utilizzo sostenuto e per impegno di utilizzo flessibile per le istanze che utilizzano un tipo di macchina G2.
  • Puoi utilizzare un tipo di macchina G2 solo in alcune regioni e zone.
  • Il tipo di macchina G2 è disponibile solo sulla piattaforma Cascade Lake.
  • Il disco permanente standard (pd-standard) non è supportato nelle istanze che utilizzano il tipo di macchina G2. Per i tipi di dischi supportati, consulta Tipi di dischi supportati per G2.
  • Non puoi creare GPU multi-istanza su un'istanza che utilizza un tipo di macchina G2.
  • Se devi modificare il tipo di macchina di un'istanza G2, consulta Modifica le istanze ottimizzate per l'acceleratore.
  • Non puoi utilizzare Deep Learning VM Images come dischi di avvio per le istanze che utilizzano il tipo di macchina G2.
  • L'attuale driver predefinito per Container-Optimized OS non supporta le GPU L4 in esecuzione su tipi di macchine G2. Inoltre, Container-Optimized OS supporta solo un insieme selezionato di driver. Se vuoi utilizzare Container-Optimized OS sui tipi di macchine G2, consulta le seguenti note:
    • Utilizza una versione di Container-Optimized OS che supporti la versione minima consigliata del driver NVIDIA 525.60.13 o successive. Per ulteriori informazioni, consulta le note di rilascio di Container-Optimized OS.
    • Quando installi il driver, specifica la versione più recente disponibile adatta alle GPU L4. Ad esempio, sudo cos-extensions install gpu -- -version=525.60.13.
  • Devi utilizzare Google Cloud CLI o REST per creare istanze G2 per i seguenti scenari:
    • Specifica i valori di memoria personalizzati.
    • Personalizza il numero di core della CPU visibili.

Istanze G4

Istanze N1 per uso generico

Questa sezione illustra come aggiungere, modificare o rimuovere GPU da una macchina N1 per uso generico.

In sintesi, la procedura per aggiungere, modificare o rimuovere GPU da un'istanza esistente è la seguente:

  1. Verifica che l'istanza abbia una dimensione del disco di avvio di almeno 40 GB.
  2. Arresta l'istanza.

  3. Aggiungi, modifica o rimuovi le GPU.

    Se alla tua istanza N1 non sono collegate GPU, devi completare i seguenti passaggi:

    1. Prepara l'istanza per la modifica.
    2. Modifica l'impostazione di manutenzione dell'host per l'istanza. Le istanze con GPU non possono essere sottoposte a migrazione live perché sono assegnate a dispositivi hardware specifici. Per ulteriori informazioni, consulta le limitazioni delle GPU.
    3. Cambia il tipo di macchina. Le GPU sono supportate solo su tipi di macchine N1 selezionati.
    4. Installa un driver GPU sull'istanza, in modo che il sistema possa utilizzare il dispositivo GPU.

Prepara l'istanza

Quando una GPU viene aggiunta a un'istanza, l'ordine dell'interfaccia di rete può cambiare.

La maggior parte delle immagini pubbliche su Compute Engine non ha nomi di interfaccia di rete permanenti e si adatta al nuovo ordine.

Tuttavia, se utilizzi SLES o un'immagine personalizzata, devi aggiornare le impostazioni di sistema per evitare che l'interfaccia di rete diventi persistente. Per evitare che l'interfaccia di rete venga mantenuta, esegui il seguente comando sull'istanza:

 rm /etc/udev/rules.d/70-persistent-net.rules

Aggiungi GPU o modifica il tipo di GPU sulle istanze esistenti

Questa sezione spiega come aggiungere GPU o modificare il tipo di GPU su un'istanza N1 per uso generico esistente. Questa procedura supporta i seguenti tipi di GPU:

GPU NVIDIA:

  • NVIDIA T4: nvidia-tesla-t4
  • NVIDIA P4: nvidia-tesla-p4
  • NVIDIA P100: nvidia-tesla-p100
  • NVIDIA V100: nvidia-tesla-v100

Workstation virtuale (vWS) NVIDIA RTX (precedentemente nota come NVIDIA GRID):

  • NVIDIA T4 Virtual Workstation: nvidia-tesla-t4-vws
  • NVIDIA P4 Virtual Workstation: nvidia-tesla-p4-vws

  • NVIDIA P100 Virtual Workstation: nvidia-tesla-p100-vws

    Per queste workstation virtuali, all'istanza viene aggiunta automaticamente una licenza per workstation virtuale (vWS) NVIDIA RTX.

Console

Per aggiungere GPU o modificare il tipo di GPU, completa i seguenti passaggi.

  1. Verifica che tutte le applicazioni critiche siano arrestate sull'istanza.

  2. Nella console Google Cloud , vai alla pagina Istanze VM per visualizzare l'elenco delle istanze.

    Vai a Istanze VM

  3. Fai clic sul nome dell'istanza da aggiornare. Viene visualizzata la pagina Dettagli.

  4. Completa i seguenti passaggi dalla pagina Dettagli.

    1. Se l'istanza è in esecuzione, fai clic su Arresta. Se non è presente l'opzione Arresta, fai clic su Altre azioni > Arresta.

    2. Fai clic su Modifica.

    3. Nella sezione Configurazione macchina, seleziona la famiglia di macchine GPU, quindi procedi nel seguente modo:

      1. Nell'elenco Tipo di GPU, seleziona o passa a uno dei tipi di GPU supportate sulle VM N1.

      2. Nell'elenco Numero di GPU, seleziona il numero di GPU.

      3. Se il modello di GPU supporta le workstation virtuali (vWS) NVIDIA RTX per i workload grafici e prevedi di eseguire workload ad alta intensità di grafica su questa istanza, seleziona Attiva workstation virtuale (NVIDIA GRID).

    4. Se all'istanza non erano state collegate GPU, completa quanto segue:

      1. Se l'istanza ha un tipo di macchina con core condivisi, devi modificarlo. Nell'elenco Tipo di macchina, seleziona uno dei tipi di macchina N1 predefiniti. In alternativa, puoi anche specificare impostazioni per i tipi di macchina personalizzata.

      2. Nella sezione Gestione, completa quanto segue:

        1. Nell'elenco Host in manutenzione, seleziona Termina istanza VM. Le istanze con GPU collegate non possono essere migrate live. Consulta Gestisci gli eventi degli host GPU.

        2. Nell'elenco Riavvio automatico, seleziona Attivo.

    5. Per applicare le modifiche, fai clic su Salva.

    6. Per riavviare la VM, fai clic su Avvia/Riprendi.

REST

Puoi aggiungere o modificare le GPU sull'istanza arrestandola e modificando la configurazione dell'istanza tramite l'API.

  1. Verifica che tutte le applicazioni critiche siano arrestate sull'istanza e crea un comando POST per arrestare l'istanza in modo che possa passare a un sistema host in cui sono disponibili le GPU.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/stop

  2. Se alla tua istanza non sono collegate GPU, completa i seguenti passaggi:

    1. Identifica il tipo di GPU che vuoi aggiungere all'istanza. Puoi inviare una richiesta GET per generare un elenco dei tipi di GPU disponibili per il tuo progetto in una zona specifica.

      GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/acceleratorTypes

    2. Se l'istanza ha un tipo di macchina con core condiviso, devi modificare il tipo di macchina in modo che abbia una o più vCPU. Non puoi aggiungere acceleratori alle istanze con tipi di macchine con core condivisi.

    3. Crea un comando POST per impostare le opzioni di pianificazione per l'istanza.

      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setScheduling

{
"onHostMaintenance": "TERMINATE",
"automaticRestart": true
}

  3. Crea una richiesta POST per aggiungere o modificare le GPU collegate alla tua istanza.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setMachineResources

    {
     "guestAccelerators": [
      {
        "acceleratorCount": ACCELERATOR_COUNT,
        "acceleratorType": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/acceleratorTypes/ACCELERATOR_TYPE"
      }
     ]
    }

  4. Avvia l'istanza.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/start

    Sostituisci quanto segue:

    • PROJECT_ID: il tuo ID progetto.
    • VM_NAME: il nome dell'istanza a cui vuoi aggiungere GPU.
    • ZONE: la zona in cui si trova l'istanza
    • ACCELERATOR_COUNT: il numero di GPU che vuoi collegare all'istanza. Per un elenco dei limiti delle GPU in base al tipo di macchina dell'istanza, consulta GPU su Compute Engine.

    • ACCELERATOR_TYPE: il modello di GPU a cui vuoi collegarti o passare. Se prevedi di eseguire workload ad alta intensità di grafica su questa istanza, utilizza uno dei modelli di workstation virtuale.

      Scegli uno dei seguenti valori:

      • GPU NVIDIA:

        • NVIDIA T4: nvidia-tesla-t4
        • NVIDIA P4: nvidia-tesla-p4
        • NVIDIA P100: nvidia-tesla-p100
        • NVIDIA V100: nvidia-tesla-v100

      • Workstation virtuale (vWS) NVIDIA RTX (precedentemente nota come NVIDIA GRID):

        • NVIDIA T4 Virtual Workstation: nvidia-tesla-t4-vws
        • NVIDIA P4 Virtual Workstation: nvidia-tesla-p4-vws
        • NVIDIA P100 Virtual Workstation: nvidia-tesla-p100-vws

        Per queste workstation virtuali, all'istanza viene aggiunta automaticamente una licenza per workstation virtuale (vWS) NVIDIA RTX.

Installa i driver

Per installare i driver, scegli una delle seguenti opzioni:

Rimuovi le GPU

Questa sezione spiega come rimuovere i seguenti tipi di GPU da un'istanza N1 per uso generico esistente.

GPU NVIDIA:

  • NVIDIA T4: nvidia-tesla-t4
  • NVIDIA P4: nvidia-tesla-p4
  • NVIDIA P100: nvidia-tesla-p100
  • NVIDIA V100: nvidia-tesla-v100

Workstation virtuale (vWS) NVIDIA RTX (precedentemente nota come NVIDIA GRID):

  • NVIDIA T4 Virtual Workstation: nvidia-tesla-t4-vws
  • NVIDIA P4 Virtual Workstation: nvidia-tesla-p4-vws

  • NVIDIA P100 Virtual Workstation: nvidia-tesla-p100-vws

    Per queste workstation virtuali, all'istanza viene aggiunta automaticamente una licenza per workstation virtuale (vWS) NVIDIA RTX.

Puoi utilizzare la Google Cloud console per rimuovere le GPU da un'istanza esistente. Per rimuovere le GPU completa i seguenti passaggi:

  1. Verifica che tutte le applicazioni critiche siano arrestate sull'istanza.

  2. Nella console Google Cloud , vai alla pagina Istanze VM per visualizzare l'elenco delle istanze.

    Vai a Istanze VM

  3. Fai clic sul nome dell'istanza da cui vuoi rimuovere le GPU. Viene visualizzata la pagina Dettagli.

  4. Completa i seguenti passaggi dalla pagina Dettagli.

    1. Se l'istanza è in esecuzione, fai clic su Arresta per arrestarla. Se non è presente l'opzione Arresta, fai clic su Altre azioni > Arresta.

    2. Nella barra degli strumenti, fai clic su Modifica.

    3. Nella sezione Configurazione macchina, seleziona la famiglia di macchine Per uso generico e poi procedi nel seguente modo:

      1. Per visualizzare le GPU collegate, espandi Configurazioni avanzate.

      2. Nella sezione GPU, rimuovi le GPU utilizzando una delle seguenti opzioni:

        • Per rimuovere alcune GPU, nell'elenco Numero di GPU, seleziona un nuovo numero.

        • Per rimuovere tutte le GPU, fai clic su Elimina GPU.

    4. (Facoltativo) Modifica l'impostazione della policy di manutenzione dell'host dell'istanza. Le istanze con GPU devono avere la policy di manutenzione dell'host impostata su Termina istanza VM. Tuttavia, se hai rimosso tutte le GPU, hai la possibilità di eseguire la migrazione live di questa istanza durante la manutenzione dell'host. Per maggiori informazioni, consulta Imposta la policy di manutenzione dell'host della VM.

    5. Per applicare le modifiche, fai clic su Salva.

    6. Per riavviare l'istanza, fai clic su Avvia/Riprendi.

Passaggi successivi