Aggiungere o rimuovere GPU

Compute Engine fornisce le GPU (Graphics Processing Unit) che aggiungibile alle tue istanze di macchine virtuali (VM). Puoi utilizzare queste GPU per accelerare carichi di lavoro specifici sulle VM, come e l'elaborazione dei dati.

Puoi utilizzare solo due famiglie di macchine quando esegui GPU su Compute Engine:

  • La famiglia di macchine ottimizzate per l'acceleratore: A3, A2 e G2.
  • La famiglia di macchine per uso generico N1. Puoi utilizzare la maggior parte dei tipi di macchina N1, ad eccezione del tipo di macchina con core condivisi N1. Se non sei una macchina per uso generico N1, passare a una macchina per uso generico N1 e poi aggiungere le GPU.

Prima di iniziare

  • Per rivedere i passaggi dei prerequisiti aggiuntivi, come la selezione di un'immagine del sistema operativo e controllare la quota GPU, esaminare documento di panoramica.
  • Se non l'hai già fatto, configura l'autenticazione. Autenticazione è la procedura di verifica dell'identità per l'accesso ai servizi e alle API di Google Cloud. Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi eseguire l'autenticazione Compute Engine come segue.

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    REST

    Per utilizzare gli esempi di API REST in questa pagina in un ambiente di sviluppo locale, utilizzi le credenziali che fornisci a gcloud CLI.

      Installa Google Cloud CLI, quindi initialize eseguendo questo comando: 

      gcloud init

    Per maggiori informazioni, consulta Autenticazione per l'utilizzo di REST nella documentazione sull'autenticazione di Google Cloud.

VM ottimizzate per l'acceleratore

Ogni tipo di macchina ottimizzato per l'acceleratore ha un modello specifico di GPU NVIDIA in allegato.

  • Per i tipi di macchine ottimizzati per l'acceleratore A3, GPU NVIDIA H100 da 80 GB in allegato. Sono disponibili nelle seguenti opzioni:
    • A3 Standard (a3-highgpu-8g): questo tipo di macchina ha GPU H100 da 80 GB allegato
    • A3 Mega (a3-megagpu-8g): questo tipo di macchina ha GPU H100 da 80 GB Mega allegato
  • Per i tipi di macchine ottimizzati per l'acceleratore A2: Sono collegate delle GPU NVIDIA A100. Si tratta di disponibile nelle seguenti opzioni:
    • A2 Standard (a2-highgpu-*, a2-megagpu-*): questi tipi di macchine hanno GPU A100 da 40 GB collegate
    • A2 Ultra (a2-ultragpu-*): questi tipi di macchina hanno GPU A100 da 80 GB allegato
  • Per i tipi di macchine ottimizzate per l'acceleratore G2 (g2-standard-*), Sono collegate GPU NVIDIA L4.

Puoi modificare ogni VM ottimizzata per l'acceleratore come segue:

  • Per A2 Ultra e tutte le VM A3, non puoi modificare il tipo di macchina. Se utilizzi uno di questi tipi di macchina per la tua VM e devi modificare il tipo di macchina e creare una nuova VM.

  • Per le VM standard A2, puoi modificare il conteggio GPU passando da una Tipo di macchina standard da A2 a un altro tipo di macchina standard A2.

  • Per le VM G2, puoi fare quanto segue:

    • Puoi modificare il conteggio GPU passando da un tipo di macchina G2 a un altro tipo di macchina G2.
    • Puoi passare da un tipo di macchina G2 a un tipo di macchina diverse famiglie di macchine, per uso generico o ottimizzate per il calcolo. Consulta Modificare il tipo di macchina di una VM.

  • Non puoi rimuovere le GPU da nessun tipo di macchina ottimizzato per l'acceleratore. Se non hai più bisogno di GPU, completa quanto segue:

    • Crea una nuova VM per tutte le VM A3 o A2.
    • Per le VM G2, passa a un tipo di macchina da una famiglia di macchine diversa.

Modifica il conteggio delle GPU

Puoi modificare il conteggio GPU di una VM ottimizzata per l'acceleratore A2 o G2 mediante la console Google Cloud o REST.

Console

Puoi modificare il numero di GPU per la tua VM arrestandola e la modifica della configurazione della VM.

  1. Verifica che tutte le applicazioni critiche siano arrestate sul VM.

  2. Nella console Google Cloud, vai alla pagina Istanze VM per visualizzare il tuo elenco delle VM.

    Vai a Istanze VM

  3. Fai clic sul nome della VM per cui vuoi modificare il numero di GPU. Si apre la pagina Dettagli.

  4. Completa i seguenti passaggi dalla pagina Dettagli.

    1. Se la VM è in esecuzione, fai clic su Interrompi. Quindi, attendi l'arresto della VM.

    2. Nella barra degli strumenti, fai clic su Modifica.

    3. Nella sezione Configurazione macchina, seleziona la macchina GPU. famiglia e poi:

      1. Nell'elenco Numero di GPU, aumenta o diminuisci il conteggio delle GPU.

    4. Per applicare le modifiche, fai clic su Salva.

    5. Per riavviare la VM, fai clic su Avvia/Riprendi.

REST

Puoi modificare il numero di GPU sulla VM arrestandola e cambiando il tipo di macchina. Ogni tipo di macchina ottimizzato per l'acceleratore un numero specifico di GPU collegate. Se cambi il tipo di macchina, regola il numero di GPU collegate alla VM.

  1. Verifica che tutte le applicazioni critiche siano arrestate sulla VM, quindi creerai un comando POST per arrestare la VM in modo che possa spostarsi in un sistema host in cui sono disponibili GPU.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/stop

  2. Dopo l'arresto della VM, crea una richiesta POST per modificare il tipo di macchina.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setMachineType

{
   machineType: "zones/ZONE/machineTypes/MACHINE_TYPE"
}

  3. Avviare la VM.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/start

Sostituisci quanto segue:

  • PROJECT_ID: il tuo ID progetto.
  • VM_NAME: il nome della VM che vuoi e aggiungere GPU.
  • ZONE: la zona in cui si trova la VM. Questo deve supportare le GPU.

  • MACHINE_TYPE: il tipo di macchina che vuoi usare. Deve essere uno dei seguenti:

    • Se la VM utilizza una macchina standard A2, selezionane un'altra Tipo di macchina A2.
    • Se la tua VM utilizza un tipo di macchina G2, selezionane un altro Tipo di macchina G2. Tipi di macchine G2 supportano anche la memoria personalizzata. La memoria deve essere un multiplo di 1024 MB nell'intervallo di memoria supportato. Ad esempio, per creare una VM con 4 vCPU e 19 GB di memoria specificare --machine-type=g2-custom-4-19456.

Limitazioni

VM A2

  • Non ricevi sostenibilità per l'utilizzo degli sconti e per impegno di utilizzo flessibile per le VM che utilizzano tipi di macchine A2 Standard.
  • Puoi utilizzare i tipi di macchina A2 Standard solo in determinate regioni e zone.
  • Non puoi utilizzare le opzioni regionali dischi permanenti sulle VM che utilizzano tipi di macchine standard A2.
  • Il tipo di macchina A2 Standard è disponibile solo sulla piattaforma Cascade Lake.
  • Se la tua VM utilizza un tipo di macchina A2 Standard, puoi passare solo da una macchina A2 Standard a un altro tipo di macchina A2 Standard. Non puoi passare a qualsiasi altro tipo di macchina. Per ulteriori informazioni, vedi Modifica le VM ottimizzate per l'acceleratore.
  • Non puoi utilizzare il sistema operativo Windows con <codea2-megagpu-16g< code="" dir="ltr" traduci="no"> Tipi di macchina standard A2. Se utilizzi sistemi operativi Windows, scegli un tipo di macchina A2 Standard diverso.</codea2-megagpu-16g<>
  • Non puoi eseguire una formattazione rapida degli SSD locali collegati su VM Windows che utilizzano A2 Standard tipi di macchine virtuali. Per formattare questi SSD locali, devi eseguire un formato completo utilizzando l'attributo diskpart utilità e specifica format fs=ntfs label=tmpfs.
  • I tipi di macchina A2 standard non supportano la single-tenancy.

VM G2

  • Non ricevi sostenibilità per l'utilizzo degli sconti e per impegno di utilizzo flessibile per le VM che utilizzano i tipi di macchine G2.
  • Puoi utilizzare i tipi di macchine G2 solo in determinate regioni e zone.
  • Non puoi utilizzare le opzioni regionali dischi permanenti sulle VM che utilizzano tipi di macchine G2.
  • Il tipo di macchina G2 è disponibile solo sulla piattaforma Cascade Lake.
  • I dischi permanenti standard (pd-standard) non sono supportati sulle VM che utilizzano G2 i tipi di macchine standard. Per i tipi di disco supportati, consulta Tipi di disco supportati per G2.
  • Non puoi creare istanze multi-istanza GPU sui tipi di macchine G2.
  • Se devi modificare il tipo di macchina di una VM G2, rivedi Modifica le VM ottimizzate per l'acceleratore.
  • Non puoi utilizzare Deep Learning VM Images come dischi di avvio per le VM che usano i tipi di macchine G2.
  • L'attuale driver predefinito per Container-Optimized OS non supporta le GPU L4 in esecuzione su tipi di macchine G2. Container-Optimized OS supporta inoltre solo un insieme selezionato di driver. Se vuoi utilizzare Container-Optimized OS sui tipi di macchine G2, rivedi le note seguenti:
    • Utilizza una versione di Container-Optimized OS che supporti il numero minimo consigliato Versione driver NVIDIA 525.60.13 o successiva. Per ulteriori informazioni, consulta Note di rilascio di Container-Optimized OS.
    • Quando installi il driver, specifica la versione più recente disponibile che funziona per le GPU L4. Ad esempio, sudo cos-extensions install gpu -- -version=525.60.13.
  • Devi utilizzare Google Cloud CLI o REST crea VM G2 per i seguenti scenari:
      .
    • Vuoi specificare valori di memoria personalizzati.
    • Vuoi personalizzare il numero di core CPU visibili.

VM per uso generico N1

Questa sezione illustra come aggiungere, modificare o rimuovere GPU da un modello N1 machine learning.

In sintesi, il processo per aggiungere, modificare o rimuovere le GPU da una VM esistente è il seguente: che segue:

  1. Verifica che la VM abbia un disco di avvio di almeno 40 GB.
  2. Arresta la VM.

  3. Aggiungi, modifica o rimuovi le GPU.

    Se alla VM non sono mai state collegate GPU, devi completare seguenti passaggi:

    1. Prepara la VM per la modifica.
    2. Modifica l'impostazione di manutenzione dell'host per la VM. Le VM con GPU non possono migrazione live perché sono assegnati a specifici dispositivi hardware. Per ulteriori informazioni, consulta le restrizioni delle GPU.
    3. Cambiare il tipo di macchina. Le GPU sono supportate solo seleziona i tipi di macchine.
    4. Installa un driver GPU sulla VM, in modo che il sistema possa utilizzare il dispositivo.

Prepara la VM

Quando si aggiunge una GPU a una VM, l'ordine dell'interfaccia di rete può cambiare.

La maggior parte delle immagini pubbliche su Compute Engine non ha una rete permanente dei nomi delle interfacce e adattati al nuovo ordine.

Tuttavia, se utilizzi SLES o un'immagine personalizzata, devi aggiornare impostazione di sistema per impedire la persistenza dell'interfaccia di rete. Per evitare di rete permanente, esegui questo comando sulla VM:

 rm /etc/udev/rules.d/70-persistent-net.rules

Aggiungi GPU o modifica il tipo di GPU sulle VM esistenti

Questa sezione illustra come aggiungere GPU o modificare il tipo di GPU su un modello N1 esistente. alle VM per uso generico. Questa procedura supporta le seguenti GPU tipi:

GPU NVIDIA:

  • NVIDIA T4: nvidia-tesla-t4
  • NVIDIA P4: nvidia-tesla-p4
  • NVIDIA P100: nvidia-tesla-p100
  • NVIDIA V100: nvidia-tesla-v100

NVIDIA RTX Virtual Workstation (vWS) (precedentemente nota come NVIDIA GRID):

  • Workstation virtuale NVIDIA T4: nvidia-tesla-t4-vws
  • Workstation virtuale NVIDIA P4: nvidia-tesla-p4-vws

  • Workstation virtuale NVIDIA P100: nvidia-tesla-p100-vws

    Per queste workstation virtuali, una licenza NVIDIA RTX Virtual Workstation (vWS) viene aggiunto automaticamente alla tua VM.

Console

Per aggiungere GPU o modificare il tipo di GPU, completa i seguenti passaggi.

  1. Verifica che tutte le applicazioni critiche siano arrestate sul VM.

  2. Nella console Google Cloud, vai alla pagina Istanze VM per visualizzare il tuo elenco delle VM.

    Vai a Istanze VM

  3. Fai clic sul nome della VM che vuoi aggiornare. Si apre la pagina Dettagli.

  4. Completa i seguenti passaggi dalla pagina Dettagli.

    1. Se la VM è in esecuzione, fai clic su Interrompi. Quindi, attendi l'arresto della VM.

    2. Nella barra degli strumenti, fai clic su Modifica.

    3. Nella sezione Configurazione macchina, seleziona la macchina GPU. famiglia e poi:

      1. Nell'elenco Tipo di GPU, seleziona o passa a una qualsiasi delle GPU. supportati sulle VM N1.

      2. Nell'elenco Numero di GPU, seleziona il numero di GPU.

      3. Se il tuo modello GPU supporta Workstation virtuali (vWS) NVIDIA RTX per carichi di lavoro di grafica e prevedi di eseguire carichi di lavoro ad alta intensità di grafica su questa VM, Seleziona Abilita workstation virtuale (NVIDIA GRID).

    4. Se alla VM non sono mai state collegate GPU, completa quanto segue:

      1. Se la VM ha un tipo di macchina con core condivisi, devi modificare tipo di macchina. Nell'elenco Tipo di macchina, seleziona una delle tipi di macchine N1 preimpostati. In alternativa, puoi anche specificare impostazioni tipo di macchina personalizzata.

      2. Nella sezione Gestione, completa le seguenti informazioni:

        1. Nell'elenco Host in manutenzione, seleziona Termina istanza VM. Impossibile eseguire la migrazione live delle VM con GPU collegate. Vedi Gestire gli eventi host GPU.

        2. Nell'elenco Riavvio automatico, seleziona On.

    5. Per applicare le modifiche, fai clic su Salva.

    6. Per riavviare la VM, fai clic su Avvia/Riprendi.

REST

Puoi aggiungere o modificare GPU sulla tua VM arrestandola e modificando configurazione delle VM tramite l'API.

  1. Verifica che tutte le applicazioni critiche siano arrestate sulla VM quindi creerai un comando POST per arrestare la VM in modo che possa spostarsi in un sistema host in cui sono disponibili GPU.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/stop

  2. Se alla VM non sono mai state collegate GPU, completa i seguenti passaggi:

    1. Identifica il tipo di GPU che vuoi aggiungere al tuo VM. Puoi inviare una richiesta GET per elencare i tipi di GPU che sono disponibili per il tuo progetto in una zona specifica.

      GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/acceleratorTypes

    2. Se la VM ha un tipo di macchina con core condivisi, devi cambia il tipo di macchina per avere una o più vCPU. Non puoi aggiungere acceleratori alle VM con di macchine con core condivisi.

    3. Crea un comando POST per impostare le opzioni di pianificazione per la VM.

      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setScheduling

{
"onHostMaintenance": "TERMINATE",
"automaticRestart": true
}

  3. Crea una richiesta POST per aggiungere o modificare le GPU collegate al tuo VM.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setMachineResources

    {
     "guestAccelerators": [
      {
        "acceleratorCount": ACCELERATOR_COUNT,
        "acceleratorType": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/acceleratorTypes/ACCELERATOR_TYPE"
      }
     ]
    }

  4. Avviare la VM.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/start

    Sostituisci quanto segue:

    • PROJECT_ID: il tuo ID progetto.
    • VM_NAME: il nome della VM che vuoi e aggiungere GPU.
    • ZONE: la zona in cui si trova la VM.
    • ACCELERATOR_COUNT: il numero di GPU che vuoi collegare alla VM. Per un elenco dei limiti di GPU basati sul tipo di macchina della tua VM, consulta GPU su Compute Engine.

    • ACCELERATOR_TYPE: il valore Modello GPU che vuoi collegare o a cui vuoi passare. Se prevedi di eseguire carichi di lavoro ad alta intensità di grafica su questa VM, usane uno del modelli di workstation virtuali.

      Scegli uno dei seguenti valori:

      • GPU NVIDIA:

        • NVIDIA T4: nvidia-tesla-t4
        • NVIDIA P4: nvidia-tesla-p4
        • NVIDIA P100: nvidia-tesla-p100
        • NVIDIA V100: nvidia-tesla-v100

      • NVIDIA RTX Virtual Workstation (vWS) (precedentemente nota come NVIDIA GRID):

        • Workstation virtuale NVIDIA T4: nvidia-tesla-t4-vws
        • Workstation virtuale NVIDIA P4: nvidia-tesla-p4-vws
        • Workstation virtuale NVIDIA P100: nvidia-tesla-p100-vws

        Per queste workstation virtuali, viene eseguita una workstation virtuale NVIDIA RTX (vWS) viene aggiunta automaticamente alla VM.

Installa driver

Per installare i driver, scegli una delle seguenti opzioni:

Rimuovi GPU

Questa sezione illustra come rimuovere i seguenti tipi di GPU da un una VM per uso generico N1 esistente.

GPU NVIDIA:

  • NVIDIA T4: nvidia-tesla-t4
  • NVIDIA P4: nvidia-tesla-p4
  • NVIDIA P100: nvidia-tesla-p100
  • NVIDIA V100: nvidia-tesla-v100

NVIDIA RTX Virtual Workstation (vWS) (precedentemente nota come NVIDIA GRID):

  • Workstation virtuale NVIDIA T4: nvidia-tesla-t4-vws
  • Workstation virtuale NVIDIA P4: nvidia-tesla-p4-vws

  • Workstation virtuale NVIDIA P100: nvidia-tesla-p100-vws

    Per queste workstation virtuali, una licenza NVIDIA RTX Virtual Workstation (vWS) viene aggiunto automaticamente alla tua VM.

Puoi utilizzare la console Google Cloud per rimuovere le GPU da una VM esistente. Per rimuovere GPU, completa i seguenti passaggi:

  1. Verifica che tutte le applicazioni critiche siano arrestate sul VM.

  2. Nella console Google Cloud, vai alla pagina Istanze VM per visualizzare l'elenco delle delle VM in esecuzione.

    Vai a Istanze VM

  3. Fai clic sul nome della VM da cui vuoi rimuovere le GPU. Si apre la pagina Dettagli.

  4. Completa i seguenti passaggi dalla pagina Dettagli.

    1. Se la VM è in esecuzione, fai clic su Interrompi. Quindi, attendi l'arresto della VM.

    2. Nella barra degli strumenti, fai clic su Modifica.

    3. Nella sezione Configurazione macchina, seleziona il Famiglia di macchine per uso generico, quindi:

      1. Per visualizzare le GPU collegate, espandi Configurazioni avanzate.

      2. Nella sezione GPU, rimuovi le GPU utilizzando una delle le seguenti opzioni:

        • Per rimuovere alcune GPU, nell'elenco Numero di GPU: seleziona un nuovo numero.

        • Per rimuovere tutte le GPU, fai clic su Elimina GPU.

    4. (Facoltativo) Modifica l'impostazione dei criteri di manutenzione dell'host della VM. Per le VM con GPU il criterio di manutenzione dell'host deve essere impostato su Termina istanza VM. Ma se rimuovi tutte le GPU, avrai per eseguire la migrazione live di questa VM durante la manutenzione dell'host. Per ulteriori informazioni, vedi Imposta il criterio di manutenzione dell'host della VM

    5. Per applicare le modifiche, fai clic su Salva.

    6. Per riavviare la VM, fai clic su Avvia/Riprendi.

Passaggi successivi