Questa pagina è stata tradotta dall'API Cloud Translation.

Crea una VM ottimizzata per l'acceleratore

Linux Windows

Questo documento spiega come creare una VM che utilizza una famiglia di macchine ottimizzata per gli acceleratori. La famiglia di macchine ottimizzate per l'acceleratore è disponibile nei tipi di macchine A3, A2 e G2.

Ogni tipo di macchina ottimizzato per l'acceleratore ha un modello specifico di GPU NVIDIA in allegato.

Per i tipi di macchine A3 ottimizzate per l'acceleratore, sono collegate GPU NVIDIA H100 da 80 GB. Sono disponibili nelle seguenti opzioni:
- A3 High (a3-highgpu-8g): a questo tipo di macchina sono collegate GPU H100 da 80 GB
- A3 Mega (a3-megagpu-8g): questo tipo di macchina ha GPU H100 da 80 GB Mega allegato
Per i tipi di macchine A2 ottimizzate per l'acceleratore, sono collegate GPU NVIDIA A100. Sono disponibili nelle seguenti opzioni:
- A2 standard (a2-highgpu-*, a2-megagpu-*): a questi tipi di macchine sono collegate GPU A100 da 40 GB
- A2 Ultra (a2-ultragpu-*): a questi tipi di macchine sono associate GPU A100 da 80 GB
Per tipi di macchine ottimizzate per l'acceleratore G2 (g2-standard-*), sono collegate GPU NVIDIA L4.

Prima di iniziare

Per esaminare ulteriori passaggi preliminari, come la selezione di un'immagine del sistema operativo e la verifica della quota GPU, consulta il documento di panoramica.
Se non l'hai ancora fatto, configura l'autenticazione. Autenticazione è Il processo di verifica dell'identità per l'accesso ai servizi e alle API di Google Cloud. Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi autenticarti su Compute Engine come segue.

Select the tab for how you plan to use the samples on this page:
Console

When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.
gcloud
1. Install the Google Cloud CLI, then initialize it by running the following command:
  gcloud init
  Note: If you installed the gcloud CLI previously, make sure you have the latest version by running gcloud components update.
2. Set a default region and zone.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare VM, chiedi all'amministratore di concederti il ruolo IAM Amministratore istanze Compute (v1) (roles/compute.instanceAdmin.v1) nel progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare VM. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per creare VM sono necessarie le seguenti autorizzazioni:

compute.instances.create sul progetto
Per utilizzare un'immagine personalizzata per creare la VM: compute.images.useReadOnly sull'immagine
Per utilizzare uno snapshot per creare la VM: compute.snapshots.useReadOnly sullo snapshot
Per utilizzare un modello di istanza per creare la VM: compute.instanceTemplates.useReadOnly nel modello di istanza
Per assegnare una rete legacy alla VM: compute.networks.use nel progetto
Per specificare un indirizzo IP statico per la VM: compute.addresses.use del progetto
Per assegnare un indirizzo IP esterno alla VM quando utilizzi una rete legacy: compute.networks.useExternalIp del progetto
Per specificare una subnet per la VM: compute.subnetworks.use nel progetto o nella subnet scelta
Per assegnare un indirizzo IP esterno alla VM quando utilizzi una rete VPC: compute.subnetworks.useExternalIp nel progetto o nella subnet scelta
Per impostare i metadati dell'istanza VM per la VM: compute.instances.setMetadata nel progetto
Per impostare i tag per la VM: compute.instances.setTags sulla VM
Per impostare le etichette per la VM: compute.instances.setLabels sulla VM
Per impostare un account di servizio da utilizzare per la VM: compute.instances.setServiceAccount sulla VM
Per creare un nuovo disco per la VM: compute.disks.create nel progetto
Per collegare un disco esistente in modalità di sola lettura o di lettura e scrittura: compute.disks.use sul disco
Per collegare un disco esistente in modalità di sola lettura: compute.disks.useReadOnly sul disco

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Crea una VM con GPU collegate

Puoi creare una VM ottimizzata per l'acceleratore A3, A2 o G2 utilizzando la console Google Cloud, Google Cloud CLI o REST.

Per eseguire alcune personalizzazioni delle VM G2, potrebbe essere necessario utilizzare Google Cloud CLI o REST. Vedi le limitazioni di G2.

Console

Nella console Google Cloud, vai alla pagina Crea un'istanza.

Vai a Crea un'istanza
Specifica un nome per la VM. Consulta: Convenzione di denominazione delle risorse.
Seleziona una regione e una zona in cui sono disponibili le GPU. Consulta l'elenco delle Regioni e zone GPU.
Nella sezione Configurazione macchina, seleziona la macchina GPU. famiglia e poi:
1. Nell'elenco Tipo di GPU, seleziona il tipo di GPU.
  - Per le VM ottimizzate per l'acceleratore A3, seleziona NVIDIA H100 80GB oppure NVIDIA H100 80GB MEGA.
  - Per le VM ottimizzate per l'acceleratore A2, seleziona NVIDIA A100 40GB o NVIDIA A100 80GB.
  - Per le VM ottimizzate per l'acceleratore G2, seleziona NVIDIA L4.
2. Nell'elenco Numero di GPU, seleziona il numero di GPU.
  
  Nota: ogni tipo di macchina ottimizzato per l'acceleratore ha un numero fisso GPU collegate. Se regoli il numero di GPU, modifiche al tipo di macchina.
3. Se il tuo modello GPU supporta workstation virtuali NVIDIA RTX (vWS) per carichi di lavoro di grafica e prevedi di eseguire ad alta intensità di grafica su questa VM, seleziona Abilita workstation virtuale (NVIDIA GRID).
Nella sezione Disco di avvio, fai clic su Cambia. Viene visualizzata la pagina Configurazione del disco di avvio.
Nella pagina Configurazione del disco di avvio, segui questi passaggi:
1. Nella scheda Immagini pubbliche, scegli un'immagine Compute Engine supportata o Immagini VM per il deep learning.
2. Specifica una dimensione del disco di avvio di almeno 40 GB.
3. Per confermare le opzioni del disco di avvio, fai clic su Seleziona.
(Facoltativo) Configura il modello di provisioning. Ad esempio, se il tuo carico di lavoro è a tolleranza di errore e può essere sottoposto a un possibile prerilascio delle VM, valuta la possibilità di utilizzare le VM spot per ridurre il costo delle VM e delle GPU collegate. Per ulteriori informazioni, consulta GPU su VM spot. A tale scopo, completa i seguenti passaggi:
1. Nella sezione Criteri di disponibilità, seleziona Spot. dall'elenco Modello di provisioning delle VM. Questa impostazione disattiva le opzioni di riavvio automatico e manutenzione dell'host per la VM.
2. (Facoltativo) Nell'elenco Al termine della VM, seleziona cosa succede quando Compute Engine esegue la preemption della VM:
  - Per arrestare la VM durante la preemption, seleziona Interrompi (predefinito).
  - Per eliminare la VM durante il prerilascio, seleziona Elimina.
Per creare e avviare la VM, fai clic su Crea.

gcloud

Per creare e avviare una VM, utilizza gcloud compute instances create con i seguenti flag. Le VM con GPU non possono essere migrate in tempo reale, assicurati di impostare il flag --maintenance-policy=TERMINATE.

I seguenti flag facoltativi sono mostrati nel comando di esempio:

Il flag --provisioning-model=SPOT che configura le tue VM come VM spot. Se il tuo carico di lavoro è a tolleranza di errore e può resistere a un possibile prerilascio delle VM, valuta la possibilità di utilizzare le VM spot per ridurre il costo delle VM e delle GPU collegate. Per ulteriori informazioni, consulta GPU su VM spot. Per le VM spot, i flag delle opzioni di riavvio automatico e manutenzione dell'host sono disabilitati.
Il flag --accelerator per specificare una workstation virtuale. Le workstation virtuali (vWS) NVIDIA RTX sono supportate solo per le VM G2.

  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE \
      [--provisioning-model=SPOT] \
      [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]

Sostituisci quanto segue:

VM_NAME: il nome della nuova VM.
MACHINE_TYPE : il tipo di macchina selezionato. Scegli una delle seguenti opzioni le seguenti:
- Un tipo di macchina A3.
- Un tipo di macchina A2.
- Un tipo di macchina G2. Anche i tipi di macchine G2 supportano la memoria personalizzata. La memoria deve essere un multiplo di 1024 MB e all'interno del intervallo di memoria supportato. Ad esempio, per creare una VM con 4 vCPU e 19 GB di memoria, specifica --machine-type=g2-custom-4-19456.
ZONE: la zona per la VM. Questa zona deve supportare il modello GPU selezionato.
DISK_SIZE: le dimensioni del disco di avvio in GB. Specifica una dimensione del disco di avvio di almeno 40 GB.
IMAGE: un'immagine del sistema operativo che supporta le GPU. Se vuoi usare l'ultima immagine in un famiglia di immagini, sostituisci --image con il flag --image-family e imposta il suo valore su una famiglia di immagini supporta le GPU. Ad esempio: --image-family=rocky-linux-8-optimized-gcp.
Puoi anche specificare un'immagine personalizzata o Deep Learning VM Images.
IMAGE_PROJECT: il Compute Engine progetto immagine che l'immagine del sistema operativo a cui appartiene. Se utilizzi un'immagine personalizzata o immagini VM di deep learning, specifica il progetto a cui appartengono queste immagini.
VWS_ACCELERATOR_COUNT: il numero di GPU virtuali di cui hai bisogno.

REST

Invia una richiesta POST al Metodo instances.insert. Non è possibile eseguire la migrazione live delle VM con GPU. Assicurati di impostare onHostMaintenance su TERMINATE.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
"machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
"disks":
[
  {
    "type": "PERSISTENT",
    "initializeParams":
    {
      "diskSizeGb": "DISK_SIZE",
      "sourceImage": "SOURCE_IMAGE_URI"
    },
    "boot": true
  }
],
"name": "VM_NAME",
"networkInterfaces":
[
  {
    "network": "projects/PROJECT_ID/global/networks/NETWORK"
  }
],
"scheduling":
{
  "onHostMaintenance": "terminate",
  ["automaticRestart": true]
},
}

Sostituisci quanto segue:

VM_NAME: il nome della nuova VM.
PROJECT_ID: il tuo ID progetto.
ZONE: la zona della VM. Questa zona deve supportare il modello di GPU selezionato.
MACHINE_TYPE : il tipo di macchina selezionato. Scegli una delle seguenti opzioni le seguenti:
- Un tipo di macchina A3.
- Un tipo di macchina A2.
- Un tipo di macchina G2. Anche i tipi di macchine G2 supportano la memoria personalizzata. La memoria deve essere un multiplo di 1024 MB e all'interno del intervallo di memoria supportato. Ad esempio, per creare una VM con 4 vCPU e 19 GB di memoria, specifica --machine-type=g2-custom-4-19456.
SOURCE_IMAGE_URI: l'URI della specifica immagine o famiglia di immagini che vuoi per gli utilizzi odierni. Ad esempio:
- Immagine specifica: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
- Famiglia di immagini: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp"
Quando specifichi una famiglia di immagini, Compute Engine crea una VM dall'immagine del sistema operativo più recente e non deprecata della famiglia. Per ulteriori informazioni su quando utilizzare le famiglie di immagini, vedi Best practice per le famiglie di immagini
DISK_SIZE: le dimensioni del disco di avvio in GB. Specifica una dimensione del disco di avvio di almeno 40 GB.
NETWORK: la rete VPC che vuoi utilizzare per la VM. Puoi specificare "default" per utilizzare la rete predefinita.

Impostazioni aggiuntive:

Se il carico di lavoro è a tolleranza di errore ed è in grado di resistere con il prerilascio delle VM, valuta la possibilità di utilizzare le VM spot per ridurre il costo delle VM per uso generico di CPU e GPU. Per ulteriori informazioni, vedi GPU su VM spot. Per specificare le VM spot, aggiungi l'opzione "provisioningModel": "SPOT" alla tua richiesta. Per le VM spot, i flag delle opzioni di riavvio automatico e manutenzione dell'host disattivata.
```
"scheduling":
  {
    "provisioningModel": "SPOT"
  }
```
Per le VM G2, sono supportate le workstation virtuali NVIDIA RTX (vWS). A specifica una workstation virtuale, aggiungi l'opzione "guestAccelerators" alla tua richiesta. Sostituisci VWS_ACCELERATOR_COUNT con il numero di le GPU virtuali di cui hai bisogno.
```
"guestAccelerators":
  [
    {
      "acceleratorCount": VWS_ACCELERATOR_COUNT,
      "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws"
    }
  ]
```

Limitazioni

VM A3

Le seguenti limitazioni si applicano alle VM che utilizzano i tipi di macchine A3 High e A3 Mega:

Non ricevi sostenibilità per l'utilizzo degli sconti e per impegno di utilizzo flessibile per le VM che usano tipi di macchine A3.
Puoi utilizzare i tipi di macchine A3 solo in determinate regioni e zone.
Non puoi utilizzare le opzioni regionali dischi permanenti sulle VM che utilizzano tipi di macchine A3.
Il tipo di macchina A3 è disponibile solo sulla piattaforma Sapphire Rapids.
Se la VM utilizza un tipo di macchina A3, non puoi modificarlo. Se devi modificare il tipo di macchina, devi creare una nuova VM.
Non puoi cambiare il tipo di macchina di una VM in un tipo di macchina A3. Se hai bisogno a una VM che utilizza un tipo di macchina A3, devi crearne una nuova.
I tipi di macchina A3 non supportano la single-tenancy.
Non puoi eseguire i sistemi operativi Windows sui tipi di macchina A3.
Puoi prenotare i tipi di macchine A3 solo tramite determinate prenotazioni.

VM A2 standard

Non ricevi sostenibilità per l'utilizzo degli sconti e per impegno di utilizzo flessibile per le VM che utilizzano tipi di macchine A2 Standard.
Puoi utilizzare i tipi di macchina A2 Standard solo in determinate regioni e zone.
Non puoi utilizzare le opzioni regionali dischi permanenti sulle VM che utilizzano tipi di macchine standard A2.
Il tipo di macchina A2 Standard è disponibile solo sulla piattaforma Cascade Lake.
Se la tua VM utilizza un tipo di macchina A2 standard, puoi passare solo da un tipo di macchina A2 standard a un altro tipo di macchina A2 standard. Non puoi passare a un altro tipo di macchina. Per ulteriori informazioni, vedi Modifica le VM ottimizzate per l'acceleratore.
Non puoi utilizzare il sistema operativo Windows con i tipi di macchine A2 standard <codea2-megagpu-16g< code="" dir="ltr" translate="no">. Se utilizzi sistemi operativi Windows, scegli un tipo di macchina A2 Standard diverso.</codea2-megagpu-16g<>
Non puoi eseguire una formattazione rapida degli SSD locali collegati su VM Windows che utilizzano A2 Standard tipi di macchine virtuali. Per formattare questi SSD locali, devi eseguire un formato completo utilizzando l'attributo diskpart utilità e specifica format fs=ntfs label=tmpfs.
I tipi di macchine A2 standard non supportano la modalità single-tenant.

VM A2 Ultra

Non ricevi sconti per utilizzo e sconti per impegno di utilizzo flessibile per le VM che utilizzano tipi di macchine A2 Ultra.
Puoi utilizzare i tipi di macchine A2 Ultra solo in determinate regioni e zone.
Non puoi utilizzare i dischi permanenti regionali nelle VM che utilizzano i tipi di macchine A2 Ultra.
Il tipo di macchina A2 Ultra è disponibile solo sulla piattaforma Cascade Lake.
Se la VM utilizza un tipo di macchina A2 Ultra, non puoi modificarlo. Se devi utilizzare un tipo di macchina A2 Ultra diverso o qualsiasi altro tipo di macchina, devi creare un una nuova VM.
Non puoi cambiare nessun altro tipo di macchina in un tipo di macchina A2 Ultra. Se hai bisogno VM che utilizza un tipo di macchina A2 Ultra, devi crearne una nuova.
Non è possibile formattare rapidamente gli SSD locali collegati su VM Windows che utilizzano A2 Ultra tipi di macchine virtuali. Per formattare questi SSD locali, devi eseguire una formattazione completa utilizzando l'utilità diskpart e specificando format fs=ntfs label=tmpfs.

VM G2

Non ricevi sostenibilità per l'utilizzo degli sconti e per impegno di utilizzo flessibile per le VM che utilizzano i tipi di macchine G2.
Puoi utilizzare i tipi di macchine G2 solo in determinate regioni e zone.
Non puoi utilizzare le opzioni regionali dischi permanenti sulle VM che utilizzano tipi di macchine G2.
Il tipo di macchina G2 è disponibile solo sulla piattaforma Cascade Lake.
I dischi permanenti standard (pd-standard) non sono supportati sulle VM che utilizzano G2 i tipi di macchine standard. Per i tipi di dischi supportati, consulta Tipi di dischi supportati per G2.
Non puoi creare istanze multi-istanza GPU sui tipi di macchine G2.
Se devi modificare il tipo di macchina di una VM G2, rivedi Modifica le VM ottimizzate per l'acceleratore.
Non puoi utilizzare Deep Learning VM Images come dischi di avvio per le VM che usano i tipi di macchine G2.
L'attuale driver predefinito per Container-Optimized OS non supporta le GPU L4 in esecuzione su tipi di macchine G2. Container-Optimized OS supporta anche solo un insieme selezionato di driver. Se vuoi utilizzare Container-Optimized OS sui tipi di macchine G2, consulta le seguenti note:
- Utilizza una versione di Container-Optimized OS che supporti la versione minima consigliata del driver NVIDIA 525.60.13 o successive. Per ulteriori informazioni, consulta Note di rilascio di Container-Optimized OS.
- Quando installi il driver, specifica la versione più recente disponibile che funziona per le GPU L4. Ad esempio, sudo cos-extensions install gpu -- -version=525.60.13.
Devi utilizzare Google Cloud CLI o REST per creare VM G2 per i seguenti scenari:
- Vuoi specificare valori di memoria personalizzati.
- Vuoi personalizzare il numero di core CPU visibili.

Installa i driver

Affinché la VM possa utilizzare la GPU, è necessario Installa il driver GPU sulla VM.

Esempi

In questi esempi, la maggior parte delle VM viene creata utilizzando Google Cloud CLI. Tuttavia, puoi anche utilizzare la console Google Cloud o REST per creare queste VM.

Gli esempi riportati di seguito mostrano come creare VM utilizzando le seguenti immagini:

Immagini VM per il deep learning. Questo esempio utilizza la VM A2 Standard (a2-highgpu-1g).
Immagine ottimizzata per i container (COS). Questo esempio utilizza una VM a3-highgpu-8g A3.
Immagine pubblica. Questo esempio utilizza una VM G2.

COS (A3 alto)

Puoi creare VM a3-highgpu-8g con GPU H100 collegate utilizzando immagini Container-Optimized OS (COS).

Per istruzioni dettagliate su come configurare a3-highgpu-8g VM che utilizzano Container-Optimized OS, vedi Massimizza le prestazioni della rete GPU con GPUDirect-TCPX.

Immagine sistema operativo pubblico (G2)

Puoi creare VM con GPU collegate che utilizzano un'immagine pubblica disponibile su Compute Engine o un'immagine personalizzata.

Per creare una VM utilizzando l'immagine più recente non deprecata dal Rocky Linux 8 ottimizzato per la famiglia di immagini Google Cloud che utilizza g2-standard-8 di tipo di macchina virtuale e ha una workstation virtuale NVIDIA RTX, seguenti passaggi:

Crea la VM. In questo esempio, flag facoltativi come sono specificati anche il tipo e la dimensione del disco di avvio.

gcloud compute instances create VM_NAME \
    --project=PROJECT_ID \
    --zone=ZONE \
    --machine-type=g2-standard-8  \
    --maintenance-policy=TERMINATE --restart-on-failure \
    --network-interface=nic-type=GVNIC \
    --accelerator=type=nvidia-l4-vws,count=1 \
    --image-family=rocky-linux-8-optimized-gcp \
    --image-project=rocky-linux-cloud \
    --boot-disk-size=200GB \
    --boot-disk-type=pd-ssd

Sostituisci quanto segue:

VM_NAME: il nome della VM
PROJECT_ID: il tuo ID progetto.
ZONE: la zona della VM.

Installa il driver NVIDIA e CUDA. Per le GPU NVIDIA L4 è richiesta la versione CUDA XX o successive.

Immagine DLVM (A2)

L'utilizzo delle immagini DLVM è il modo più semplice per iniziare perché queste immagini hanno già i driver NVIDIA e le librerie CUDA preinstallati.

Queste immagini offrono anche ottimizzazioni delle prestazioni.

Per NVIDIA A100 sono supportate le seguenti immagini DLVM:

common-cu110: driver NVIDIA e CUDA preinstallati
tf-ent-1-15-cu110: driver NVIDIA, CUDA, TensorFlow Enterprise 1.15.3 preinstallato
tf2-ent-2-1-cu110: driver NVIDIA, CUDA, TensorFlow Enterprise 2.1.1 preinstallati
tf2-ent-2-3-cu110: driver NVIDIA, CUDA, TensorFlow Enterprise 2.3.1 preinstallato
pytorch-1-6-cu110: driver NVIDIA, CUDA, Pytorch 1.6

Per ulteriori informazioni sulle immagini DLVM disponibili e sui pacchetti installati sulle immagini, consulta la documentazione di Deep Learning VM.

Crea una VM utilizzando l'immagine tf2-ent-2-3-cu110 e a2-highgpu-1g tipo di macchina. In questo esempio, vengono specificati flag facoltativi come le dimensioni e l'ambito del disco di avvio.

gcloud compute instances create VM_NAME \
   --project PROJECT_ID \
   --zone ZONE \
   --machine-type a2-highgpu-1g \
   --maintenance-policy TERMINATE \
   --image-family tf2-ent-2-3-cu110 \
   --image-project deeplearning-platform-release \
   --boot-disk-size 200GB \
   --metadata "install-nvidia-driver=True,proxy-mode=project_editors" \
   --scopes https://www.googleapis.com/auth/cloud-platform

Sostituisci quanto segue:

VM_NAME: il nome della VM
PROJECT_ID: il tuo ID progetto.
ZONE: la zona della VM

Il comando di esempio precedente genera anche un'istanza di notebook gestiti dall'utente di Vertex AI Workbench per la VM. Per accedere al notebook, nella console Google Cloud vai alla pagina Vertex AI Workbench > Notebook gestiti dall'utente.

Vai alla pagina Blocchi note gestiti dall'utente

GPU a più istanze (solo VM A3 e A2)

Una GPU multi-istanza suddivide una singola GPU NVIDIA H100 o A100 all'interno della stessa VM in un massimo di sette istanze GPU indipendenti. Vengono eseguiti contemporaneamente, ognuno con la propria memoria multiprocessore per la gestione di flussi di dati e cache. Questa configurazione consente alla GPU NVIDIA H100 o A100 di offrire una qualità del servizio (QoS) garantita con un utilizzo fino a 7 volte superiore rispetto ai modelli di GPU precedenti.

Puoi creare fino a sette GPU multi-istanza. Per le GPU A100 da 40 GB, a ogni GPU multi-istanza vengono allocati 5 GB di memoria. Con A100 da 80 GB e H100 da 80 GB Le GPU la memoria allocata raddoppiano fino a 10 GB ciascuna.

Per ulteriori informazioni sull'utilizzo delle GPU multi-istanza, consulta la Guida dell'utente per le GPU multi-istanza NVIDIA.

Per creare GPU multi-istanza, completa i seguenti passaggi:

Crea una VM ottimizzata per l'acceleratore A3 o A2.
Attiva i driver GPU NVIDIA.

Suggerimento per professionisti: puoi saltare questo passaggio creando VM con Deep Learning VM Images. Ogni immagine VM per il deep learning ha un driver GPU NVIDIA preinstallato.
Abilita GPU multiistanza.
```
sudo nvidia-smi -mig 1
```

Esamina le forme GPU a più istanze disponibili.

sudo nvidia-smi mig --list-gpu-instance-profiles

L'output è simile al seguente:

+-----------------------------------------------------------------------------+
| GPU instance profiles:                                                      |
| GPU   Name             ID    Instances   Memory     P2P    SM    DEC   ENC  |
|                              Free/Total   GiB              CE    JPEG  OFA  |
|=============================================================================|
|   0  MIG 1g.10gb       19     7/7        9.62       No     16     1     0   |
|                                                             1     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.10gb+me    20     1/1        9.62       No     16     1     0   |
|                                                             1     1     1   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.20gb       15     4/4        19.50      No     26     1     0   |
|                                                             1     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 2g.20gb       14     3/3        19.50      No     32     2     0   |
|                                                             2     2     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 3g.40gb        9     2/2        39.25      No     60     3     0   |
|                                                             3     3     0   |
+-----------------------------------------------------------------------------+
.......

Crea la GPU multi-istanza (GI) e le istanze di calcolo associate (CI) che vuoi ottenere. Puoi creare queste istanze specificando l'istanza nome e ID profilo abbreviato o una combinazione di entrambi. Per scoprire di più, consulta la sezione Creare istanze GPU.

L'esempio seguente crea due istanze GPU MIG 3g.20gb utilizzando il metodo ID profilo (9).

Viene specificato anche il flag -C, che crea le istanze di calcolo associate per il profilo richiesto.
```
sudo nvidia-smi mig -cgi 9,9 -C
```
Verifica che vengano create le due GPU multi-istanza:
```
sudo nvidia-smi mig -lgi
```

Verifica che siano stati creati sia gli GI che gli CI corrispondenti.

sudo nvidia-smi

L'output è simile al seguente:

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.125.06   Driver Version: 525.125.06   CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA H100 80G...  Off  | 00000000:04:00.0 Off |                   On |
| N/A   33C    P0    70W / 700W |     39MiB / 81559MiB |     N/A      Default |
|                               |                      |              Enabled |
+-------------------------------+----------------------+----------------------+
|   1  NVIDIA H100 80G...  Off  | 00000000:05:00.0 Off |                   On |
| N/A   32C    P0    69W / 700W |     39MiB / 81559MiB |     N/A      Default |
|                               |                      |              Enabled |
+-------------------------------+----------------------+----------------------+
......

+-----------------------------------------------------------------------------+
| MIG devices:                                                                |
+------------------+----------------------+-----------+-----------------------+
| GPU  GI  CI  MIG |         Memory-Usage |        Vol|         Shared        |
|      ID  ID  Dev |           BAR1-Usage | SM     Unc| CE  ENC  DEC  OFA  JPG|
|                  |                      |        ECC|                       |
|==================+======================+===========+=======================|
|  0    1   0   0  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
|                  |      0MiB / 65535MiB |           |                       |
+------------------+----------------------+-----------+-----------------------+
|  0    2   0   1  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
|                  |      0MiB / 65535MiB |           |                       |
+------------------+----------------------+-----------+-----------------------+
......

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

Passaggi successivi

Scopri di più sulle piattaforme GPU.
Aggiungi SSD locali alle tue istanze. I dispositivi SSD locali si accoppiano bene con le GPU quando le tue app richiedono uno spazio di archiviazione ad alte prestazioni.
Installa i driver GPU.
Se hai attivato una workstation virtuale NVIDIA RTX, installa un driver per la workstation virtuale.
Per gestire la manutenzione dell'host GPU, consulta Gestione degli eventi di manutenzione dell'host GPU.