Crea una VM ottimizzata per l'acceleratore

Questo documento spiega come creare una VM che utilizza una famiglia di macchine ottimizzate per l'acceleratore. La famiglia di macchine ottimizzate per l'acceleratore è disponibile nei tipi di macchine A3 standard, A2 standard e ultra e G2 standard.

A ogni tipo di macchina ottimizzata per l'acceleratore è collegato un modello specifico di GPU NVIDIA.

Per i tipi di macchine ottimizzate per l'acceleratore A3, sono collegate le GPU NVIDIA H100 da 80 GB.
Per i tipi di macchine ottimizzate per l'acceleratore A2, sono collegate le GPU NVIDIA A100. Questi sono disponibili nelle opzioni A100 da 40 GB e A100 da 80 GB.
Per i tipi di macchine ottimizzate per l'acceleratore G2, sono collegate le GPU NVIDIA L4.

Prima di iniziare

Per rivedere i passaggi preliminari aggiuntivi come la selezione di un'immagine del sistema operativo e la verifica della quota GPU, consulta il documento della panoramica.
Se non l'hai ancora fatto, configura l'autenticazione. L'autenticazione è il processo mediante il quale viene verificata l'identità per l'accesso ai servizi e alle API Google Cloud. Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi autenticarti in Compute Engine nel seguente modo.

Seleziona la scheda relativa a come prevedi di utilizzare gli esempi in questa pagina:
Console

Quando utilizzi la console Google Cloud per accedere ai servizi e alle API di Google Cloud, non devi configurare l'autenticazione.
gcloud
1. Installa Google Cloud CLI, quindi initialize eseguendo questo comando:
```
gcloud init
```
  Nota: se hai già installato gcloud CLI in precedenza, assicurati di disporre della versione più recente eseguendo gcloud components update.
2. Imposta una regione e una zona predefinite.
REST

Per utilizzare gli esempi di API REST in questa pagina in un ambiente di sviluppo locale, devi utilizzare le credenziali che fornisci a gcloud CLI.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare VM, chiedi all'amministratore di concederti il ruolo IAM Amministratore istanze Compute (v1) (roles/compute.instanceAdmin.v1) per il progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare le VM. Per visualizzare le autorizzazioni esatte necessarie, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per creare VM sono necessarie le seguenti autorizzazioni:

compute.instances.create sul progetto
Per utilizzare un'immagine personalizzata per creare la VM: compute.images.useReadOnly nell'immagine
Per utilizzare uno snapshot per creare la VM: compute.snapshots.useReadOnly nello snapshot
Per utilizzare un modello di istanza per creare la VM: compute.instanceTemplates.useReadOnly sul modello di istanza
Per assegnare una rete legacy alla VM: compute.networks.use sul progetto
Per specificare un indirizzo IP statico per la VM: compute.addresses.use sul progetto
Per assegnare un indirizzo IP esterno alla VM quando utilizzi una rete legacy: compute.networks.useExternalIp sul progetto
Per specificare una subnet per la tua VM: compute.subnetworks.use sul progetto o nella subnet scelta
Per assegnare un indirizzo IP esterno alla VM quando utilizzi una rete VPC: compute.subnetworks.useExternalIp sul progetto o nella subnet scelta
Per impostare i metadati dell'istanza VM per la VM: compute.instances.setMetadata sul progetto
Per impostare i tag per la VM: compute.instances.setTags sulla VM
Per impostare le etichette per la VM: compute.instances.setLabels sulla VM
Per impostare un account di servizio per la VM da utilizzare: compute.instances.setServiceAccount sulla VM
Per creare un nuovo disco per la VM: compute.disks.create sul progetto
Per collegare un disco esistente in modalità di sola lettura o lettura/scrittura: compute.disks.use sul disco
Per collegare un disco esistente in modalità di sola lettura: compute.disks.useReadOnly sul disco

Potresti anche essere in grado di ottenere queste autorizzazioni con i ruoli personalizzati o altri ruoli predefiniti.

Crea una VM con GPU collegate

Puoi creare una VM ottimizzata per l'acceleratore A3, A2 o G2 utilizzando la console Google Cloud, Google Cloud CLI o REST.

Per eseguire alcune personalizzazioni alle VM G2, potresti dover utilizzare REST o Google Cloud CLI. Consulta le limitazioni dello standard G2.

Console

Nella console Google Cloud, vai alla pagina Crea un'istanza.

Vai a Crea un'istanza
Specifica un nome per la VM. Consulta Convenzione di denominazione delle risorse.
Seleziona una regione e una zona in cui sono disponibili le GPU. Consulta l'elenco delle regioni e delle zone GPU disponibili.
Nella sezione Configurazione macchina, seleziona la famiglia di macchine GPU, quindi procedi nel seguente modo:
1. Nell'elenco Tipo di GPU, seleziona il tipo di GPU.
  - Per le VM ottimizzate per l'acceleratore A3, seleziona NVIDIA H100 80GB.
  - Per le VM ottimizzate per l'acceleratore A2, seleziona NVIDIA A100 40GB o NVIDIA A100 80GB.
  - Per le VM ottimizzate per l'acceleratore G2, seleziona NVIDIA L4.
2. Nell'elenco Numero di GPU, seleziona il numero di GPU.
  
  Nota: a ogni tipo di macchina ottimizzata per l'acceleratore è collegato un numero fisso di GPU. Se modifichi il numero di GPU, il tipo di macchina cambia.
3. Se il tuo modello GPU supporta le workstation virtuali NVIDIA RTX (vWS) per i carichi di lavoro per la grafica e prevedi di eseguire carichi di lavoro ad alta intensità di grafica su questa VM, seleziona Abilita workstation virtuale (NVIDIA GRID).
Nella sezione Disco di avvio, fai clic su Cambia. Viene visualizzata la pagina Configurazione del disco di avvio.
Nella pagina Configurazione del disco di avvio, segui questi passaggi:
1. Nella scheda Immagini pubbliche, scegli un'immagine Compute Engine supportata o Deep Learning VM Image.
2. Specifica una dimensione del disco di avvio di almeno 40 GB.
3. Per confermare le opzioni del disco di avvio, fai clic su Seleziona.
Configura eventuali altre impostazioni della VM di cui hai bisogno. Ad esempio, puoi modificare le impostazioni di prerilasciabilità per configurare la VM come istanza prerilasciabile. Questo riduce il costo della VM e delle GPU collegate. Per ulteriori informazioni, consulta GPU su istanze prerilasciabili.
Per creare e avviare la VM, fai clic su Crea.

gcloud

Per creare e avviare una VM, utilizza il comando gcloud compute instances create con i seguenti flag. Le VM con GPU non possono eseguire la migrazione live, assicurati di impostare il flag --maintenance-policy=TERMINATE.

I seguenti flag facoltativi sono mostrati nel comando di esempio:

Il flag --preemptible che configura la VM come istanza prerilasciabile. Questo riduce il costo della VM e delle GPU collegate. Per maggiori informazioni, consulta GPU su istanze prerilasciabili
Il flag --accelerator per specificare una workstation virtuale. Le workstation virtuali NVIDIA RTX (vWS) sono supportate solo per le VM G2.

  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE --restart-on-failure \
      [--preemptible] \
      [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]

Sostituisci quanto segue:

VM_NAME: il nome della nuova VM.
MACHINE_TYPE : il tipo di macchina selezionato. Scegli una delle seguenti opzioni:
- Un tipo di macchina A3.
- Un tipo di macchina A2.
- Un tipo di macchina G2. I tipi di macchina G2 supportano anche la memoria personalizzata. La memoria deve essere un multiplo di 1024 MB e deve rientrare nell'intervallo di memoria supportato. Ad esempio, per creare una VM con 4 vCPU e 19 GB di memoria specifica --machine-type=g2-custom-4-19456.
ZONE: la zona per la VM. Questa zona deve supportare il modello GPU selezionato.
DISK_SIZE: le dimensioni del disco di avvio in GB. Specifica una dimensione del disco di avvio di almeno 40 GB.
IMAGE: un'immagine del sistema operativo che supporta le GPU. Se vuoi utilizzare l'immagine più recente in una famiglia di immagini, sostituisci il flag --image con il flag --image-family e imposta il relativo valore su una famiglia di immagini che supporti le GPU. Ad esempio: --image-family=rocky-linux-8-optimized-gcp.
Puoi anche specificare un'immagine personalizzata o Deep Learning VM Images.
IMAGE_PROJECT: il progetto immagine di Compute Engine a cui appartiene l'immagine del sistema operativo. Se utilizzi un'immagine personalizzata o Deep Learning VM Image, specifica il progetto a cui appartengono.
VWS_ACCELERATOR_COUNT: il numero di GPU virtuali di cui hai bisogno.

REST

Invia una richiesta POST al metodo instances.insert. Non è possibile eseguire la migrazione live delle VM con GPU. Assicurati di impostare il parametro onHostMaintenance su TERMINATE.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
"machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
"disks":
[
  {
    "type": "PERSISTENT",
    "initializeParams":
    {
      "diskSizeGb": "DISK_SIZE",
      "sourceImage": "SOURCE_IMAGE_URI"
    },
    "boot": true
  }
],
"name": "VM_NAME",
"networkInterfaces":
[
  {
    "network": "projects/PROJECT_ID/global/networks/NETWORK"
  }
],
"scheduling":
{
  "onHostMaintenance": "terminate",
  "automaticRestart": true
},
}

Sostituisci quanto segue:

VM_NAME: il nome della nuova VM.
PROJECT_ID: il tuo ID progetto.
ZONE: la zona per la VM. Questa zona deve supportare il modello GPU selezionato.
MACHINE_TYPE : il tipo di macchina selezionato. Scegli una delle seguenti opzioni:
- Un tipo di macchina A3.
- Un tipo di macchina A2.
- Un tipo di macchina G2. I tipi di macchina G2 supportano anche la memoria personalizzata. La memoria deve essere un multiplo di 1024 MB e deve rientrare nell'intervallo di memoria supportato. Ad esempio, per creare una VM con 4 vCPU e 19 GB di memoria specifica --machine-type=g2-custom-4-19456.
SOURCE_IMAGE_URI: l'URI della famiglia di immagini o di immagini specifica che vuoi utilizzare. Ad esempio:
- Immagine specifica: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
- Famiglia di immagini: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp"
Quando specifichi una famiglia di immagini, Compute Engine crea una VM dall'immagine del sistema operativo più recente e non deprecata di quella famiglia. Per ulteriori informazioni su quando utilizzare le famiglie di immagini, consulta Best practice per le famiglie di immagini
DISK_SIZE: le dimensioni del disco di avvio in GB. Specifica una dimensione del disco di avvio di almeno 40 GB.
NETWORK: la rete VPC che vuoi utilizzare per la VM. Puoi specificare "default" per utilizzare la rete predefinita.

Impostazioni aggiuntive:

Puoi ridurre il costo della VM e delle GPU collegate utilizzando le VM prerilasciabili. Per ulteriori informazioni, consulta GPU su istanze prerilasciabili. Per impostare la VM come prerilasciabile, aggiungi l'opzione "preemptible": true alla richiesta.
```
"scheduling":
  {
    "onHostMaintenance": "terminate",
    "automaticRestart": true,
    "preemptible": true
  }
```
Per le VM G2, sono supportate le workstation virtuali NVIDIA RTX (vWS). Per specificare una workstation virtuale, aggiungi l'opzione "guestAccelerators" alla tua richiesta. Sostituisci VWS_ACCELERATOR_COUNT con il numero di GPU virtuali di cui hai bisogno.
```
"guestAccelerators":
  [
    {
      "acceleratorCount": VWS_ACCELERATOR_COUNT,
      "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws"
    }
  ]
```

Limitazioni

Standard A3

Non ricevi sconti per utilizzo sostenuto e sconti per impegno di utilizzo flessibili per le VM che utilizzano i tipi di macchine standard A3.
Puoi utilizzare i tipi di macchina standard A3 solo in determinate regioni e zone.
Non puoi utilizzare i dischi permanenti a livello di regione sulle VM che utilizzano i tipi di macchine standard A3.
Il tipo di macchina standard A3 è disponibile solo sulla piattaforma Sapphire Rapids.
Se la tua VM utilizza un tipo di macchina standard A3, non puoi cambiare il tipo di macchina. Se devi utilizzare un altro tipo di macchina, devi creare una nuova VM.
Non puoi cambiare nessun altro tipo di macchina in un tipo di macchina standard A3. Se devi creare una VM che utilizza un tipo di macchina standard A3, devi crearne una nuova.
I tipi di macchina standard A3 non supportano la modalità single-tenancy.
Non puoi eseguire i tipi di macchina standard A3 sui sistemi operativi Windows.

Standard A2

Non ricevi sconti per utilizzo sostenuto e sconti per impegno di utilizzo flessibili per le VM che utilizzano i tipi di macchine standard A2.
Puoi utilizzare i tipi di macchina standard A2 solo in determinate regioni e zone.
Non puoi utilizzare i dischi permanenti a livello di regione sulle VM che utilizzano i tipi di macchine standard A2.
Il tipo di macchina standard A2 è disponibile solo sulla piattaforma Cascade Lake.
Se la tua VM utilizza un tipo di macchina standard A2, puoi passare solo da un tipo di macchina standard A2 a un altro tipo di macchina standard A2. Non puoi passare a nessun altro tipo di macchina. Per saperne di più, consulta Modificare le VM ottimizzate per l'acceleratore.
Non puoi utilizzare il tipo di macchina standard a2-megagpu-16g A2 sui sistemi operativi Windows. Se utilizzi i sistemi operativi Windows, scegli un tipo di macchina standard A2 diverso.
Non puoi eseguire una formattazione rapida delle unità SSD locali collegate sulle VM Windows che utilizzano tipi di macchine standard A2. Per formattare queste unità SSD locali, devi creare un formato completo utilizzando l'utilità diskpart e specificando format fs=ntfs label=tmpfs.
I tipi di macchina standard A2 non supportano la modalità single-tenancy.

A2 Ultra

Non ricevi sconti per utilizzo sostenuto e sconti per impegno di utilizzo flessibili per le VM che utilizzano i tipi di macchine A2 Ultra.
Puoi utilizzare i tipi di macchina A2 Ultra solo in determinate regioni e zone.
Non puoi utilizzare i dischi permanenti a livello di regione sulle VM che utilizzano i tipi di macchine A2 Ultra.
Il tipo di macchina A2 ultra è disponibile solo sulla piattaforma Cascade Lake.
Se la tua VM utilizza un tipo di macchina A2 Ultra, non puoi cambiarlo. Se devi utilizzare un tipo di macchina A2 Ultra diverso o qualsiasi altro tipo di macchina, devi creare una nuova VM.
Non puoi cambiare nessun altro tipo di macchina in un tipo di macchina A2 ultra. Se devi creare una VM che utilizza un tipo di macchina A2 Ultra, devi creare una nuova VM.
Non puoi eseguire una formattazione rapida delle unità SSD locali collegate sulle VM Windows che utilizzano tipi di macchine ultra A2. Per formattare queste unità SSD locali, devi creare un formato completo utilizzando l'utilità diskpart e specificando format fs=ntfs label=tmpfs.

Standard G2

Non ricevi sconti per utilizzo sostenuto e sconti per impegno di utilizzo flessibili per le VM che utilizzano i tipi di macchine standard G2.
Puoi utilizzare i tipi di macchina standard G2 solo in determinate regioni e zone.
Non è possibile utilizzare i dischi permanenti a livello di regione sulle VM che utilizzano i tipi di macchine standard G2.
Il tipo di macchina standard G2 è disponibile solo sulla piattaforma Cascade Lake.
I dischi permanenti standard (pd-standard) non sono supportati sulle VM che utilizzano i tipi di macchine standard G2. Per i tipi di disco supportati, consulta Tipi di disco supportati per G2.
Non puoi creare GPU multi-istanza sui tipi di macchine standard G2.
Se devi cambiare il tipo di macchina di una VM G2, consulta la pagina Modifica delle VM ottimizzate per l'acceleratore.
Non puoi utilizzare Deep Learning VM Image come dischi di avvio per le tue VM che utilizzano i tipi di macchine standard G2.
L'attuale driver predefinito per Container-Optimized OS non supporta le GPU L4 in esecuzione sui tipi di macchine G2. Inoltre, Container-Optimized OS supporta solo un insieme selezionato di driver. Se vuoi utilizzare Container-Optimized OS sui tipi di macchine G2, leggi le seguenti note:
- Utilizza una versione Container-Optimized OS che supporti la versione minima consigliata del driver NVIDIA 525.60.13 o successive. Per saperne di più, consulta le note di rilascio di Container-Optimized OS.
- Quando installi il driver, specifica la versione più recente disponibile che funziona per le GPU L4. Ad esempio, sudo cos-extensions install gpu -- -version=525.60.13.
Devi utilizzare Google Cloud CLI o REST per creare VM G2 per i seguenti scenari:
- Vuoi specificare valori di memoria personalizzati.
- Vuoi personalizzare il numero di core della CPU visibili.

Installa driver

Affinché la VM utilizzi la GPU, devi installare il driver GPU sulla VM.

Esempi

In questi esempi, le VM vengono create utilizzando Google Cloud CLI. Tuttavia, puoi anche utilizzare la console Google Cloud o l'REST per creare queste VM.

Gli esempi seguenti mostrano come creare VM utilizzando le immagini seguenti:

Immagine pubblica o personalizzata. In questo esempio viene utilizzata una VM G2.
Deep Learning VM Image. In questo esempio viene utilizzata una VM A2.
Immagine Container-Optimized (COS). In questo esempio viene utilizzata una VM A3.

Immagine sistema operativo pubblica (G2)

Puoi creare VM con GPU collegate che utilizzano un'immagine pubblica disponibile su Compute Engine o un'immagine personalizzata.

Per creare una VM utilizzando l'immagine non deprecata più recente della famiglia di immagini di Rocky Linux 8 ottimizzata per Google Cloud che utilizza il tipo di macchina g2-standard-8 e ha una workstation virtuale NVIDIA RTX, completa i seguenti passaggi:

Creare la VM. In questo esempio vengono specificati anche flag facoltativi, come il tipo e la dimensione del disco di avvio.

gcloud compute instances create VM_NAME \
    --project=PROJECT_ID \
    --zone=ZONE \
    --machine-type=g2-standard-8  \
    --maintenance-policy=TERMINATE --restart-on-failure \
    --network-interface=nic-type=GVNIC \
    --accelerator=type=nvidia-l4-vws,count=1 \
    --image-family=rocky-linux-8-optimized-gcp \
    --image-project=rocky-linux-cloud \
    --boot-disk-size=200GB \
    --boot-disk-type=pd-ssd

Sostituisci quanto segue:

VM_NAME: il nome della VM
PROJECT_ID : il tuo ID progetto.
ZONE: la zona per la VM.

Installa i driver NVIDIA e CUDA. Per le GPU NVIDIA L4, è richiesta la versione CUDA XX o successiva.

Immagine DLVM (A2)

L'utilizzo delle immagini DLVM è il modo più semplice per iniziare, perché su queste immagini sono già preinstallati i driver NVIDIA e le librerie CUDA.

Inoltre, queste immagini forniscono ottimizzazioni del rendimento.

Le seguenti immagini DLVM sono supportate per NVIDIA A100:

common-cu110: driver NVIDIA e CUDA preinstallati
tf-ent-1-15-cu110: driver NVIDIA, CUDA, TensorFlow Enterprise 1.15.3 preinstallati
tf2-ent-2-1-cu110: driver NVIDIA, CUDA, TensorFlow Enterprise 2.1.1 preinstallati
tf2-ent-2-3-cu110: driver NVIDIA, CUDA, TensorFlow Enterprise 2.3.1 preinstallati
pytorch-1-6-cu110: driver NVIDIA, CUDA, Pytorch 1.6

Per ulteriori informazioni sulle immagini DLVM disponibili e sui pacchetti installati sulle immagini, consulta la documentazione di Deep Learning VM.

Crea una VM utilizzando l'immagine tf2-ent-2-3-cu110 e il tipo di macchina a2-highgpu-1g. In questo esempio vengono specificati flag facoltativi, come le dimensioni e l'ambito del disco di avvio.

gcloud compute instances create VM_NAME \
   --project PROJECT_ID \
   --zone ZONE \
   --machine-type a2-highgpu-1g \
   --maintenance-policy TERMINATE --restart-on-failure \
   --image-family tf2-ent-2-3-cu110 \
   --image-project deeplearning-platform-release \
   --boot-disk-size 200GB \
   --metadata "install-nvidia-driver=True,proxy-mode=project_editors" \
   --scopes https://www.googleapis.com/auth/cloud-platform

Sostituisci quanto segue:

VM_NAME: il nome della VM
PROJECT_ID : il tuo ID progetto.
ZONE: la zona per la VM

Il comando di esempio precedente genera anche un'istanza di blocchi note gestiti dall'utente di Vertex AI Workbench per la VM. Per accedere al blocco note, nella console Google Cloud vai alla pagina Vertex AI Workbench > Blocchi note gestiti dall'utente.

Vai alla pagina Blocchi note gestiti dall'utente

COS (A3)

Puoi creare VM che hanno collegato GPU H100 utilizzando immagini COS ottimizzate.

Per istruzioni dettagliate su come configurare le VM A3 che utilizzano Container-Optimized OS, consulta Migliorare le prestazioni di rete con GPUDirect-TCPX.

GPU multiistanza (solo VM A3 e A2)

Una GPU multi-istanza esegue il partizionamento di una singola GPU NVIDIA H100 o A100 all'interno della stessa VM in un massimo di sette istanze GPU indipendenti. Vengono eseguiti contemporaneamente, ciascuno con i propri multiprocessori di memoria, cache e streaming. Questa configurazione consente alla GPU NVIDIA H100 o A100 di offrire una qualità di servizio (QoS) garantita con un'utilizzo fino a 7 volte superiore rispetto ai modelli GPU precedenti.

Puoi creare fino a sette GPU multi-istanza. Per le GPU A100 da 40 GB, a ogni GPU multi-istanza vengono allocati 5 GB di memoria. Con le GPU A100 da 80 GB e H100 da 80 GB, la memoria allocata raddoppia, arrivando a 10 GB ciascuna.

Per ulteriori informazioni sull'uso delle GPU multi-istanza, consulta la Guida dell'utente per le GPU multi-istanza di NVIDIA.

Per creare GPU multiistanza, completa i seguenti passaggi:

Crea una VM ottimizzata per l'acceleratore A3 o A2.
Attiva i Driver GPU NVIDIA.

Suggerimento avanzato: puoi saltare questo passaggio creando VM con Deep Learning VM Image. In ogni Deep Learning VM Image è preinstallato un driver GPU NVIDIA.
Abilita GPU multiistanza.
```
sudo nvidia-smi -mig 1
```

Esamina le forme delle GPU multiistanza disponibili.

sudo nvidia-smi mig --list-gpu-instance-profiles

L'output è simile al seguente:

+-----------------------------------------------------------------------------+
| GPU instance profiles:                                                      |
| GPU   Name             ID    Instances   Memory     P2P    SM    DEC   ENC  |
|                              Free/Total   GiB              CE    JPEG  OFA  |
|=============================================================================|
|   0  MIG 1g.10gb       19     7/7        9.62       No     16     1     0   |
|                                                             1     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.10gb+me    20     1/1        9.62       No     16     1     0   |
|                                                             1     1     1   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.20gb       15     4/4        19.50      No     26     1     0   |
|                                                             1     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 2g.20gb       14     3/3        19.50      No     32     2     0   |
|                                                             2     2     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 3g.40gb        9     2/2        39.25      No     60     3     0   |
|                                                             3     3     0   |
+-----------------------------------------------------------------------------+
.......

Crea la GPU multi-istanza (GI) e le istanze di calcolo (CI) associate che vuoi. Puoi creare queste istanze specificando il nome del profilo completo o abbreviato, l'ID profilo o una combinazione di entrambi. Per ulteriori informazioni, consulta Creazione di istanze GPU.

L'esempio seguente crea due istanze GPU MIG 3g.20gb utilizzando l'ID profilo (9).

Viene specificato anche il flag -C, che crea le istanze di calcolo associate per il profilo richiesto.
```
sudo nvidia-smi mig -cgi 9,9 -C
```
Verifica che vengano create le due GPU multiistanza:
```
sudo nvidia-smi mig -lgi
```

Verifica che siano creati sia gli GI sia i CI corrispondenti.

sudo nvidia-smi

L'output è simile al seguente:

+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.125.06   Driver Version: 525.125.06   CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA H100 80G...  Off  | 00000000:04:00.0 Off |                   On |
| N/A   33C    P0    70W / 700W |     39MiB / 81559MiB |     N/A      Default |
|                               |                      |              Enabled |
+-------------------------------+----------------------+----------------------+
|   1  NVIDIA H100 80G...  Off  | 00000000:05:00.0 Off |                   On |
| N/A   32C    P0    69W / 700W |     39MiB / 81559MiB |     N/A      Default |
|                               |                      |              Enabled |
+-------------------------------+----------------------+----------------------+
......

+-----------------------------------------------------------------------------+
| MIG devices:                                                                |
+------------------+----------------------+-----------+-----------------------+
| GPU  GI  CI  MIG |         Memory-Usage |        Vol|         Shared        |
|      ID  ID  Dev |           BAR1-Usage | SM     Unc| CE  ENC  DEC  OFA  JPG|
|                  |                      |        ECC|                       |
|==================+======================+===========+=======================|
|  0    1   0   0  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
|                  |      0MiB / 65535MiB |           |                       |
+------------------+----------------------+-----------+-----------------------+
|  0    2   0   1  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
|                  |      0MiB / 65535MiB |           |                       |
+------------------+----------------------+-----------+-----------------------+
......

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

Che cosa succede dopo?

Scopri di più sulle piattaforme GPU.
Aggiungi SSD locali alle tue istanze. I dispositivi SSD locali si accoppiano correttamente con le GPU quando le app richiedono un'archiviazione ad alte prestazioni.
Installa i driver GPU.
Se hai abilitato una workstation virtuale NVIDIA RTX, installa un driver per la workstation virtuale.
Per gestire la manutenzione degli host GPU, consulta Gestione degli eventi di manutenzione degli host GPU.