Questa pagina è stata tradotta dall'API Cloud Translation.

Crea gruppi di VM GPU in blocco

Puoi creare un gruppo di macchine virtuali (VM) alle quali sono collegate GPU (Graphic Processing Unit) utilizzando il processo di creazione in blocco. Con il processo di creazione in blocco, ottieni una convalida preliminare nel caso in cui la richiesta non vada a buon fine se non è fattibile. Inoltre, se utilizzi il flag della regione, l'API di creazione collettiva sceglie automaticamente la zona che ha la capacità di soddisfare la richiesta. Per ulteriori informazioni sulla creazione collettiva delle VM, consulta Informazioni sulla creazione collettiva delle VM.

Prima di iniziare

Per rivedere altri passaggi dei prerequisiti, come la selezione di un'immagine del sistema operativo e il controllo della quota GPU, consulta il documento sulla panoramica.
Se non l'hai già fatto, configura l'autenticazione. L'autenticazione è il processo mediante il quale viene verificata l'identità dell'utente per ottenere l'accesso ai servizi e alle API Google Cloud. Per eseguire codice o esempi da un ambiente di sviluppo locale, puoi eseguire l'autenticazione in Compute Engine come segue.

Select the tab for how you plan to use the samples on this page:
gcloud
1. Installa Google Cloud CLI, quindi initialize eseguendo questo comando:
```
gcloud init
```
  Nota: se hai già installato gcloud CLI in precedenza, assicurati di disporre della versione più recente eseguendo gcloud components update.
2. Set a default region and zone.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per creare VM, chiedi all'amministratore di concederti il ruolo IAM Amministratore istanze Compute (v1) (roles/compute.instanceAdmin.v1) per il progetto. Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Questo ruolo predefinito contiene le autorizzazioni necessarie per creare VM. Per visualizzare esattamente le autorizzazioni necessarie, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per creare le VM sono necessarie le seguenti autorizzazioni:

compute.instances.create nel progetto
Per utilizzare un'immagine personalizzata per creare la VM: compute.images.useReadOnly sull'immagine
Per utilizzare uno snapshot al fine di creare la VM: compute.snapshots.useReadOnly sullo snapshot
Per utilizzare un modello di istanza per creare la VM: compute.instanceTemplates.useReadOnly nel modello di istanza
Per assegnare una rete legacy alla VM: compute.networks.use nel progetto
Per specificare un indirizzo IP statico per la VM: compute.addresses.use nel progetto
Per assegnare un indirizzo IP esterno alla VM quando utilizzi una rete legacy: compute.networks.useExternalIp nel progetto
Per specificare una subnet per la tua VM: compute.subnetworks.use nel progetto o nella subnet scelta
Per assegnare un indirizzo IP esterno alla VM quando utilizzi una rete VPC: compute.subnetworks.useExternalIp nel progetto o nella subnet scelta
Per impostare i metadati dell'istanza VM per la VM: compute.instances.setMetadata nel progetto
Per impostare i tag per la VM: compute.instances.setTags sulla VM
Per impostare le etichette per la VM: compute.instances.setLabels sulla VM
Per impostare un account di servizio da utilizzare per la VM: compute.instances.setServiceAccount nella VM
Per creare un nuovo disco per la VM: compute.disks.create nel progetto
Per collegare un disco esistente in modalità di sola lettura o lettura/scrittura: compute.disks.use sul disco
Per collegare un disco esistente in modalità di sola lettura: compute.disks.useReadOnly sul disco

Potresti anche riuscire a ottenere queste autorizzazioni con i ruoli personalizzati o altri ruoli predefiniti.

Panoramica

Quando crei VM con GPU collegate utilizzando il metodo di creazione in blocco, puoi scegliere di creare VM in una regione (ad esempio us-central1) o in una zona specifica come (us-central1-a).

Se scegli di specificare una regione, Compute Engine posiziona le VM in qualsiasi zona all'interno della regione che supporta le GPU.

Crea gruppi di VM ottimizzate per l'acceleratore

La famiglia di macchine ottimizzate per l'acceleratore è disponibile nei tipi A3 Standard e A3 Mega, A2 Standard e A2 Ultra e nei tipi G2.

A ogni tipo di macchina ottimizzata per l'acceleratore è collegato un modello specifico di GPU NVIDIA.

Per i tipi di macchine ottimizzate per l'acceleratore A3, sono collegate GPU NVIDIA H100 da 80 GB. Sono disponibili nelle seguenti opzioni:
- A3 Standard (a3-highgpu-8g): questo tipo di macchina ha GPU H100 da 80 GB collegate
- A3 Mega (a3-megagpu-8g): questo tipo di macchina ha GPU H100 da 80 GB Mega collegate
Per i tipi di macchine ottimizzate per l'acceleratore A2, sono collegate le GPU NVIDIA A100. Sono disponibili nelle seguenti opzioni:
- A2 Standard (a2-highgpu-*, a2-megagpu-*): a questi tipi di macchine è collegata una GPU A100 da 40 GB
- A2 Ultra (a2-ultragpu-*): questi tipi di macchine hanno GPU A100 da 80 GB collegate
Per i tipi di macchine ottimizzate per l'acceleratore G2 (g2-standard-*), sono collegate GPU NVIDIA L4.

Puoi creare un gruppo di VM ottimizzate per l'acceleratore utilizzando Google Cloud CLI o REST.

gcloud

Per creare un gruppo di VM, utilizza il comando gcloud compute instances bulk create. Per ulteriori informazioni sui parametri e su come utilizzare questo comando, consulta Creare VM in blocco.

I seguenti flag facoltativi sono mostrati nel comando di esempio:

Il flag --preemptible che configura la tua VM come istanza VM prerilasciabile. Questo riduce il costo della VM e delle GPU collegate. Per ulteriori informazioni, consulta la sezione GPU sulle istanze prerilasciabili.
Il flag --accelerator per specificare una workstation virtuale. Le workstation virtuali (vWS) NVIDIA RTX sono supportate solo per le VM G2.

Esempio

In questo esempio vengono create due VM con GPU collegate utilizzando le seguenti specifiche:

Nomi VM: my-test-vm-1, my-test-vm-2
A ogni VM sono collegate due GPU, specificate mediante il tipo di macchina ottimizzato per l'acceleratore appropriato.

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --region=REGION \
    --count=2 \
    --machine-type=MACHINE_TYPE \
    --boot-disk-size=200 \
    --image=IMAGE \
    --image-project=IMAGE_PROJECT \
    --on-host-maintenance=TERMINATE --restart-on-failure \
    [--preemptible] \
    [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]

Sostituisci quanto segue:

REGION: la regione delle VM. Questa regione deve supportare il modello GPU selezionato.
MACHINE_TYPE: il tipo di macchina che hai selezionato. Scegli una delle seguenti opzioni:
- Un tipo di macchina A3.
- Un tipo di macchina A2.
- Un tipo di macchina G2. I tipi di macchine G2 supportano anche la memoria personalizzata. La memoria deve essere un multiplo di 1024 MB e rientrare nell'intervallo di memoria supportato. Ad esempio, per creare una VM con 4 vCPU e 19 GB di memoria, specifica --machine-type=g2-custom-4-19456.
IMAGE: un'immagine del sistema operativo che supporta le GPU.

Se vuoi utilizzare l'immagine più recente in una famiglia di immagini, sostituisci il flag --image con il flag --image-family e imposta il suo valore su una famiglia di immagini che supporta le GPU. Ad esempio: --image-family=rocky-linux-8-optimized-gcp.

Puoi anche specificare un'immagine personalizzata o Deep Learning VM Image.
IMAGE_PROJECT: il progetto immagine di Compute Engine a cui appartiene l'immagine del sistema operativo. Se utilizzi un'immagine personalizzata o un'immagine Deep Learning VM Image, specifica il progetto a cui appartengono le immagini.
VWS_ACCELERATOR_COUNT: il numero di GPU virtuali di cui hai bisogno.

Se l'operazione ha esito positivo, l'output è simile al seguente:

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

REST

Utilizza il metodo instances.bulkInsert con i parametri necessari per creare più VM in una zona. Per ulteriori informazioni sui parametri e su come utilizzare questo comando, consulta Creare VM in blocco.

Esempio

In questo esempio vengono create due VM con GPU collegate utilizzando le seguenti specifiche:

Nomi VM: my-test-vm-1, my-test-vm-2

A ogni VM sono collegate due GPU, specificate mediante il tipo di macchina ottimizzato per l'acceleratore appropriato.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instances/bulkInsert
{
"namePattern":"my-test-vm-#",
"count":"2",
"instanceProperties": {
  "machineType":MACHINE_TYPE,
  "disks":[
    {
      "type":"PERSISTENT",
      "initializeParams":{
        "diskSizeGb":"200",
        "sourceImage":SOURCE_IMAGE_URI
      },
      "boot":true
    }
  ],
  "name": "default",
  "networkInterfaces":
  [
    {
      "network": "projects/PROJECT_ID/global/networks/default"
    }
  ],
  "scheduling":{
    "onHostMaintenance":"TERMINATE",
    "automaticRestart":true
  }
}
}

Sostituisci quanto segue:

PROJECT_ID: il tuo ID progetto
REGION: la regione delle VM. Questa regione deve supportare il modello GPU selezionato.
MACHINE_TYPE: il tipo di macchina che hai selezionato. Scegli una delle seguenti opzioni:
- Un tipo di macchina A2.
- Un tipo di macchina G2. I tipi di macchine G2 supportano anche la memoria personalizzata. La memoria deve essere un multiplo di 1024 MB e rientrare nell'intervallo di memoria supportato. Ad esempio, per creare una VM con 4 vCPU e 19 GB di memoria, specifica --machine-type=g2-custom-4-19456.
SOURCE_IMAGE_URI: l'URI della famiglia di immagini o di immagini specifica che vuoi utilizzare.

Ad esempio:
- Immagine specifica: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
- Famiglia di immagini: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp".
Quando specifichi una famiglia di immagini, Compute Engine crea una VM dall'immagine sistema operativo più recente e non deprecata della famiglia. Per scoprire di più su quando utilizzare le famiglie di immagini, consulta le Best practice per le famiglie di immagini.

Impostazioni aggiuntive:

Puoi ridurre il costo della VM e delle GPU collegate utilizzando le VM prerilasciabili. Per ulteriori informazioni, consulta GPU sulle VM prerilasciabile prerilasciabili. Per impostare la VM come prerilasciabile, aggiungi l'opzione "preemptible": true alla richiesta.
```
"scheduling":
  {
    "onHostMaintenance": "terminate",
    "automaticRestart": true,
    "preemptible": true
  }
```
Per le VM G2, sono supportate le workstation virtuali NVIDIA RTX (vWS). Per specificare una workstation virtuale, aggiungi l'opzione guestAccelerators alla tua richiesta. Sostituisci VWS_ACCELERATOR_COUNT con il numero di GPU virtuali di cui hai bisogno.
```
"guestAccelerators":
 [
   {
     "acceleratorCount": VWS_ACCELERATOR_COUNT,
     "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws"
   }
 ]
```

Limitazioni

VM A3

Le seguenti limitazioni si applicano alle VM che utilizzano i tipi di macchina A3 Standard e A3 Mega:

Non ricevi sconti per utilizzo sostenuto e sconti per impegno di utilizzo flessibili per le VM che utilizzano tipi di macchine A3.
Puoi utilizzare tipi di macchine A3 solo in determinate regioni e zone.
Non puoi utilizzare dischi permanenti a livello di regione sulle VM che utilizzano tipi di macchine A3.
Il tipo di macchina A3 è disponibile solo sulla piattaforma Sapphire Rapids.
Se la tua VM utilizza un tipo di macchina A3, non puoi cambiare il tipo di macchina. Se devi modificare il tipo di macchina, devi creare una nuova VM.
Non puoi cambiare il tipo di macchina di una VM in un tipo di macchina A3. Se hai bisogno di una VM che utilizza un tipo di macchina A3, devi crearne una nuova.
I tipi di macchina A3 non supportano la single-tenancy.
Non puoi eseguire i sistemi operativi Windows sui tipi di macchina A3.
Puoi prenotare tipi di macchine A3 solo tramite determinate prenotazioni

VM standard A2

Non ricevi sconti per utilizzo sostenuto e sconti per impegno di utilizzo flessibili per le VM che utilizzano tipi di macchine A2 Standard.
Puoi utilizzare i tipi di macchine A2 Standard solo in determinate regioni e zone.
Non puoi utilizzare dischi permanenti a livello di regione sulle VM che utilizzano tipi di macchine standard A2.
Il tipo di macchina A2 Standard è disponibile solo sulla piattaforma Cascade Lake.
Se la tua VM utilizza un tipo di macchina A2 Standard, puoi passare solo da un tipo di macchina A2 Standard a un altro. Non puoi passare a qualsiasi altro tipo di macchina. Per maggiori informazioni, consulta Modificare le VM ottimizzate per l'acceleratore.
Non puoi utilizzare il sistema operativo Windows con i tipi di macchina <codea2-megagpu-16g< code="" dir="ltr" translate="no"> A2 Standard. Se utilizzi sistemi operativi Windows, scegli un tipo di macchina A2 Standard diverso.</codea2-megagpu-16g<>
Non è possibile formattare rapidamente le unità SSD locali collegate sulle VM Windows che utilizzano tipi di macchine A2 Standard. Per formattare questi SSD locali, devi eseguire un formato completo utilizzando l'utilità diskpart e specificando format fs=ntfs label=tmpfs.
I tipi di macchina A2 standard non supportano la single-tenancy.

VM A2 Ultra

Non ricevi sconti per utilizzo sostenuto e sconti per impegno di utilizzo flessibili per le VM che utilizzano tipi di macchine A2 Ultra.
Puoi utilizzare i tipi di macchine A2 Ultra solo in determinate regioni e zone.
Non puoi utilizzare dischi permanenti a livello di regione sulle VM che utilizzano tipi di macchine A2 Ultra.
Il tipo di macchina A2 Ultra è disponibile solo sulla piattaforma Cascade Lake.
Se la tua VM utilizza un tipo di macchina A2 Ultra, non puoi cambiare il tipo di macchina. Se devi utilizzare un tipo di macchina A2 Ultra diverso o qualsiasi altro tipo di macchina, devi creare una nuova VM.
Non puoi cambiare nessun altro tipo di macchina in un tipo di macchina A2 Ultra. Se hai bisogno di una VM che utilizza un tipo di macchina A2 Ultra, devi crearne una nuova.
Non è possibile formattare rapidamente le unità SSD locali collegate sulle VM Windows che utilizzano tipi di macchine A2 Ultra. Per formattare questi SSD locali, devi eseguire un formato completo utilizzando l'utilità diskpart e specificando format fs=ntfs label=tmpfs.

VM G2

Non ricevi sconti per utilizzo sostenuto e sconti per impegno di utilizzo flessibili per le VM che utilizzano tipi di macchine G2.
Puoi utilizzare i tipi di macchine G2 solo in determinate regioni e zone.
Non puoi utilizzare dischi permanenti a livello di regione sulle VM che utilizzano tipi di macchine G2.
Il tipo di macchina G2 è disponibile solo sulla piattaforma Cascade Lake.
I dischi permanenti standard (pd-standard) non sono supportati sulle VM che utilizzano tipi di macchine standard G2. Per i tipi di disco supportati, vedi Tipi di disco supportati per G2.
Non puoi creare GPU multiistanza sui tipi di macchine G2.
Se devi cambiare il tipo di macchina di una VM G2, consulta la pagina Modifica le VM ottimizzate per l'acceleratore.
Non puoi utilizzare Deep Learning VM Images come dischi di avvio per le VM che utilizzano i tipi di macchine G2.
L'attuale driver predefinito per Container-Optimized OS non supporta le GPU L4 in esecuzione sui tipi di macchine G2. Container-Optimized OS supporta inoltre solo un insieme selezionato di driver. Se vuoi utilizzare Container-Optimized OS sui tipi di macchine G2, rivedi le seguenti note:
- Utilizza una versione di Container-Optimized OS che supporti la versione minima del driver NVIDIA consigliata 525.60.13 o successiva. Per maggiori informazioni, consulta le note di rilascio di Container-Optimized OS.
- Quando installi il driver, specifica l'ultima versione disponibile compatibile con le GPU L4. Ad esempio, sudo cos-extensions install gpu -- -version=525.60.13.
Devi utilizzare Google Cloud CLI o REST per creare VM G2 per i seguenti scenari:
- Vuoi specificare valori di memoria personalizzati.
- Vuoi personalizzare il numero di core CPU visibili.

Crea gruppi di VM N1 per uso generico

Puoi creare un gruppo di VM con GPU collegate utilizzando Google Cloud CLI o REST.

Questa sezione descrive come creare più VM utilizzando i seguenti tipi di GPU:

GPU NVIDIA:

NVIDIA T4: nvidia-tesla-t4
NVIDIA P4: nvidia-tesla-p4
NVIDIA P100: nvidia-tesla-p100
NVIDIA V100: nvidia-tesla-v100

NVIDIA RTX Virtual Workstation (vWS) (precedentemente nota come NVIDIA GRID):

Workstation virtuale NVIDIA T4: nvidia-tesla-t4-vws
Workstation virtuale NVIDIA P4: nvidia-tesla-p4-vws
Workstation virtuale NVIDIA P100: nvidia-tesla-p100-vws

Per queste workstation virtuali, alla VM viene aggiunta automaticamente una licenza NVIDIA RTX Virtual Workstation (vWS).

gcloud

Per creare un gruppo di VM, utilizza il comando gcloud compute instances bulk create. Per ulteriori informazioni sui parametri e su come utilizzare questo comando, consulta Creare VM in blocco.

Esempio

L'esempio seguente crea due VM con GPU collegate utilizzando le seguenti specifiche:

Nomi VM: my-test-vm-1, my-test-vm-2
VM create in qualsiasi zona in us-central1 che supporta GPU
A ogni VM sono collegate due GPU T4, specificate usando i flag tipo di acceleratore e numero di acceleratori
In ogni VM sono installati driver GPU
Ogni VM utilizza l'immagine VM di deep learning pytorch-latest-gpu-v20211028-debian-10

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --count=2 \
    --region=us-central1 \
    --machine-type=n1-standard-2 \
    --accelerator type=nvidia-tesla-t4,count=2 \
    --boot-disk-size=200 \
    --metadata="install-nvidia-driver=True" \
    --scopes="https://www.googleapis.com/auth/cloud-platform" \
    --image=pytorch-latest-gpu-v20211028-debian-10 \
    --image-project=deeplearning-platform-release \
    --on-host-maintenance=TERMINATE --restart-on-failure

Se l'operazione ha esito positivo, l'output è simile al seguente:

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

REST

Esempio

L'esempio seguente crea due VM con GPU collegate utilizzando le seguenti specifiche:

Nomi VM: my-test-vm-1, my-test-vm-2
VM create in qualsiasi zona in us-central1 che supporta GPU
A ogni VM sono collegate due GPU T4, specificate usando i flag tipo di acceleratore e numero di acceleratori
In ogni VM sono installati driver GPU
Ogni VM utilizza l'immagine VM di deep learning pytorch-latest-gpu-v20211028-debian-10

Sostituisci PROJECT_ID con l'ID progetto.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/region/us-central1/instances/bulkInsert

{
    "namePattern":"my-test-vm-#",
    "count":"2",
    "instanceProperties": {
      "machineType":"n1-standard-2",
      "disks":[
        {
          "type":"PERSISTENT",
          "initializeParams":{
            "diskSizeGb":"200",
            "sourceImage":"projects/deeplearning-platform-release/global/images/pytorch-latest-gpu-v20211028-debian-10"
          },
          "boot":true
        }
      ],
      "name": "default",
      "networkInterfaces":
      [
        {
          "network": "projects/PROJECT_ID/global/networks/default"
        }
      ],
      "guestAccelerators":
      [
        {
          "acceleratorCount": 2,
          "acceleratorType": "nvidia-tesla-t4"
        }
      ],
      "scheduling":{
        "onHostMaintenance":"TERMINATE",
        "automaticRestart":true
      },
      "metadata":{
        "items":[
          {
            "key":"install-nvidia-driver",
            "value":"True"
          }
        ]
      }
  }
 }

Che cosa succede dopo?

Scopri come monitorare le prestazioni della GPU.
Scopri come utilizzare una larghezza di banda di rete superiore.
Scopri come gestire gli eventi di manutenzione dell'host GPU.
Scopri come visualizzare l'utilizzo effettivo e previsto di VM e GPU.