Créer des groupes de VM de GPU de manière groupée

Linux Windows

Vous pouvez créer un groupe de VM auxquelles sont associés des GPU à l'aide du processus de création groupée. Avec le processus de création groupée, vous obtenez une validation en amont où la requête échoue rapidement si elle n'est pas réalisable. De plus, si vous utilisez l'option régionale, l'API de création groupée choisit automatiquement la zone ayant la capacité de traiter la requête. Pour en savoir plus sur la création groupée de VM, consultez la section À propos de la création groupée de VM.

Avant de commencer

Pour découvrir les étapes préalables supplémentaires, telles que la sélection d'une image de l'OS et la vérification du quota de GPU, consultez le document de présentation.
Si ce n'est pas déjà fait, configurez l'authentification. L'authentification est le processus permettant de valider votre identité pour accéder aux services et aux API Google Cloud. Pour exécuter du code ou des exemples depuis un environnement de développement local, vous pouvez vous authentifier auprès de Compute Engine comme suit :

Sélectionnez l'onglet correspondant à la façon dont vous prévoyez d'utiliser les exemples de cette page :
gcloud
1. Installez Google Cloud CLI, puis initialisez-la en exécutant la commande suivante :
```
gcloud init
```
  Remarque : Si vous avez déjà installé gcloud CLI, assurez-vous que vous disposez de la dernière version en exécutant gcloud components update.
2. Définissez une région et une zone par défaut.
REST

Pour utiliser les exemples d'API REST de cette page dans un environnement de développement local, vous devez utiliser les identifiants que vous fournissez à gcloud CLI.

Rôles requis

Pour obtenir les autorisations nécessaires à la création de VM, demandez à votre administrateur de vous attribuer le rôle IAM Administrateur d'instances Compute (v1) (roles/compute.instanceAdmin.v1) sur le projet. Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Ce rôle prédéfini contient les autorisations requises pour créer des VM. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour créer des VM :

compute.instances.create sur le projet
Pour créer la VM à l'aide d'une image personnalisée : compute.images.useReadOnly sur l'image
Pour créer la VM à l'aide d'un instantané : compute.snapshots.useReadOnly sur l'instantané
Pour créer la VM à l'aide d'un modèle d'instance : compute.instanceTemplates.useReadOnly sur le modèle d'instance
Pour attribuer un ancien réseau à la VM : compute.networks.use sur le projet
Pour spécifier une adresse IP statique pour la VM : compute.addresses.use sur le projet
Pour attribuer une adresse IP externe à la VM, en cas d'utilisation d'un ancien réseau : compute.networks.useExternalIp sur le projet
Pour spécifier un sous-réseau pour la VM : compute.subnetworks.use sur le projet ou sur le sous-réseau choisi
Pour attribuer une adresse IP externe à la VM, en cas d'utilisation d'un réseau VPC : compute.subnetworks.useExternalIp sur le projet ou sur le sous-réseau choisi
Pour définir les métadonnées d'instance de VM pour la VM : compute.instances.setMetadata sur le projet
Pour définir des tags pour la VM : compute.instances.setTags sur la VM
Pour définir des libellés pour la VM : compute.instances.setLabels sur la VM
Pour définir un compte de service à utiliser avec la VM : compute.instances.setServiceAccount sur la VM
Pour créer un disque pour la VM : compute.disks.create sur le projet
Pour associer un disque existant en mode lecture seule ou en mode lecture-écriture : compute.disks.use sur le disque
Pour associer un disque existant en mode lecture seule : compute.disks.useReadOnly sur le disque

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Présentation

Lorsque vous créez des VM avec des GPU associés à l'aide de la méthode de création groupée, vous pouvez choisir de créer des VM dans une région (telle que us-central1) ou dans une zone spécifique telle que (us-central1-a).

Si vous choisissez de spécifier une région, Compute Engine place les VM dans n'importe quelle zone de la région compatible avec les GPU.

Créer des groupes de VM optimisées pour les accélérateurs

La famille de machines optimisées pour les accélérateurs est disponible dans les types de machines A3 standard, A2 standard et ultra, et G2 standard.

Chaque type de machine optimisé pour les accélérateurs est associé à un modèle spécifique de GPU NVIDIA.

Pour les types de machines optimisés pour l'accélérateur A3, les GPU NVIDIA H100 80 Go sont associés.
Pour les types de machines optimisés pour l'accélérateur A2, les GPU NVIDIA A100 sont associés. Elles sont disponibles dans les options A100 40 Go et A100 80 Go.
Pour les types de machines optimisés pour l'accélérateur G2, les GPU NVIDIA L4 sont associés.

Vous créez un groupe de VM optimisées pour les accélérateurs à l'aide de Google Cloud CLI ou de REST.

gcloud

Pour créer un groupe de VM, utilisez la commande gcloud compute instances bulk create. Pour en savoir plus sur les paramètres et l'utilisation de cette commande, consultez la section Créer des VM de manière groupée.

Les options facultatives suivantes sont affichées dans l'exemple de commande :

L'option --preemptible, qui configure votre VM en tant qu'instance de VM préemptive. Cela réduit le coût de votre VM et des GPU utilisés. Pour en savoir plus, consultez la section GPU sur des instances préemptives.
L'option --accelerator pour spécifier un poste de travail virtuel. Les postes de travail virtuels (vWS) NVIDIA RTX ne sont compatibles qu'avec les VM G2.

Exemple

Cet exemple crée deux VM auxquelles sont associés des GPU en utilisant les spécifications suivantes :

Noms des VM : my-test-vm-1, my-test-vm-2
Chaque VM est associée à deux GPU, spécifiés à l'aide du type de machine optimisé pour l'accélérateur approprié.

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --region=REGION \
    --count=2 \
    --machine-type=MACHINE_TYPE \
    --boot-disk-size=200 \
    --image=IMAGE \
    --image-project=IMAGE_PROJECT \
    --on-host-maintenance=TERMINATE --restart-on-failure \
    [--preemptible] \
    [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]

Remplacez les éléments suivants :

REGION : région des VM. Cette région doit être compatible avec le modèle de GPU que vous avez sélectionné.
MACHINE_TYPE : type de machine que vous avez sélectionné. Sélectionnez l'une des options suivantes :
- Un type de machine A3.
- Un type de machine A2.
- Un type de machine G2. Les types de machines G2 sont également compatibles avec la mémoire personnalisée. La mémoire doit être un multiple de 1 024 Mo et être comprise dans la plage de mémoire compatible. Par exemple, pour créer une VM avec 4 processeurs virtuels et 19 Go de mémoire, spécifiez --machine-type=g2-custom-4-19456.
IMAGE : image de système d'exploitation compatible avec les GPU.

Si vous souhaitez utiliser l'image la plus récente dans une famille d'images, remplacez l'option --image par l'option --image-family et définissez sa valeur sur une famille d'images compatible avec les GPU. Par exemple, --image-family=rocky-linux-8-optimized-gcp.

Vous pouvez également spécifier une image personnalisée ou une instance Deep Learning VM Image.
IMAGE_PROJECT : projet d'image Compute Engine auquel l'image de l'OS appartient. Si vous utilisez une image personnalisée ou une instance Deep Learning VM Image, spécifiez le projet auquel ces images appartiennent.
VWS_ACCELERATOR_COUNT : nombre de GPU virtuels dont vous avez besoin.

Si l'opération réussit, le résultat est semblable à ceci :

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

REST

Utilisez la méthode instances.bulkInsert avec les paramètres requis pour créer plusieurs VM dans une zone. Pour en savoir plus sur les paramètres et l'utilisation de cette commande, consultez la section Créer des VM de manière groupée.

Exemple

Cet exemple crée deux VM auxquelles sont associés des GPU en utilisant les spécifications suivantes :

Noms des VM : my-test-vm-1, my-test-vm-2

Chaque VM est associée à deux GPU, spécifiés à l'aide du type de machine optimisé pour l'accélérateur approprié.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/regions/REGION/instances/bulkInsert
{
"namePattern":"my-test-vm-#",
"count":"2",
"instanceProperties": {
  "machineType":MACHINE_TYPE,
  "disks":[
    {
      "type":"PERSISTENT",
      "initializeParams":{
        "diskSizeGb":"200",
        "sourceImage":SOURCE_IMAGE_URI
      },
      "boot":true
    }
  ],
  "name": "default",
  "networkInterfaces":
  [
    {
      "network": "projects/PROJECT_ID/global/networks/default"
    }
  ],
  "scheduling":{
    "onHostMaintenance":"TERMINATE",
    "automaticRestart":true
  }
}
}

Remplacez les éléments suivants :

PROJECT_ID : ID de votre projet.
REGION : région des VM. Cette région doit être compatible avec le modèle de GPU que vous avez sélectionné.
MACHINE_TYPE : type de machine que vous avez sélectionné. Sélectionnez l'une des options suivantes :
- Un type de machine A2.
- Un type de machine G2. Les types de machines G2 sont également compatibles avec la mémoire personnalisée. La mémoire doit être un multiple de 1 024 Mo et être comprise dans la plage de mémoire compatible. Par exemple, pour créer une VM avec 4 processeurs virtuels et 19 Go de mémoire, spécifiez --machine-type=g2-custom-4-19456.
SOURCE_IMAGE_URI : URI de l'image ou de la famille d'images spécifique que vous souhaitez utiliser.

Exemple :
- Image spécifique : "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
- Famille d'images : "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp"
Lorsque vous spécifiez une famille d'images, Compute Engine crée une VM à partir de l'image de l'OS non obsolète la plus récente dans cette famille. Pour en savoir plus sur l'utilisation des familles d'images, consultez la page Bonnes pratiques concernant les familles d'images.

Paramètres supplémentaires :

Vous pouvez réduire le coût de votre VM et des GPU associés à l'aide de VM préemptives. Pour en savoir plus, consultez la section GPU sur des instances de VM préemptives. Pour définir la VM comme préemptive, ajoutez l'option "preemptible": true à votre requête.
```
"scheduling":
  {
    "onHostMaintenance": "terminate",
    "automaticRestart": true,
    "preemptible": true
  }
```
Pour les VM G2, les postes de travail virtuels NVIDIA RTX (vWS) sont compatibles. Pour spécifier un poste de travail virtuel, ajoutez l'option guestAccelerators à votre requête. Remplacez VWS_ACCELERATOR_COUNT par le nombre de GPU virtuels dont vous avez besoin.
```
"guestAccelerators":
 [
   {
     "acceleratorCount": VWS_ACCELERATOR_COUNT,
     "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws"
   }
 ]
```

Limites

A3 standard

Vous ne bénéficiez pas de remises automatiques proportionnelles à une utilisation soutenue ni de remises sur engagement d'utilisation flexibles pour les VM qui utilisent les types de machines A3 standard.
Vous ne pouvez utiliser des types de machines A3 standard que dans certaines régions et zones.
Vous ne pouvez pas utiliser de disques persistants régionaux sur des VM utilisant des types de machines A3 standard.
Le type de machine standard A3 n'est disponible que sur la plate-forme Sapphire Rapids.
Si votre VM utilise un type de machine standard A3, vous ne pouvez pas modifier le type de machine. Si vous avez besoin d'utiliser un autre type de machine, vous devez créer une VM.
Vous ne pouvez pas remplacer un autre type de machine par un type de machine A3 standard. Si vous devez créer une VM utilisant un type de machine A3 standard, vous devez créer une VM.
Les types de machines A3 standard ne sont pas compatibles avec la location unique.
Vous ne pouvez pas exécuter de types de machines A3 standard sur des systèmes d'exploitation Windows.

A2 standard

Vous ne bénéficiez pas de remises automatiques proportionnelles à une utilisation soutenue ni de remises sur engagement d'utilisation flexibles pour les VM qui utilisent les types de machines A2 standard.
Vous ne pouvez utiliser des types de machines A2 standard que dans certaines régions et zones.
Vous ne pouvez pas utiliser de disques persistants régionaux sur des VM utilisant des types de machines A2 standard.
Les types de machines A2 standard ne sont disponibles que sur la plate-forme Cascade Lake.
Si votre VM utilise un type de machine standard A2, vous ne pouvez passer d'un type de machine standard A2 qu'à un autre type de machine standard A2. Vous ne pouvez pas passer à un autre type de machine. Pour en savoir plus, consultez la page Modifier des VM optimisées pour les accélérateurs.
Vous ne pouvez pas utiliser le type de machine A2 standard a2-megagpu-16g sur les systèmes d'exploitation Windows. Lorsque vous utilisez des systèmes d'exploitation Windows, choisissez un autre type de machine A2 standard.
Vous ne pouvez pas effectuer un formatage rapide des disques SSD locaux associés à des VM Windows qui utilisent des types de machines standard A2. Pour formater ces disques SSD locaux, vous devez effectuer un formatage complet en utilisant l'utilitaire diskpart et en spécifiant format fs=ntfs label=tmpfs.
Les types de machines A2 standard ne sont pas compatibles avec la location unique.

A2 ultra

Vous ne bénéficiez pas de remises automatiques proportionnelles à une utilisation soutenue ni de remises sur engagement d'utilisation flexibles pour les VM qui utilisent les types de machines A2 Ultra.
Vous ne pouvez utiliser des types de machines A2 ultra que dans certaines régions et zones.
Vous ne pouvez pas utiliser de disques persistants régionaux sur des VM utilisant des types de machines A2 ultra.
Les types de machines A2 ultra ne sont disponibles que sur la plate-forme Cascade Lake.
Si votre VM utilise un type de machine A2 ultra, vous ne pouvez pas modifier le type de machine. Si vous devez utiliser un autre type de machine A2 ultra ou toute autre famille de machines, vous devez créer une VM.
Vous ne pouvez pas remplacer un autre type de machine par un type de machine A2 ultra. Si vous devez créer une VM utilisant un type de machine A2 ultra, vous devez créer une nouvelle VM.
Vous ne pouvez pas effectuer un formatage rapide des disques SSD locaux associés à des VM Windows qui utilisent des types de machines ultra A2. Pour formater ces disques SSD locaux, vous devez effectuer un formatage complet en utilisant l'utilitaire diskpart et en spécifiant format fs=ntfs label=tmpfs.

G2 standard

Vous ne bénéficiez pas de remises automatiques proportionnelles à une utilisation soutenue ni de remises sur engagement d'utilisation flexibles pour les VM qui utilisent les types de machines G2 standard.
Vous ne pouvez utiliser des types de machines G2 standard que dans certaines régions et zones.
Vous ne pouvez pas utiliser de disques persistants régionaux sur des VM utilisant des types de machines G2 standard.
Le type de machine G2 standard n'est disponible que sur la plate-forme Cascade Lake.
Les disques persistants standards (pd-standard) ne sont pas compatibles avec les VM qui utilisent des types de machines standards G2. Pour connaître les types de disques compatibles, consultez la section Types de disques compatibles pour G2.
Vous ne pouvez pas créer de GPU multi-instances sur des types de machines G2 standard.
Si vous devez modifier le type de machine d'une VM G2, consultez la page Modifier des VM optimisées pour les accélérateurs.
Vous ne pouvez pas utiliser de Deep Learning VM Image en tant que disque de démarrage pour vos VM utilisant des types de machines G2 standard.
Le pilote par défaut actuel de Container-Optimized OS n'est pas compatible avec les GPU L4 s'exécutant sur des types de machines G2. Container-Optimized OS n'accepte également qu'un ensemble sélectionné de pilotes. Si vous souhaitez utiliser Container-Optimized OS sur des types de machines G2, consultez les notes suivantes :
- Utilisez une version de Container-Optimized OS compatible avec le pilote NVIDIA version 525.60.13 recommandée (minimum) ou ultérieure. Pour en savoir plus, consultez les notes de version de Container-Optimized OS.
- Lorsque vous installez le pilote, spécifiez la dernière version disponible compatible avec les GPU L4. Par exemple, sudo cos-extensions install gpu -- -version=525.60.13.
Vous devez utiliser Google Cloud CLI ou REST pour créer des VM G2 dans les scénarios suivants :
- Vous souhaitez spécifier des valeurs personnalisées de la mémoire.
- Vous souhaitez personnaliser le nombre de cœurs de processeur visibles.

Créer des groupes de VM à usage général N1

Vous créez un groupe de VM optimisées pour les accélérateurs à l'aide de Google Cloud CLI ou de REST.

Cette section explique comment créer plusieurs VM à l'aide des types de GPU suivants.

GPU NVIDIA :

NVIDIA T4 : nvidia-tesla-t4
NVIDIA P4 : nvidia-tesla-p4
NVIDIA P100 : nvidia-tesla-p100
NVIDIA V100 : nvidia-tesla-v100
NVIDIA K80 : nvidia-tesla-k80. Consultez la page Fin de vie de NVIDIA K80.

Poste de travail virtuel NVIDIA RTX (vWS) (anciennement NVIDIA GRID) :

Poste de travail virtuel NVIDIA T4 : nvidia-tesla-t4-vws
Poste de travail virtuel NVIDIA P4 : nvidia-tesla-p4-vws
Poste de travail virtuel NVIDIA P100 : nvidia-tesla-p100-vws

Pour ces postes de travail virtuels, une licence de poste de travail virtuel NVIDIA RTX (vWS) est automatiquement ajoutée à votre VM.

gcloud

Pour créer un groupe de VM, utilisez la commande gcloud compute instances bulk create. Pour en savoir plus sur les paramètres et l'utilisation de cette commande, consultez la page Créer des VM de manière groupée.

Exemple

L'exemple suivant crée deux VM avec des GPU associés à l'aide des spécifications suivantes :

Noms des VM : my-test-vm-1, my-test-vm-2
VM créées dans n'importe quelle zone de us-central1 compatible avec les GPU
Chaque VM est associée à deux GPU T4, spécifiés à l'aide du type d'accélérateur et des options de comptage de l'accélérateur.
Chaque VM dispose de pilotes de GPU.
Chaque VM utilise l'instance Deep Learning VM Image pytorch-latest-gpu-v20211028-debian-10.

gcloud compute instances bulk create \
    --name-pattern="my-test-vm-#" \
    --count=2 \
    --region=us-central1 \
    --machine-type=n1-standard-2 \
    --accelerator type=nvidia-tesla-t4,count=2 \
    --boot-disk-size=200 \
    --metadata="install-nvidia-driver=True" \
    --scopes="https://www.googleapis.com/auth/cloud-platform" \
    --image=pytorch-latest-gpu-v20211028-debian-10 \
    --image-project=deeplearning-platform-release \
    --on-host-maintenance=TERMINATE --restart-on-failure

Si l'opération réussit, le résultat est semblable à ceci :

NAME          ZONE
my-test-vm-1  us-central1-b
my-test-vm-2  us-central1-b
Bulk create request finished with status message: [VM instances created: 2, failed: 0.]

REST

Exemple

L'exemple suivant crée deux VM avec des GPU associés à l'aide des spécifications suivantes :

Noms des VM : my-test-vm-1, my-test-vm-2
VM créées dans n'importe quelle zone de us-central1 compatible avec les GPU
Chaque VM est associée à deux GPU T4, spécifiés à l'aide du type d'accélérateur et des options de comptage de l'accélérateur.
Chaque VM dispose de pilotes de GPU.
Chaque VM utilise l'instance Deep Learning VM Image pytorch-latest-gpu-v20211028-debian-10.

en remplaçant PROJECT_ID par l'ID de votre projet :

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/region/us-central1/instances/bulkInsert

{
    "namePattern":"my-test-vm-#",
    "count":"2",
    "instanceProperties": {
      "machineType":"n1-standard-2",
      "disks":[
        {
          "type":"PERSISTENT",
          "initializeParams":{
            "diskSizeGb":"200",
            "sourceImage":"projects/deeplearning-platform-release/global/images/pytorch-latest-gpu-v20211028-debian-10"
          },
          "boot":true
        }
      ],
      "name": "default",
      "networkInterfaces":
      [
        {
          "network": "projects/PROJECT_ID/global/networks/default"
        }
      ],
      "guestAccelerators":
      [
        {
          "acceleratorCount": 2,
          "acceleratorType": "nvidia-tesla-t4"
        }
      ],
      "scheduling":{
        "onHostMaintenance":"TERMINATE",
        "automaticRestart":true
      },
      "metadata":{
        "items":[
          {
            "key":"install-nvidia-driver",
            "value":"True"
          }
        ]
      }
  }
 }

Étape suivante

Pour surveiller les performances du GPU, consultez la page Surveiller les performances du GPU.
Pour améliorer les performances du réseau, consultez la section Utiliser une bande passante réseau plus élevée.
Pour gérer la maintenance de l'hôte GPU, consultez la section Gérer les événements de maintenance de l'hôte GPU.