GPU sur Compute Engine

Compute Engine offre la possibilité d'ajouter des processeurs graphiques (GPU) aux instances de machines virtuelles (VM). Vous pouvez utiliser ces GPU pour accélérer des charges de travail spécifiques sur vos instances, telles que le machine learning et le traitement des données.

Si vous avez des charges de travail graphiques lourdes, telles que la visualisation 3D, le rendu 3D ou les applications virtuelles, vous pouvez créer des postes de travail virtuels à l'aide de la technologie NVIDIA® GRID®. Pour plus d'informations sur les GPU pour les applications graphiques lourdes, consultez la section GPU pour les charges de travail graphiques.

Ce document présente les GPU sur Compute Engine. Pour en savoir plus sur leur utilisation, consultez les ressources suivantes :

Faites l'essai

Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de Compute Engine en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits offerts pour exécuter, tester et déployer des charges de travail.

Profiter d'un essai gratuit de Compute Engine

Présentation

Compute Engine fournit des GPU NVIDIA® pour vos instances en mode passthrough. Cela permet à vos instances de machine virtuelle de contrôler directement les GPU et leur mémoire associée.

Pour les charges de travail de calcul, les modèles de GPU sont disponibles aux phases suivantes :

  • NVIDIA® A100 : Disponibilité générale
  • NVIDIA® T4 : nvidia-tesla-t4 : Disponibilité générale
  • NVIDIA® V100 : nvidia-tesla-v100 : Disponibilité générale
  • NVIDIA® P100 : nvidia-tesla-p100 : Disponibilité générale
  • NVIDIA® P4 : nvidia-tesla-p4 : Disponibilité générale
  • NVIDIA® K80 : nvidia-tesla-k80 : Disponibilité générale

Voici l'état des versions des modèles GPU disponibles pour les tâches de calcul :

  • Postes de travail virtuels NVIDIA® T4 : nvidia-tesla-t4-vws : Disponibilité générale
  • Postes de travail virtuels NVIDIA® P100 : nvidia-tesla-p100-vws : Disponibilité générale
  • Postes de travail virtuels NVIDIA® P4 : nvidia-tesla-p4-vws : Disponibilité générale

Pour en savoir plus sur les GPU pour postes de travail virtuels, consultez la section GPU pour les charges de travail graphiques.

Vous ne pouvez associer des GPU qu'à des instances dont le type de machine est prédéfini ou personnalisé. Les GPU ne sont pas compatibles avec les types de machines à cœur partagé ou à mémoire optimisée.

Vous pouvez également ajouter des disques SSD locaux aux GPU. Pour obtenir la liste des régions et des types de GPU compatibles avec les disques SSD locaux, consultez la section Disponibilité des disques SSD locaux par régions et zones GPU.

Tarifs

Les appareils avec GPU bénéficient de remises automatiques proportionnelles à une utilisation soutenue semblables à celles des processeurs virtuels. Pour les tarifs horaires et mensuels des appareils GPU, consultez la page Tarifs des GPU.

Modèles de GPU

GPU NVIDIA® A100

Pour exécuter des GPU NVIDIA® A100, vous devez utiliser le type de machine accelerator-optimized (A2).

Chaque type de machine A2 possède un nombre de GPU, un nombre de processeurs virtuels et une taille de mémoire fixes.

Modèle GPU Machine type (Type de machine) GPU Mémoire du GPU Processeurs virtuels disponibles Mémoire disponible
NVIDIA® A100 a2-highgpu-1g 1 GPU 40 Go HBM2 12 processeurs virtuels 85 Go
a2-highgpu-2g 2 GPU 80 Go HBM2 24 processeurs virtuels 170 Go
a2-highgpu-4g 4 GPU 160 Go HBM2 48 processeurs virtuels 340 Go
a2-highgpu-8g 8 GPU 320 Go HBM2 96 processeurs virtuels 680 Go
a2-megagpu-16g 16 GPU 64 Go HBM2 96 processeurs virtuels 1360 Go

Autres modèles de GPU NVIDIA® disponibles

Les VM disposant de peu de GPU sont limitées à un nombre maximal de processeurs virtuels. En règle générale, un nombre plus élevé de GPU permet de créer des instances dotées d'une plus grande quantité de processeurs virtuels et de mémoire.

Modèle GPU GPU Mémoire du GPU Processeurs virtuels disponibles Mémoire disponible
NVIDIA® T4 1 GPU 16 Go GDDR6 1 – 24 processeurs virtuels 1 – 156 Go
2 GPU 32 Go GDDR6 1 – 48 processeurs virtuels 1 – 312 Go
4 GPU 64 Go GDDR6 1 – 96 processeurs virtuels 1 - 624 Go
NVIDIA® P4 1 GPU 8 Go GDDR5 1 – 24 processeurs virtuels 1 – 156 Go
2 GPU 16 Go GDDR5 1 – 48 processeurs virtuels 1 – 312 Go
4 GPU 32 Go GDDR5 1 – 96 processeurs virtuels 1 - 624 Go
NVIDIA® V100 1 GPU 16 Go HBM2 1 – 12 processeurs virtuels 1 - 78 Go
2 GPU 32 Go HBM2 1 – 24 processeurs virtuels 1 – 156 Go
4 GPU 64 Go HBM2 1 – 48 processeurs virtuels 1 – 312 Go
8 GPU 128 Go HBM2 1 – 96 processeurs virtuels 1 - 624 Go
NVIDIA® P100 1 GPU 16 Go HBM2 1 – 16 processeurs virtuels 1 - 104 Go
2 GPU 32 Go HBM2 1 – 32 processeurs virtuels 1 – 208 Go
4 GPU 64 Go HBM2

1 – 64 processeurs virtuels
(us-east1-c, europe-west1-d, europe-west1-b)

1 – 96 processeurs virtuels
(toutes les zones P100)

1 – 208 Go
(us-east1-c, europe-west1-d, europe-west1-b)

1 – 624 Go
(toutes les zones P100)
NVIDIA® K80 1 GPU 12 Go GDDR5 1 – 8 processeurs virtuels 1 - 52 Go
2 GPU 24 Go GDDR5 1 – 16 processeurs virtuels 1 – 104 Go
4 GPU 48 Go de GDDR5 1 – 32 processeurs virtuels 1 – 208 Go
8 GPU 96 Go GDDR5 1 – 64 processeurs virtuels

1 – 416 Go
(asie-est1-a et us-est1-d)

1 – 208 Go
(toutes les zones K80)
Remarque :
  • Pour obtenir une description plus détaillée des zones, consultez la page Régions et zones.
  • Les cartes NVIDIA® K80® contiennent chacune deux GPU. Le prix des GPU K80 est calculé par GPU et non par carte.

GPU NVIDIA® GRID® pour charges de travail graphiques

Si vous avez des charges de travail graphiques lourdes telles que la visualisation 3D, vous pouvez créer des postes de travail virtuels qui utilisent la plate-forme NVIDIA GRID®. Pour en savoir plus sur NVIDIA® GRID®, consultez la présentation de la plate-forme GRID.

Lorsque vous sélectionnez un GPU pour un poste de travail virtuel, une licence NVIDIA® GRID® est ajoutée à votre instance. Pour en savoir plus sur les tarifs, consultez la page Tarifs des GPU.

Pour configurer un poste de travail virtuel NVIDIA® GRID®, vous devez créer une VM avec le poste de travail virtuel activé et installer un pilote GRID.

Après avoir créé votre poste de travail virtuel, vous pouvez vous y connecter à l'aide d'un protocole de bureau à distance, tel que Teradici® PCoIP ou VMware® Horizon View.

Modèle GPU GPU Mémoire du GPU Processeurs virtuels disponibles Mémoire disponible
Poste de travail virtuel NVIDIA® T4 1 GPU 16 Go GDDR6 1 – 24 processeurs virtuels 1 – 156 Go
2 GPU 32 Go GDDR6 1 – 48 processeurs virtuels 1 – 312 Go
4 GPU 64 Go GDDR6 1 – 96 processeurs virtuels 1 - 624 Go
Poste de travail virtuel NVIDIA® P4 1 GPU 8 Go GDDR5 1 – 16 processeurs virtuels 1 – 156 Go
2 GPU 16 Go GDDR5 1 – 48 processeurs virtuels 1 – 312 Go
4 GPU 32 Go GDDR5 1 – 96 processeurs virtuels 1 - 624 Go
Poste de travail virtuel NVIDIA® P100 1 GPU 16 Go HBM2 1 – 16 processeurs virtuels 1 - 104 Go
2 GPU 32 Go HBM2 1 – 32 processeurs virtuels 1 – 208 Go
4 GPU 64 Go HBM2

1 – 64 processeurs virtuels
(us-east1-c, europe-west1-d, europe-west1-b)

1 – 96 processeurs virtuels
(toutes les zones P100)

1 – 208 Go
(us-east1-c, europe-west1-d, europe-west1-b)

1 – 624 Go
(toutes les zones P100)

Bandes passantes réseau et GPU

Des bandes passantes réseau élevées peuvent améliorer les performances des charges de travail distribuées. Pour en savoir plus, consultez la section Bandes passantes et GPU.

GPU sur des instances préemptives

Vous pouvez ajouter des GPU à vos instances de VM préemptives en bénéficiant des prix Spot pour les GPU. Les GPU associés à des instances préemptives fonctionnent comme des GPU normaux dont la durée de vie n'excède pas celle de l'instance. Les instances préemptives dotées de GPU suivent le même processus de préemption que toutes les instances préemptives.

Envisagez de demander un quota Preemptible GPU dédié à utiliser pour les GPU sur les instances préemptives. Pour plus d'informations, consultez la section Quotas pour les instances de VM préemptives.

Lors des événements de maintenance, les instances préemptives avec GPU sont préemptées par défaut et ne peuvent pas être redémarrées automatiquement. Si vous souhaitez recréer vos instances après leur préemption, utilisez un groupe d'instances géré. Les groupes d'instances gérés recréent vos instances si les ressources de processeur virtuel, de mémoire et de GPU sont disponibles.

Si vous souhaitez être averti avant que votre instance soit préemptée, ou encore configurer votre instance pour qu'elle redémarre automatiquement après un événement de maintenance, utilisez une instance standard avec un GPU. Pour les instances standards avec GPU, Google envoie un avis préalable une heure avant la préemption.

L'utilisation de GPU sur Compute Engine ne vous est pas facturée si leurs instances sont préemptées dans la minute qui suit leur exécution.

Pour connaître les étapes permettant de faire en sorte qu'une instance standard redémarre automatiquement, consultez la section Mettre à jour les options d'une instance.

Pour savoir comment créer des instances préemptives avec GPU associés, consultez la section Créer des VM avec des GPU associés.

Réserver des GPU avec des remises sur engagement d'utilisation

Pour réserver des ressources GPU locales dans une zone spécifique, reportez-vous à la section Réserver des ressources zonales. Vous devez obligatoirement réserver pour obtenir des remises sur engagement d'utilisation pour les GPU.

Tableau de comparaison des GPU

Consultez cette section pour en savoir plus sur des facteurs tels que les spécifications de performances, la disponibilité des fonctionnalités, ainsi que les types de charges de travail les mieux adaptés aux différents modèles de GPU disponibles sur Compute Engine.

La quantité maximale de processeurs et de mémoire disponibles pour tout modèle de GPU dépend de la zone dans laquelle la ressource GPU est en cours d'exécution. Pour en savoir plus sur la mémoire, les ressources de processeurs, ainsi que les régions et zones disponibles, consultez la liste des GPU.

Comparaison générale

Métrique A100 T4 V100 P4 P100 K80
Mémoire 40 Go HBM2 à 1,6 To/s 16 Go GDDR6 à 240 Go/s 16 Go HBM2 à 900 Go/s 8 Go GDDR5 à 192 Go/s 16 Go HBM2 à 732 Go/s 12 Go GDDR5 à 240 Go/s
Interconnect NVLink Full Mesh à 600 Go/s ND NVLink Ring à 300 Go/s ND N/A ND
Prise en charge des postes de travail à distance GRID
Utilisation optimale Entraînement et inférence ML, HPC Inférence et entraînement ML, postes de travail à distance pour la visualisation, transcodage de vidéos Entraînement et inférence ML, HPC Postes de travail à distance pour la visualisation, inférence ML et transcodage de vidéos Inférence et entraînement ML, HPC, postes de travail à distance pour la visualisation Inférence et entraînement ML, HPC
Tarifs Pour comparer les tarifs des GPU selon les différents modèles de GPU et les différentes régions disponibles sur Compute Engine, consultez la section Tarifs des GPU.

Comparaison des performances

Métrique A100 T4 V100 P4 P100 K80
Performances de calcul
FP64 9,7 TFLOPS 0,25 TFLOPS1 7,8 TFLOPS 0,2 TFLOPS1 4,7 TFLOPS 1,46 TFLOPS
FP32 19,5 TFLOPS 8,1 TFLOPS 15,7 TFLOPS 5,5 TFLOPS 9,3 TFLOPS 4,37 TFLOPS
FP16 18,7 TFLOPS
INT8 22 TOPS2
Performances des cœurs Tensor
FP64 19,5 TFLOPS
TF32 156 TFLOPS
Précision mixte FP16/FP32 312 TFLOPS3 65 TFLOPS 125 TFLOPS
INT8 624 TOPS2 180 TOPS2
INT4 1248 TOPS2 260 TOPS2

1Pour permettre au code FP64 de fonctionner correctement, un petit nombre d'unités matérielles FP64 sont incluses dans l'architecture GPU T4 et P4.

2 Téra-opérations par seconde.

3 Pour l'entraînement de précision mixte, NVIDIA A100 accepte également le type de données bfloat16.

Restrictions

Pour les VM auxquelles sont associés des GPU, les restrictions suivantes s'appliquent :

  • Si vous souhaitez utiliser vos VM avec des GPU NVIDIA® K80, sachez qu'elles ne peuvent pas utiliser les plates-formes de processeurs Intel Skylake ou des versions ultérieures.

  • Actuellement, les GPU ne sont compatibles qu'avec les types de machines N1 à usage général ou A2 optimisés pour les accélérateurs.

  • Vous ne pouvez pas associer de GPU à des VM avec des types de machines à cœur partagé.

  • Les VM auxquelles sont associés des GPU doivent s'interrompre pour les événements de maintenance de l'hôte, mais peuvent redémarrer automatiquement. Les événements de maintenance de l'hôte, sur Compute Engine, sont associés à une fréquence d'une fois toutes les deux semaines, mais ils peuvent parfois être exécutés plus souvent. Vous devez configurer vos charges de travail de sorte qu'elles gèrent correctement ces événements de maintenance. Plus particulièrement, les charges de travail de longue durée, telles que le machine learning et le calcul hautes performances, doivent être en mesure de gérer les interruptions liées aux événements de maintenance de l'hôte. Pour en savoir plus, consultez la section Gérer les événements de maintenance de l'hôte GPU.

  • Pour protéger les systèmes et les utilisateurs de Compute Engine, les nouveaux projets bénéficient d'un quota global de GPU, ce qui limite le nombre total de GPU que vous pouvez créer dans les zones disponibles. Lorsque vous demandez un quota de GPU, vous devez inclure les modèles de GPU que vous souhaitez créer dans chaque région, mais également demander un quota global supplémentaire pour le nombre total de GPU de tous types, dans toutes les zones.

  • Les VM comprenant un ou plusieurs GPU possèdent un nombre maximal de processeurs virtuels pour chaque GPU que vous ajoutez à l'instance. Par exemple, chaque GPU NVIDIA® K80 vous permet de bénéficier d'un maximum de huit processeurs virtuels et de 52 Go de mémoire dans le type de machine de votre instance. Pour afficher les processeurs virtuels et plages de mémoire disponibles pour différentes configurations de GPU, consultez la liste des GPU.

  • Les GPU nécessitent des pilotes d'appareil pour fonctionner correctement. Les GPU NVIDIA exécutés sur Compute Engine doivent utiliser une version minimale du pilote. Pour en savoir plus sur les versions de pilote, consultez la page sur les versions de pilote NVIDIA requises.

  • Les VM auxquelles est associé un modèle de GPU spécifique ne sont couvertes par le contrat de niveau de service de Compute Engine que si ce modèle GPU associé est accessible à tous et compatible avec plusieurs zones de la même région. Le contrat de niveau de service de Compute Engine ne couvre pas les modèles de GPU dans les zones suivantes :

    • NVIDIA® A100:
      • asia-southeast1-c
    • NVIDIA® T4 :
      • australia-southeast1-a
      • europe-west3-b
      • southamerica-east1-c
    • NVIDIA® V100 :
      • asia-east1-c
      • us-east1-c
    • NVIDIA® P100 :
      • australia-southeast1-c
      • europe-west4-a
    • NVIDIA® K80 :
      • us-west1-b

  • Compute Engine accepte un utilisateur simultané par GPU.

Étape suivante