Compute Engine offre la possibilité d'ajouter des processeurs graphiques (GPU) aux instances de machines virtuelles (VM). Vous pouvez utiliser ces GPU pour accélérer des charges de travail spécifiques sur vos VM, telles que le machine learning et le traitement des données.
Compute Engine fournit des GPU NVIDIA pour vos VM en mode passthrough. Cela permet à vos VM de contrôler directement les GPU et leur mémoire associée.
Si vous avez des charges de travail graphiques lourdes, telles que la visualisation 3D, le rendu 3D ou les applications virtuelles, vous pouvez utiliser des postes de travail virtuels NVIDIA RTX (anciennement NVIDIA GRID).
Ce document présente les différents modèles de GPU disponibles sur Compute Engine.
Pour consulter les régions et les zones disponibles pour les GPU sur Compute Engine, consultez la page Régions et zones disponibles pour les GPU.
GPU NVIDIA pour les charges de travail de calcul
Pour les charges de travail de calcul, les modèles de GPU sont disponibles aux phases suivantes :
- NVIDIA A100 : Disponibilité générale
- NVIDIA T4 :
nvidia-tesla-t4
: Disponibilité générale - NVIDIA V100 :
nvidia-tesla-v100
: Disponibilité générale - NVIDIA P100 :
nvidia-tesla-p100
: Disponibilité générale - NVIDIA P4 :
nvidia-tesla-p4
: Disponibilité générale - NVIDIA K80 :
nvidia-tesla-k80
: Disponibilité générale
GPU NVIDIA A100
Pour exécuter des GPU NVIDIA A100, vous devez utiliser le type de machine accelerator-optimized (A2).
Chaque type de machine A2 possède un nombre de GPU, un nombre de processeurs virtuels et une taille de mémoire fixes.
Modèle GPU | Machine type (Type de machine) | GPU | Mémoire du GPU | Processeurs virtuels disponibles | Mémoire disponible |
---|---|---|---|---|---|
NVIDIA A100 | a2-highgpu-1g |
1 GPU | 40 Go HBM2 | 12 processeurs virtuels | 85 Go |
a2-highgpu-2g |
2 GPU | 80 Go HBM2 | 24 processeurs virtuels | 170 Go | |
a2-highgpu-4g |
4 GPU | 160 Go HBM2 | 48 processeurs virtuels | 340 Go | |
a2-highgpu-8g |
8 GPU | 320 Go HBM2 | 96 processeurs virtuels | 680 Go | |
a2-megagpu-16g |
16 GPU | 64 Go HBM2 | 96 processeurs virtuels | 1360 Go |
GPU NVIDIA T4
Les VM disposant de peu de GPU sont limitées à un nombre maximal de processeurs virtuels. En règle générale, un nombre plus élevé de GPU permet de créer des instances dotées d'une plus grande quantité de processeurs virtuels et de mémoire.
Modèle GPU | GPU | Mémoire du GPU | Processeurs virtuels disponibles | Mémoire disponible |
---|---|---|---|---|
NVIDIA T4 | 1 GPU | 16 Go GDDR6 | 1 – 48 processeurs virtuels | 1 - 312 Go |
2 GPU | 32 Go GDDR6 | 1 – 48 processeurs virtuels | 1 – 312 Go | |
4 GPU | 64 Go GDDR6 | 1 – 96 processeurs virtuels | 1 - 624 Go |
GPU NVIDIA P4
Modèle GPU | GPU | Mémoire du GPU | Processeurs virtuels disponibles | Mémoire disponible |
---|---|---|---|---|
NVIDIA P4 | 1 GPU | 8 Go GDDR5 | 1 – 24 processeurs virtuels | 1 – 156 Go |
2 GPU | 16 Go GDDR5 | 1 – 48 processeurs virtuels | 1 – 312 Go | |
4 GPU | 32 Go GDDR5 | 1 – 96 processeurs virtuels | 1 - 624 Go |
GPU NVIDIA V100
Modèle GPU | GPU | Mémoire du GPU | Processeurs virtuels disponibles | Mémoire disponible |
---|---|---|---|---|
NVIDIA V100 | 1 GPU | 16 Go HBM2 | 1 – 12 processeurs virtuels | 1 - 78 Go |
2 GPU | 32 Go HBM2 | 1 – 24 processeurs virtuels | 1 – 156 Go | |
4 GPU | 64 Go HBM2 | 1 – 48 processeurs virtuels | 1 – 312 Go | |
8 GPU | 128 Go HBM2 | 1 – 96 processeurs virtuels | 1 - 624 Go |
GPU NVIDIA P100
Pour certains GPU P100, la quantité maximale de processeurs et de mémoire qui est disponible pour certaines configurations dépend de la zone dans laquelle la ressource GPU est en cours d'exécution.
Modèle GPU | GPU | Mémoire du GPU | Processeurs virtuels disponibles | Mémoire disponible |
---|---|---|---|---|
NVIDIA P100 | 1 GPU | 16 Go HBM2 | 1 – 16 processeurs virtuels | 1 - 104 Go |
2 GPU | 32 Go HBM2 | 1 – 32 processeurs virtuels | 1 – 208 Go | |
4 GPU | 64 Go HBM2 | 1 – 64 processeurs virtuels 1 – 96 processeurs virtuels |
1 – 208 Go 1 – 624 Go |
GPU NVIDIA K80
Les cartes NVIDIA K80 contiennent chacune deux GPU. Le prix des GPU K80 est calculé par GPU, et non par carte.
Modèle GPU | GPU | Mémoire du GPU | Processeurs virtuels disponibles | Mémoire disponible |
---|---|---|---|---|
NVIDIA K80 | 1 GPU | 12 Go GDDR5 | 1 – 8 processeurs virtuels | 1 - 52 Go |
2 GPU | 24 Go GDDR5 | 1 – 16 processeurs virtuels | 1 – 104 Go | |
4 GPU | 48 Go de GDDR5 | 1 – 32 processeurs virtuels | 1 – 208 Go | |
8 GPU | 96 Go GDDR5 | 1 – 64 processeurs virtuels | 1 – 416 Go 1 – 208 Go |
Postes de travail virtuels NVIDIA RTX pour les charges de travail graphiques
Si vous avez des charges de travail exigeantes en ressources graphiques, telles que la visualisation 3D, vous pouvez créer des postes de travail virtuels qui utilisent des postes de travail virtuels NVIDIA RTX (anciennement NVIDIA GRID). Lorsque vous créez un poste de travail virtuel, une licence de poste de travail virtuel NVIDIA RTX est automatiquement ajoutée à votre VM. Pour en savoir plus sur la tarification des postes de travail virtuels, consultez la section Tarifs des GPU.
Pour les charges de travail graphiques, les modèles de postes de travail virtuels NVIDIA RTX sont disponibles aux phases suivantes :
- Postes de travail virtuels NVIDIA T4 :
nvidia-tesla-t4-vws
: Disponibilité générale - Postes de travail virtuels NVIDIA P100 :
nvidia-tesla-p100-vws
: Disponibilité générale - Postes de travail virtuels NVIDIA P4 :
nvidia-tesla-p4-vws
: Disponibilité générale
GPU NVIDIA T4 VWS
Modèle GPU | GPU | Mémoire du GPU | Processeurs virtuels disponibles | Mémoire disponible |
---|---|---|---|---|
Poste de travail virtuel NVIDIA T4 | 1 GPU | 16 Go GDDR6 | 1 – 48 processeurs virtuels | 1 - 312 Go |
2 GPU | 32 Go GDDR6 | 1 – 48 processeurs virtuels | 1 – 312 Go | |
4 GPU | 64 Go GDDR6 | 1 – 96 processeurs virtuels | 1 - 624 Go |
GPU NVIDIA P4 VWS
Modèle GPU | GPU | Mémoire du GPU | Processeurs virtuels disponibles | Mémoire disponible |
---|---|---|---|---|
Poste de travail virtuel NVIDIA P4 | 1 GPU | 8 Go GDDR5 | 1 – 16 processeurs virtuels | 1 – 156 Go |
2 GPU | 16 Go GDDR5 | 1 – 48 processeurs virtuels | 1 – 312 Go | |
4 GPU | 32 Go GDDR5 | 1 – 96 processeurs virtuels | 1 - 624 Go |
GPU NVIDIA P100 VWS
Modèle GPU | GPU | Mémoire du GPU | Processeurs virtuels disponibles | Mémoire disponible |
---|---|---|---|---|
Poste de travail virtuel NVIDIA P100 | 1 GPU | 16 Go HBM2 | 1 – 16 processeurs virtuels | 1 - 104 Go |
2 GPU | 32 Go HBM2 | 1 – 32 processeurs virtuels | 1 – 208 Go | |
4 GPU | 64 Go HBM2 | 1 – 64 processeurs virtuels 1 – 96 processeurs virtuels |
1 – 208 Go 1 – 624 Go |
Graphique de comparaison général
Le tableau suivant décrit la taille de la mémoire du GPU, la disponibilité des fonctionnalités, ainsi que les types de charges de travail idéaux des différents modèles de GPU disponibles sur Compute Engine.
Métrique | A100 | T4 | V100 | P4 | P100 | K80 |
---|---|---|---|---|---|---|
Mémoire | 40 Go HBM2 à 1,6 To/s | 16 Go GDDR6 à 240 Go/s | 16 Go HBM2 à 900 Go/s | 8 Go GDDR5 à 192 Go/s | 16 Go HBM2 à 732 Go/s | 12 Go GDDR5 à 240 Go/s |
Interconnect | NVLink Full Mesh à 600 Go/s | ND | NVLink Ring à 300 Go/s | ND | N/A | Non disponible |
Compatibilité avec les postes de travail virtuels NVIDIA RTX | ||||||
Utilisation optimale | Entraînement et inférence ML, HPC | Inférence et entraînement ML, postes de travail à distance pour la visualisation, transcodage de vidéos | Entraînement et inférence ML, HPC | Postes de travail à distance pour la visualisation, inférence ML et transcodage de vidéos | Inférence et entraînement ML, HPC, postes de travail à distance pour la visualisation | Inférence et entraînement ML, HPC |
Tarifs | Pour comparer les tarifs des GPU selon les différents modèles de GPU et les différentes régions disponibles sur Compute Engine, consultez la section Tarifs des GPU. |
Graphique de comparaison des performances
Le tableau suivant décrit les spécifications des performances des différents modèles de GPU disponibles sur Compute Engine.
Métrique | A100 | T4 | V100 | P4 | P100 | K80 |
---|---|---|---|---|---|---|
Performances de calcul | ||||||
FP64 | 9,7 TFLOPS | 0,25 TFLOPS1 | 7,8 TFLOPS | 0,2 TFLOPS1 | 4,7 TFLOPS | 1,46 TFLOPS |
FP32 | 19,5 TFLOPS | 8,1 TFLOPS | 15,7 TFLOPS | 5,5 TFLOPS | 9,3 TFLOPS | 4,37 TFLOPS |
FP16 | 18,7 TFLOPS | |||||
INT8 | 22 TOPS2 | |||||
Performances des cœurs Tensor | ||||||
FP64 | 19,5 TFLOPS | |||||
TF32 | 156 TFLOPS | |||||
Précision mixte FP16/FP32 | 312 TFLOPS3 | 65 TFLOPS | 125 TFLOPS | |||
INT8 | 624 TOPS2 | 180 TOPS2 | ||||
INT4 | 1248 TOPS2 | 260 TOPS2 |
1Pour permettre au code FP64 de fonctionner correctement, un petit nombre d'unités matérielles FP64 sont incluses dans l'architecture GPU T4 et P4.
2 Téra-opérations par seconde.
3 Pour l'entraînement de précision mixte, NVIDIA A100 accepte également le type de données bfloat16
.
Étape suivante
- Pour en savoir plus sur les GPU sur Compute Engine, consultez la page À propos des GPU.
- Vérifiez la disponibilité des régions et des zones GPU.
- Consultez les tarifs des GPU.