Vous pouvez utiliser des GPU sur Compute Engine pour accélérer des charges de travail spécifiques sur vos VM, telles que le machine learning (ML) et le traitement des données. Pour utiliser des GPU, vous pouvez déployer une VM optimisée pour les accélérateurs à laquelle des GPU sont associés ou associer des GPU à une VM N1 à usage général.
Compute Engine fournit des GPU pour vos VM en mode passthrough. Cela permet à vos VM de contrôler directement les GPU et leur mémoire associée.
Pour en savoir plus sur les GPU sur Compute Engine, consultez la page À propos des GPU.
Si vous avez des charges de travail graphiques lourdes, telles que la visualisation 3D, le rendu 3D ou les applications virtuelles, vous pouvez utiliser des postes de travail virtuels NVIDIA RTX (anciennement NVIDIA GRID).
Ce document présente les différents modèles de VM avec GPU disponibles sur Compute Engine.
Pour consulter les régions et les zones disponibles pour les GPU sur Compute Engine, consultez la page Régions et zones disponibles pour les GPU.
GPU pour les tâches de calcul
Pour les charges de travail de calcul, les GPU sont compatibles avec les types de machines suivants:
- VM A3: ces VM sont associées automatiquement à des GPU NVIDIA H100 de 80 Go.
- VM A2: ces VM sont associées automatiquement à des GPU NVIDIA A100 80 Go ou NVIDIA A100 40 Go.
- VM G2: les GPU NVIDIA L4 sont automatiquement associés à ces VM.
- VM N1: pour ces VM, vous pouvez associer les modèles de GPU suivants : NVIDIA T4, NVIDIA V100, NVIDIA P100 ou NVIDIA P4.
Série de machines A3
Pour utiliser des GPU NVIDIA H100 80 Go, vous devez utiliser une machine optimisée pour l'accélérateur A3. Chaque type de machine A3 possède un nombre de GPU, un nombre de processeurs virtuels et une taille de mémoire fixes.
La série de machines A3 est disponible en trois types:
- A3 Mega: ces types de machines sont associés à des GPU H100 de 80 Go (
nvidia-h100-mega-80gb
) et offrent les meilleures performances réseau. Ils sont idéaux pour les charges de travail d'entraînement les plus exigeantes et à grande échelle. - A3 High: ces types de machines sont associés à des GPU H100 de 80 Go (
nvidia-h100-80gb
) et sont adaptés à la fois à l'entraînement et à l'exécution de grands modèles d'IA. - A3 Edge: ces types de machines sont associés à des GPU H100 de 80 Go (
nvidia-h100-80gb
), sont conçus spécifiquement pour la diffusion et sont disponibles dans un ensemble limité de régions.
A3 Mega
Type de machine | Nombre de GPU | Mémoire GPU* (GB HBM3) |
Nombre de vCPU† | Mémoire VM (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s)‡ | Protocole réseau |
---|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
8 | 640 | 208 | 1 872 | 6 000 | 9 | 1 800 | GPUDirect-TCPXO |
A3 High
a3-highgpu-1g
, a3-highgpu-2g
ou a3-highgpu-4g
, vous devez utiliser des VM Spot ou une fonctionnalité qui utilise le planificateur de charge de travail dynamique (DWS), comme les requêtes de redimensionnement dans un MIG. Pour obtenir des instructions détaillées sur l'une de ces options, consultez les ressources suivantes :
- Pour créer des VM Spot, consultez la page Créer une VM optimisée pour les accélérateurs et n'oubliez pas de définir le modèle de provisionnement sur
SPOT
. - Pour créer une requête de redimensionnement dans un MIG qui utilise le planificateur de charges de travail dynamique, consultez Créer un MIG avec des VM avec GPU.
Type de machine | Nombre de GPU | Mémoire GPU* (GB HBM3) |
Nombre de vCPU† | Mémoire VM (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s)‡ | Protocole réseau |
---|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
1 | 80 | 26 | 234 | 750 | 1 | 25 | GPUDirect-TCPX |
a3-highgpu-2g |
2 | 160 | 52 | 468 | 1 500 | 1 | 50 | GPUDirect-TCPX |
a3-highgpu-4g |
4 | 320 | 104 | 936 | 3 000 | 1 | 100 | GPUDirect-TCPX |
a3-highgpu-8g |
8 | 640 | 208 | 1 872 | 6 000 | 5 | 800 | GPUDirect-TCPX |
A3 Edge
Type de machine | Nombre de GPU | Mémoire GPU* (GB HBM3) |
Nombre de vCPU† | Mémoire VM (Go) | SSD local associé (Gio) | Nombre de cartes d'interface réseau physiques | Bande passante réseau maximale (Gbit/s)‡ | Protocole réseau |
---|---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
8 | 640 | 208 | 1 872 | 6 000 | 5 |
|
GPUDirect-TCPX |
*La mémoire du GPU est la mémoire d'un appareil GPU pouvant être utilisée pour le stockage temporaire de données. Elle est distincte de la mémoire de la VM et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail gourmandes en ressources graphiques.
†Un processeur virtuel est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
‡ La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs.
Consultez la page Bande passante réseau.
Série de machines A2
Pour utiliser des GPU NVIDIA A100 sur Google Cloud, vous devez déployer une machine optimisée pour l'accélérateur A2. Chaque type de machine A2 possède un nombre de GPU, un nombre de processeurs virtuels et une taille de mémoire fixes.
La série de machines A2 est disponible en deux types :
- A2 Ultra: ces types de machines sont associés à des GPU A100 de 80 Go (
nvidia-a100-80gb
) et à des disques SSD locaux. - A2 Standard: ces types de machines sont associés à des GPU A100 de 40 Go (
nvidia-tesla-a100
).
A2 ultra
Type de machine | Nombre de GPU | Mémoire GPU* (GB HBM3) |
Nombre de vCPU† | Mémoire VM (Go) | SSD local associé (Gio) | Bande passante réseau maximale (Gbit/s)‡ |
---|---|---|---|---|---|---|
a2-ultragpu-1g |
1 | 80 | 12 | 170 | 375 | 24 |
a2-ultragpu-2g |
2 | 160 | 24 | 340 | 750 | 32 |
a2-ultragpu-4g |
4 | 320 | 48 | 680 | 1 500 | 50 |
a2-ultragpu-8g |
8 | 640 | 96 | 1 360 | 3 000 | 100 |
A2 standard
Type de machine | Nombre de GPU | Mémoire GPU* (GB HBM3) |
Nombre de vCPU† | Mémoire VM (Go) | SSD local associé (Gio) | Bande passante réseau maximale (Gbit/s)‡ |
---|---|---|---|---|---|---|
a2-highgpu-1g |
1 | 40 | 12 | 85 | Oui | 24 |
a2-highgpu-2g |
2 | 80 | 24 | 170 | Oui | 32 |
a2-highgpu-4g |
4 | 160 | 48 | 340 | Oui | 50 |
a2-highgpu-8g |
8 | 320 | 96 | 680 | Oui | 100 |
a2-megagpu-16g |
16 | 640 | 96 | 1 360 | Oui | 100 |
*La mémoire du GPU est la mémoire disponible sur un GPU pouvant être utilisé pour le stockage temporaire de données. Elle est distincte de la mémoire de la VM et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail gourmandes en ressources graphiques.
Série de machines G2
Pour utiliser des GPU NVIDIA L4 (nvidia-l4
ou nvidia-l4-vws
), vous devez déployer une machine optimisée pour l'accélérateur G2.
Chaque type de machine G2 est associé à un nombre fixe de GPU NVIDIA L4 et de processeurs virtuels. Chaque type de machine G2 dispose également d'une mémoire par défaut et d'une plage de mémoire personnalisée. La plage de mémoire personnalisée définit la quantité de mémoire que vous pouvez allouer à votre VM pour chaque type de machine. Vous pouvez spécifier votre mémoire personnalisée lors de la création de la VM.
Type de machine | Nombre de GPU | Mémoire GPU* (Go GDDR6) | Nombre de vCPU† | Mémoire VM par défaut (Go) | Plage de mémoire personnalisée VM (Go) | Disque SSD local maximal compatible (Gio) | Bande passante réseau maximale (Gbit/s)‡ |
---|---|---|---|---|---|---|---|
g2-standard-4 |
1 | 24 | 4 | 16 | Entre 16 et 32 | 375 | 10 |
g2-standard-8 |
1 | 24 | 8 | 32 | Entre 32 et 54 | 375 | 16 |
g2-standard-12 |
1 | 24 | 12 | 48 | Entre 48 et 54 | 375 | 16 |
g2-standard-16 |
1 | 24 | 16 | 64 | Entre 54 et 64 | 375 | 32 |
g2-standard-24 |
2 | 48 | 24 | 96 | Entre 96 et 108 | 750 | 32 |
g2-standard-32 |
1 | 24 | 32 | 128 | Entre 96 et 128 | 375 | 32 |
g2-standard-48 |
4 | 96 | 48 | 192 | Entre 192 et 216 | 1 500 | 50 |
g2-standard-96 |
8 | 192 | 96 | 384 | Entre 384 et 432 | 3 000 | 100 |
*La mémoire du GPU est la mémoire disponible sur un GPU pouvant être utilisé pour le stockage temporaire de données. Elle est distincte de la mémoire de la VM et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail gourmandes en ressources graphiques.
Série de machines N1
Vous pouvez associer les modèles de GPU suivants à un type de machine N1, à l'exception du type de machine N1 à cœur partagé.
Les VM N1 disposant de peu de GPU sont limitées à un nombre maximal de processeurs virtuels. En règle générale, un nombre plus élevé de GPU permet de créer des instances de VM dotées d'une plus grande quantité de processeurs virtuels et de mémoire.
GPU N1+T4
Vous pouvez associer des GPU NVIDIA T4 à des VM N1 à usage général avec les configurations de VM suivantes.
Type d'accélérateur | Nombre de GPU | Mémoire GPU* (Go GDDR6) | Nombre de vCPU | Mémoire VM (Go) | Disque SSD local compatible |
---|---|---|---|---|---|
nvidia-tesla-t4 ou nvidia-tesla-t4-vws
|
1 | 16 | Entre 1 et 48 | Entre 1 et 312 | Oui |
2 | 32 | Entre 1 et 48 | Entre 1 et 312 | Oui | |
4 | 64 | Entre 1 et 96 | Entre 1 et 624 | Oui |
*La mémoire du GPU est la mémoire disponible sur un GPU pouvant être utilisé pour le stockage temporaire de données. Elle est distincte de la mémoire de la VM et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail gourmandes en ressources graphiques.
GPU N1+P4
Vous pouvez associer des GPU NVIDIA P4 à des VM N1 à usage général avec les configurations de VM suivantes.
Type d'accélérateur | Nombre de GPU | Mémoire GPU* (Go GDDR5) | Nombre de vCPU | Mémoire VM (Go) | SSD local compatible† |
---|---|---|---|---|---|
nvidia-tesla-p4 ou nvidia-tesla-p4-vws
|
1 | 8 | Entre 1 et 24 | Entre 1 et 156 | Oui |
2 | 16 | Entre 1 et 48 | Entre 1 et 312 | Oui | |
4 | 32 | Entre 1 et 96 | Entre 1 et 624 | Oui |
*La mémoire du GPU est la mémoire disponible sur un GPU pouvant être utilisé pour le stockage temporaire de données. Elle est distincte de la mémoire de la VM et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail gourmandes en ressources graphiques.
†Pour les VM avec des GPU NVIDIA P4 associés, les disques SSD locaux ne sont compatibles qu'avec les zones us-central1-c
et northamerica-northeast1-b
.
GPU N1+V100
Vous pouvez associer des GPU NVIDIA V100 à des VM à usage général N1 avec les configurations de VM suivantes.
Type d'accélérateur | Nombre de GPU | Mémoire GPU* (Go HBM2) | Nombre de vCPU | Mémoire VM (Go) | SSD local compatible† |
---|---|---|---|---|---|
nvidia-tesla-v100 |
1 | 16 | Entre 1 et 12 | Entre 1 et 78 | Oui |
2 | 32 | Entre 1 et 24 | Entre 1 et 156 | Oui | |
4 | 64 | Entre 1 et 48 | Entre 1 et 312 | Oui | |
8 | 128 | Entre 1 et 96 | Entre 1 et 624 | Oui |
*La mémoire du GPU est la mémoire disponible sur un GPU pouvant être utilisé pour le stockage temporaire de données. Elle est distincte de la mémoire de la VM et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail gourmandes en ressources graphiques.
†Pour les VM avec des GPU NVIDIA V100 associés, les disques SSD locaux ne sont pas compatibles avec us-east1-c
.
N1 + GPU P100
Vous pouvez associer des GPU NVIDIA P100 à des VM N1 à usage général avec les configurations de VM suivantes.
Pour certains GPU NVIDIA P100, la quantité maximale de processeurs et de mémoire qui est disponible pour certaines configurations dépend de la zone dans laquelle la ressource GPU est en cours d'exécution.
Type d'accélérateur | Nombre de GPU | Mémoire GPU* (Go HBM2) | Nombre de vCPU | Mémoire VM (Go) | Disque SSD local compatible |
---|---|---|---|---|---|
nvidia-tesla-p100 ou nvidia-tesla-p100-vws
|
1 | 16 | Entre 1 et 16 | Entre 1 et 104 | Oui |
2 | 32 | 1 à 32 | Entre 1 et 208 | Oui | |
4 | 64 | Entre 1 et 64 Entre 1 et 96 |
Entre 1 et 208 Entre 1 et 624 |
Oui |
*La mémoire du GPU est la mémoire disponible sur un GPU pouvant être utilisé pour le stockage temporaire de données. Elle est distincte de la mémoire de la VM et est spécialement conçue pour gérer les demandes de bande passante plus élevées de vos charges de travail gourmandes en ressources graphiques.
Postes de travail virtuels (vWS) NVIDIA RTX pour les charges de travail graphiques
Si vous avez des charges de travail exigeantes en ressources graphiques, telles que la visualisation 3D, vous pouvez créer des postes de travail virtuels qui utilisent des postes de travail virtuels (vWS, Virtual Workstations) NVIDIA RTX (anciennement NVIDIA GRID). Lorsque vous créez un poste de travail virtuel, une licence de poste de travail virtuel NVIDIA RTX (vWS) est automatiquement ajoutée à votre VM.
Pour en savoir plus sur la tarification des postes de travail virtuels, consultez la section Tarifs des GPU.
Pour les charges de travail graphiques, les modèles de postes de travail virtuels (vWS) NVIDIA RTX sont disponibles:
Série de machines G2: pour les types de machines G2, vous pouvez activer les postes de travail virtuels (vWS) NVIDIA L4:
nvidia-l4-vws
Série de machines N1: pour les types de machines N1, vous pouvez activer les postes de travail virtuels suivants:
- Postes de travail virtuels NVIDIA T4:
nvidia-tesla-t4-vws
- Postes de travail virtuels NVIDIA P100:
nvidia-tesla-p100-vws
- Postes de travail virtuels NVIDIA P4:
nvidia-tesla-p4-vws
- Postes de travail virtuels NVIDIA T4:
Graphique de comparaison général
Le tableau suivant décrit la taille de la mémoire du GPU, la disponibilité des fonctionnalités, ainsi que les types de charges de travail idéaux des différents modèles de GPU disponibles sur Compute Engine.
Modèle GPU | Mémoire de GPU | Interconnexion | Compatibilité avec les postes de travail virtuels (vWS) NVIDIA RTX | Utilisation optimale |
---|---|---|---|---|
H100 80 Go | 80 Go HBM3 à 3,35 Tbit/s | NVLink Full Mesh à 900 Gbit/s | Modèles volumineux avec tables de données massives pour entraînement ou inférence ML, HPC, BERT et DLRM. | |
A100 80 Go | 80 Go HBM2e à 1,9 Tbit/s | NVLink Full Mesh à 600 Gbit/s | Modèles volumineux avec tables de données massives pour entraînement ou inférence ML, HPC, BERT et DLRM. | |
A100 40 Go | 40 Go HBM2 à 1,6 Tbit/s | NVLink Full Mesh à 600 Gbit/s | Entraînement et inférence ML, HPC | |
L4 | 24 Go GDDR6 à 300 Gbit/s | N/A | Inférence et entraînement ML, postes de travail à distance pour la visualisation, transcodage de vidéos, HPC | |
T4 | 16 Go GDDR6 à 320 Gbit/s | N/A | Inférence et entraînement ML, postes de travail à distance pour la visualisation, transcodage de vidéos | |
V100 | 16 Go HBM2 à 900 Gbit/s | NVLink Ring à 300 Gbit/s | Entraînement et inférence ML, HPC | |
P4 | 8 Go GDDR5 à 192 Gbit/s | N/A | Postes de travail à distance pour la visualisation, inférence ML et transcodage de vidéos | |
P100 | 16 Go HBM2 à 732 Gbit/s | N/A | Inférence et entraînement ML, HPC, postes de travail à distance pour la visualisation |
Pour comparer les tarifs des GPU selon les différents modèles de GPU et les différentes régions disponibles sur Compute Engine, consultez la section Tarifs des GPU.
Graphique de comparaison des performances
Le tableau suivant décrit les spécifications des performances des différents modèles de GPU disponibles sur Compute Engine.
Performances de calcul
Modèle GPU | FP64 | FP32 | FP16 | INT8 |
---|---|---|---|---|
H100 80 Go | 34 TFLOPS | 67 TFLOPS | ||
A100 80 Go | 9,7 TFLOPS | 19,5 TFLOPS | ||
A100 40 Go | 9,7 TFLOPS | 19,5 TFLOPS | ||
L4 | 0,5 TFLOPS* | 30,3 TFLOPS | ||
T4 | 0,25 TFLOPS* | 8,1 TFLOPS | ||
V100 | 7,8 TFLOPS | 15,7 TFLOPS | ||
P4 | 0,2 TFLOPS* | 5,5 TFLOPS | 22 TOPS† | |
P100 | 4,7 TFLOPS | 9,3 TFLOPS | 18,7 TFLOPS |
*Pour permettre au code FP64 de fonctionner correctement, un petit nombre d'unités matérielles FP64 sont incluses dans l'architecture des GPU T4, L4 et P4.
†Téra-opérations par seconde.
Performances des cœurs Tensor
Modèle GPU | FP64 | TF32 | Précision mixte FP16/FP32 | INT8 | INT4 | FP8 |
---|---|---|---|---|---|---|
H100 80 Go | 67 TFLOPS | 989 TFLOPS† | 1 979 TFLOPS*, † | 3 958 TOPS† | 3 958 TFLOPS† | |
A100 80 Go | 19,5 TFLOPS | 156 TFLOPS | 312 TFLOPS* | 624 TOPS | 1248 TOPS | |
A100 40 Go | 19,5 TFLOPS | 156 TFLOPS | 312 TFLOPS* | 624 TOPS | 1248 TOPS | |
L4 | 120 TFLOPS† | 242 TFLOPS*, † | 485 TOPS† | 485 TFLOPS† | ||
T4 | 65 TFLOPS | 130 TOPS | 260 TOPS | |||
V100 | 125 TFLOPS | |||||
P4 | ||||||
P100 |
*Pour l'entraînement de précision mixte, les GPU NVIDIA H100, A100 et L4 acceptent également le type de données bfloat16
.
† Pour les GPU H100 et L4, la sparsité structurelle est prise en charge, ce qui vous permet de doubler la valeur de performances. Les valeurs affichées prennent en compte la parcimonie. Les spécifications sont inférieures de moitié sans parcimonie.
Étape suivante
- Pour en savoir plus sur les GPU sur Compute Engine, consultez la page À propos des GPU.
- Vérifiez la disponibilité des régions et des zones GPU.
- Consultez la section Bandes passantes réseau et GPU.
- Consultez les tarifs des GPU.