Famille de machines optimisées pour les accélérateurs

La famille de machines optimisées pour les accélérateurs est conçue par Google Cloud pour fournir les performances et l'efficacité nécessaires aux charges de travail accélérées par GPU, telles que l'intelligence artificielle (IA), le machine learning (ML) et le calcul hautes performances (HPC).

La famille de machines optimisées pour les accélérateurs est disponible dans les séries de machines A3, A2 et G2. Chaque type de machine d'une série est associé à un modèle spécifique et à un nombre de GPU NVIDIA. Vous pouvez également associer certains modèles de GPU à des types de machines à usage général N1.

Recommandation de séries de machines par type de charge de travail

La section suivante fournit la série de machines recommandée en fonction de vos charges de travail GPU.

Modèles d'IA volumineux

Type de charge de travail	Cas d'utilisation	Bonne alternative
Entraînement sur des serveurs multiples (distribué)	A3	A2
Inférence	A3, A2

Modèles traditionnels

Type de charge de travail	Cas d'utilisation	Bonne solution (dans l'ordre recommandé)
Entraînement sur des serveurs multiples (distribué)	A3	A2 G2 N1+V100
Entraînement sur un seul serveur	A3, A2	G2 N1+V100
Inférence	G2	N1+T4 N1+V100

Charges de travail exigeantes en ressources graphiques

Type de charge de travail	Meilleure solution (dans l'ordre recommandé)
Streaming vidéo et transcodage, postes de travail virtuels à distance, jumeaux numériques	G2 N1+T4

Calcul hautes performances

Pour les charges de travail de calcul hautes performances, toutes les séries de machines optimisées pour les accélérateurs fonctionnent bien. La machine la plus adaptée dépend de la quantité de calculs qui doit être déchargée sur le GPU.

Prix et remise

Tous les types de machines optimisés pour les accélérateurs sont compatibles avec les options de remise et de consommation suivantes :

Les types de machines optimisés pour les accélérateurs sont facturés pour les GPU, les processeurs virtuels prédéfinis, la mémoire et le disque SSD local (le cas échéant). Pour en savoir plus sur les tarifs des VM optimisées pour les accélérateurs, consultez la section Famille de types de machines optimisés pour les accélérateurs sur la page des tarifs de l'instance de VM.

Série de machines A3

La série de machines A3 est disponible dans un type de machine standard et dispose de 208 processeurs virtuels et jusqu'à 1 872 Go de mémoire. Cette série de machines est optimisée pour les charges de travail nécessitant beaucoup de ressources de calcul et de mémoire, l'entraînement de ML lié au réseau et les charges de travail HPC.

La série de machines A3 fournit également les fonctionnalités suivantes :

Matériel nouvelle génération : chaque type de machine A3 est associé à des GPU NVIDIA H100, et offre 80 Go de mémoire par GPU et est idéal pour les modèles de langage volumineux basés sur les transformateurs, les bases de données et le HPC.

Cette série de machines est basée sur le processeur évolutif Intel Xeon de 4e génération (Sapphire Rapids) et offre une fréquence turbo maximale à cœur unique allant jusqu'à 3,3 GHz.
Évolutivité NVLink de pointe : les GPU NVIDIA H100 fournissent une bande passante NVLink maximale de 450 Go/s, de manière unidirectionnelle. Avec une topologie globale NVLink répartie sur huit GPU dans un même système, la bande passante globale NVLink peut atteindre 7,2 To/s. Ces GPU peuvent être utilisés comme un accélérateur hautes performances unique doté d'un espace de mémoire unifié pour fournir jusqu'à 25 pétaflops de puissance de calcul AI/DL/ML et jusqu'à 50 pétaflops de puissance de calcul d'inférence.
Vitesse de calcul et mise en réseau améliorées : les GPU NVIDIA H100 offrent une vitesse de calcul jusqu'à 2,5 fois supérieure et 10 fois plus de bande passante réseau que les GPU NVIDIA A100 de la génération précédente.
Chaque VM a3-highgpu-8g possède cinq cartes d'interface réseau physiques, dont quatre partagent le même bus d'interconnexion de composants périphériques (PCIe) et ont un alignement non uniforme d'accès à la mémoire (NUMA) d'une carte d'interface réseau pour deux GPU NVIDIA H100 80 Go. Ces quatre cartes réseau physiques sont idéales pour la communication entre GPU à bande passante élevée. L'autre carte d'interface réseau physique réside sur un bus PCIe distinct et est idéale pour les autres besoins de mise en réseau. Chaque carte d'interface réseau a une bande passante maximale de 200 Gbit/s, soit une bande passante maximale de 1 000 Gbit/s (1 Tbit/s) par VM.
Performances améliorées du cluster GPU avec GPUDirect-TCPX : GPUDirect-TCPX augmente les performances réseau en permettant aux charges utiles de paquets de données de transférer directement la mémoire GPU vers l'interface réseau.

En utilisant GPUDirect-TCPX, les VM A3 offrent le débit le plus élevé entre les VM d'un cluster par rapport aux types de machines optimisés pour les accélérateurs A2 ou G2.

Pour optimiser les performances du cluster de GPU avec GPUDirect-TCPX, consultez les documents suivants :
- Pour Compute Engine, consultez la section Optimiser les performances du réseau GPU avec GPUDirect-TCPX.
- Pour Google Kubernetes Engine, consultez la section Optimiser la bande passante réseau du GPU avec GPUDirect TCPX et le multiréseau.
Optimisations de la virtualisation : la topologie PCIe (Peripheral Component Interconnect Express) des VM A3 fournit des informations de localité plus précises que les charges de travail peuvent utiliser pour optimiser les transferts de données.

Les GPU NVIDIA H100 exposent également la réinitialisation du niveau de fonction (FLR) pour une récupération concertée en cas d'échec et la prise en charge des opérations atomiques dans les améliorations de simultanéité dans certains scénarios.
Stockage : 6 To de disques SSD locaux sont automatiquement ajoutés aux VM créées à l'aide du type de machine A3. Un disque SSD peut être utilisé en tant qu'espace de travail rapide ou pour envoyer des données aux GPU tout en évitant les goulots d'étranglement d'E/S.

Vous pouvez également associer jusqu'à 257 To de stockage sur disque persistant aux types de machines de cette série pour les applications nécessitant des performances de stockage plus élevées.
Compatibilité avec les stratégies de concentration : vous permet de mieux contrôler l'emplacement physique de vos VM dans les centres de données. Cela permet une latence plus faible et une bande passante plus élevée pour l'emplacement des VM dans une seule zone de disponibilité. La stratégie d'emplacement compact accepte jusqu'à 96 VM dans un sous-ensemble à faible latence du réseau, dans une zone donnée.

Types de disques compatibles avec A3

Les VM A3 peuvent utiliser les types de stockage de blocs suivants :

Disque persistant avec équilibrage (pd-balanced)
Disque persistant SSD (performances, pd-ssd)
Hyperdisque extrême (hyperdisk-extreme)
Débit hyperdisque (hyperdisk-throughput)
SSD local : ajouté automatiquement aux VM créées à l'aide du type de machine A3

Limites de disque et de capacité

Vous pouvez utiliser une combinaison de volumes Persistent Disk et Hyperdisk avec une VM, mais les restrictions suivantes s'appliquent :

Le nombre combiné de volumes Hyperdisk et Persistent Disk ne peut pas dépasser 128 par VM.
La capacité totale maximale de disque (en Tio), pour tous les types de disques, ne peut pas dépasser :
- Lorsque vous utilisez des types de machines avec moins de 32 vCPU :
  - 257 Tio pour les volumes Persistent Disk ou Hyperdisk
  - 257 Tio pour une combinaison de volumes Persistent Disk et Hyperdisk
- Lorsque vous utilisez des types de machines avec 32 vCPU ou plus :
  - 257 Tio pour les volumes Persistent Disk
  - 512 Tio pour les volumes Hyperdisk ou pour une combinaison de volumes Persistent Disk et Hyperdisk

Pour en savoir plus sur ces limites, consultez les sections Limites de capacité Hyperdisk par VM et Capacité maximale des volumes Persistent Disk.

Types de machines standard A3

Ce type de machine dispose d'un nombre fixe de GPU H100.

Types de machine	Nombre de GPU	Processeurs virtuels^*	Mémoire (Go)	Nombre maximal de disques par VM, sur tous les disques^†	Nombre maximal total de volumes Hyperdisk par VM	Taille totale de disque maximale sur tous les disques (Tio)^#	SSD local	Bande passante de sortie maximale (Gbit/s)^‡
`a3-highgpu-8g`	8	208	1872	128	Hyperdisk Throughput—64 Hyperdisk Extreme—8	512, y compris jusqu'à 257 Tio de disque Persistent Disk	Oui	1000

^* Un processeur virtuel est implémenté sous la forme d'une technologie hyper-threading matérielle unique sur l'une des plates-formes de processeur disponibles.
^† L'utilisation des disques Hyperdisk et Persistent Disk est facturée séparément du tarif par type de machine.
^‡ La bande passante de sortie maximale ne peut pas dépasser le nombre donné. La bande passante de sortie réelle dépend de l'adresse IP de destination et d'autres facteurs. Consultez la page Bande passante réseau.
^#Pour Hyperdisk Throughput, la taille maximale par volume est de 32 Tio. Pour tous les autres volumes Persistent Disk ou Hyperdisk, la taille maximale est de 64 Tio.

Limites des types de machines A3 standards

Vous ne bénéficiez pas de remises automatiques proportionnelles à une utilisation soutenue ni de remises sur engagement d'utilisation flexibles pour les VM qui utilisent les types de machines standards A3.
Vous ne pouvez utiliser des types de machines A3 standard que dans certaines régions et zones.
Vous ne pouvez pas utiliser de disques persistants régionaux sur des VM utilisant des types de machines A3 standard.
Le type de machine standard A3 n'est disponible que sur la plate-forme Sapphire Rapids.
Si votre VM utilise un type de machine standard A3, vous ne pouvez pas modifier le type de machine. Si vous avez besoin d'utiliser un autre type de machine, vous devez créer une VM.
Vous ne pouvez pas remplacer un autre type de machine par un type de machine A3 standard. Si vous devez créer une VM utilisant un type de machine A3 standard, vous devez créer une VM.
Les types de machines A3 standard ne sont pas compatibles avec la location unique.
Vous ne pouvez pas exécuter de types de machines A3 standard sur des systèmes d'exploitation Windows.

Série de machines A2

La série de machines A2 est disponible dans les types de machines A2 standard et A2 ultra. Ces types de machines disposent de 12 à 96 processeurs virtuels et de 1360 Go de mémoire.

La série de machines A2 fournit également les fonctionnalités suivantes :

GPU NVIDIA associés : chaque type de machine A2 dispose de GPU NVIDIA A100. Elles sont disponibles dans les options A100 40 Go et A100 80 Go.
Évolutivité NVLink de pointe qui fournit un pic de bande passante GPU à GPU NVLink de 600 Gbit/s. Par exemple, les systèmes avec 16 GPU disposent d'une bande passante globale NVLink pouvant atteindre 9,6 To. Ces 16 GPU peuvent être utilisés comme accélérateur hautes performances unique équipé d'un espace de mémoire unifié pour fournir jusqu'à 10 pétaflops de puissance de calcul et jusqu'à 20 pétaflops de puissance de calcul d'inférence pouvant servir pour l'intelligence artificielle, ainsi que les charges de travail de deep learning et de machine learning.
Vitesse de calcul améliorée : les GPU NVIDIA A100 associées offrent une vitesse de calcul jusqu'à 10 fois supérieure à celle des GPU NVIDIA V100 de la génération précédente.

Avec la série de machines A2, vous pouvez obtenir jusqu'à 100 Gbit/s de bande passante réseau.
Stockage : pour les espaces de travail rapides ou pour alimenter les GPU en données, tout en évitant les goulots d'étranglement d'E/S, les types de machines A2 sont compatibles avec les disques SSD locaux comme suit :
- Pour les types de machines standard A2, vous pouvez ajouter jusqu'à 3 To de disque SSD local.
- Pour les types de machines ultra A2, le disque SSD local est automatiquement associé lors de la création de la VM.
Vous pouvez également associer jusqu'à 257 To de stockage sur disque persistant aux VM A2 pour les applications nécessitant ces performances de stockage plus élevées.
Compatibilité avec les stratégies de concentration : vous permet de mieux contrôler l'emplacement physique de vos VM dans les centres de données. Cela permet une latence plus faible et une bande passante plus élevée pour l'emplacement des VM dans une seule zone de disponibilité. Pour en savoir plus, consultez la section Réduire la latence à l'aide de stratégies de concentration.

Types de disques compatibles avec A2

Les VM A2 peuvent utiliser les types de stockage de blocs suivants :

Disque persistant avec équilibrage (pd-balanced)
Disque persistant SSD (performances, pd-ssd)
Disque persistant standard (pd-standard)
Disque SSD local : il est automatiquement associé aux VM créées à l'aide des types de machines ultra A2.

Types de machines standard A2

Ces types de machines ont un nombre fixe de GPU A100 40 Go.

Types de machines	Nombre de GPU	Processeurs virtuels^*	Mémoire (Go)	Nombre max. de volumes de disques persistants^†	Nombre total de disques persistants (To) max.	SSD local	Bande passante de sortie maximale (Gbit/s)^‡
`a2-highgpu-1g`	1	12	85	128	257	Oui	24
`a2-highgpu-2g`	2	24	170	128	257	Oui	32
`a2-highgpu-4g`	4	48	340	128	257	Oui	50
`a2-highgpu-8g`	8	96	680	128	257	Oui	100
`a2-megagpu-16g`	16	96	1360	128	257	Oui	100

Limites des types de machines A2 standards

Vous ne bénéficiez pas de remises automatiques proportionnelles à une utilisation soutenue ni de remises sur engagement d'utilisation flexibles pour les VM qui utilisent les types de machines A2 standard.
Vous ne pouvez utiliser des types de machines A2 standard que dans certaines régions et zones.
Vous ne pouvez pas utiliser de disques persistants régionaux sur des VM utilisant des types de machines A2 standard.
Les types de machines A2 standard ne sont disponibles que sur la plate-forme Cascade Lake.
Si votre VM utilise un type de machine standard A2, vous ne pouvez passer d'un type de machine standard A2 qu'à un autre type de machine standard A2. Vous ne pouvez pas passer à un autre type de machine. Pour en savoir plus, consultez la page Modifier des VM optimisées pour les accélérateurs.
Vous ne pouvez pas utiliser le type de machine A2 standard a2-megagpu-16g sur les systèmes d'exploitation Windows. Lorsque vous utilisez des systèmes d'exploitation Windows, choisissez un autre type de machine A2 standard.
Vous ne pouvez pas effectuer un formatage rapide des disques SSD locaux associés à des VM Windows qui utilisent des types de machines standard A2. Pour formater ces disques SSD locaux, vous devez effectuer un formatage complet en utilisant l'utilitaire diskpart et en spécifiant format fs=ntfs label=tmpfs.
Les types de machines A2 standard ne sont pas compatibles avec la location unique.

Types de machines ultra A2

Ces types de machines ont un nombre fixe de GPU A100 80 Go. Le disque SSD local est automatiquement associé à des VM créées à l'aide des types de machines ultra A2.

Types de machine	Nombre de GPU	Processeurs virtuels^*	Mémoire (Go)	Nombre max. de volumes de disques persistants^†	Nombre total de disques persistants (To) max.	Disque SSD local intégré	Bande passante de sortie maximale (Gbit/s)^‡
`a2-ultragpu-1g`	1	12	170	128	257	375 Go	24
`a2-ultragpu-2g`	2	24	340	128	257	750 Go	32
`a2-ultragpu-4g`	4	48	680	128	257	1,5 To	50
`a2-ultragpu-8g`	8	96	1360	128	257	3 To	100

Limites des machines ultra A2

Vous ne bénéficiez pas de remises automatiques proportionnelles à une utilisation soutenue ni de remises sur engagement d'utilisation flexibles pour les VM qui utilisent les types de machines A2 Ultra.
Vous ne pouvez utiliser des types de machines A2 ultra que dans certaines régions et zones.
Vous ne pouvez pas utiliser de disques persistants régionaux sur des VM utilisant des types de machines A2 ultra.
Les types de machines A2 ultra ne sont disponibles que sur la plate-forme Cascade Lake.
Si votre VM utilise un type de machine A2 ultra, vous ne pouvez pas modifier le type de machine. Si vous devez utiliser un autre type de machine A2 ultra ou toute autre famille de machines, vous devez créer une VM.
Vous ne pouvez pas remplacer un autre type de machine par un type de machine A2 ultra. Si vous devez créer une VM utilisant un type de machine A2 ultra, vous devez créer une nouvelle VM.
Vous ne pouvez pas effectuer un formatage rapide des disques SSD locaux associés à des VM Windows qui utilisent des types de machines ultra A2. Pour formater ces disques SSD locaux, vous devez effectuer un formatage complet en utilisant l'utilitaire diskpart et en spécifiant format fs=ntfs label=tmpfs.

Série de machines G2

La série de machines G2 est disponible dans les types de machines standards comportant entre 4 et 96 processeurs virtuels et jusqu'à 432 Go de mémoire. Cette série de machines est optimisée pour les charges de travail d'inférence et graphiques.

La série de machines G2 fournit également les fonctionnalités suivantes :

GPU NVIDIA associés : chaque type de machine G2 dispose de GPU NVIDIA L4.
Amélioration des taux d'inférence : les types de machines G2 acceptent le type de données FP8 (virgule flottante de 8 bits), ce qui accélère les taux d'inférence de ML et réduit les besoins en mémoire.
Performances graphiques de nouvelle génération : les GPU NVIDIA L4 associés offrent des performances graphiques jusqu'à trois fois supérieures en utilisant des cœurs RT de troisième génération et la technologie NVIDIA DLSS 3 (Deep Learning Super Sampling).
Bande passante réseau hautes performances : avec la série de machines G2, vous pouvez atteindre jusqu'à 100 Gbit/s de bande passante réseau.
Stockage : vous pouvez ajouter jusqu'à 3 To de disque SSD local aux VM G2. Cela peut être utilisé en tant qu'espace de travail rapide ou pour envoyer des données aux GPU tout en évitant les goulots d'étranglement d'E/S.

Vous pouvez également associer des volumes Hyperdisk et Persistent Disk aux VM G2, pour les applications nécessitant un stockage plus persistant. La capacité de stockage maximale dépend du nombre de processeurs virtuels disponibles sur la VM. Pour plus d'informations, consultez la page Types de disques compatibles.
Compatibilité avec les stratégies de concentration : vous permet de mieux contrôler l'emplacement physique de vos VM dans les centres de données. Cela permet une latence plus faible et une bande passante plus élevée pour l'emplacement des VM dans une seule zone de disponibilité. Pour en savoir plus, consultez la section Réduire la latence à l'aide de stratégies de concentration.

Types de disques compatibles pour G2

Les VM G2 peuvent utiliser les types de stockage de blocs suivants :

Disque persistant avec équilibrage (pd-balanced)
Disque persistant SSD (performances, pd-ssd)
Débit hyperdisque (hyperdisk-throughput)
SSD local