Beschleunigungsoptimierte Maschinenfamilie

Die Beschleunigeroptimierte Maschinenfamilie wurde von Google Cloud entwickelt, um die erforderliche Leistung und Effizienz für GPU-beschleunigte Arbeitslasten wie künstliche Intelligenz (KI), maschinelles Lernen (ML) und Hochleistungs-Computing zu bieten.

Die Beschleunigeroptimierte Maschinenfamilie ist in den folgenden Maschinenserien verfügbar: A3, A2 und G2. Jeder Maschinentyp innerhalb einer Serie hat ein bestimmtes Modell und eine bestimmte Anzahl von NVIDIA-GPUs angehängt. Sie können auch einige GPU-Modelle an N1-Maschinentypen für allgemeine Zweckeall anhängen.

Empfehlung der Maschinenserie nach Arbeitslasttyp

Im folgenden Abschnitt werden die empfohlenen Maschinenserien basierend auf Ihren GPU-Arbeitslasten bereitgestellt.

Große KI-Modelle

Arbeitslasttyp	Geeigneter Anwendungsfall	Gute Alternative
Training Mehrerer (verteilter) Server	A3	A2
Inferenz	A3, A2

Mainstream-Modelle

Arbeitslasttyp	Geeigneter Anwendungsfall	Gute Alternative (in der empfohlenen Reihenfolge)
Training Mehrerer (verteilter) Server	A3	A2 G2 N1+V100
Einzelserver-Training	A3, A2	G2 N1+V100
Inferenz	G2	N1+T4 N1+V100

Grafikintensive Arbeitslasten

Arbeitslasttyp	Geeigneter Anwendungsfall (in der empfohlenen Reihenfolge)
Videostreaming und -transcodierung, virtuelle Remote-Workstations, digitale Zwillinge	G2 N1+T4

Hochleistungs-Computing

Bei Hochleistungs-Computing-Arbeitslasten funktioniert jede beschleunigungsoptimierte Maschinenserie gut. Die beste Eignung hängt von der Menge der Berechnungen ab, die auf die GPU übertragen werden müssen.

Preise und Rabatte

Alle Beschleunigeroptimierten Maschinentypen unterstützen die folgenden Rabatt- und Verbrauchsoptionen:

Die beschleunigungsoptimierten Maschinentypen werden für die angehängten GPUs, die vordefinierte vCPU, den Arbeitsspeicher und die gebündelte lokale SSD (falls zutreffend) abgerechnet. Weitere Preisinformationen für Beschleunigeroptimierte VMs finden Sie im Abschnitt Beschleunigeroptimierte Maschinentypfamilie auf der Seite "VM-Instanzpreise".

Die A3-Maschinenserie

Die A3-Maschinenserie ist in einem Standardmaschinentyp verfügbar und hat 208 vCPUs und bis zu 1.872 GB Arbeitsspeicher. Diese Maschinenserie ist für computing- und speicherintensive, netzwerkgebundene ML-Trainings- und HPC-Arbeitslasten optimiert.

Die A3-Maschinenserie bietet auch die folgenden Features:

Hardware der nächsten Generation: An jeden A3-Maschinentyp sind NVIDIA H100-GPUs angeschlossen. Diese bieten 80 GB GPU-Arbeitsspeicher pro GPU und sind ideal für große Transformer-basierte Sprachmodelle, Datenbanken und HPC geeignet.

Diese Maschinenserie basiert auf dem skalierbaren Intel Xeon-Prozessor der 4.Generation (Sapphire Rapids) und bietet eine kontinuierliche maximale Turbofrequenz für bis zu 3,3 GHz.
Branchenführende NVLink-Skalierung: NVIDIA H100-GPUs bieten eine GPU NVLink-Bandbreite von 450 GB/s unidirektional. Bei der All-to-All-NVLink-Topologie zwischen 8 GPUs in einem System beträgt die aggregierte NVLink-Bandbreite bis zu 7, 2 TB/s. Diese GPUs können als einzelner Hochleistungs-Beschleuniger mit einheitlichem Arbeitsspeicher verwendet werden, um bis zu 25 PetaFLOPS von KI/DL/ML-Rechenleistung und bis zu 50 PetaFLOPS Inferenz-Computing zu liefern.
Verbesserte Computing-Geschwindigkeit und Netzwerke: NVIDIA H100-GPUs bieten im Vergleich zu den NVIDIA A100-GPUs der vorherigen Generation eine bis zu 2,5-mal höhere Rechenleistung sowie die Netzwerkbandbreite der virtuellen Maschine (VM).
Jede a3-highgpu-8g-VM hat fünf physische Netzwerkschnittstellen-Karten (NICs), von denen vier denselben PCIe-Bus (Peripheral Component Interconnect Express) und eine nicht identische Ausrichtung des Arbeitsspeicherzugriffs (NUMA) von einer NIC pro zwei NVIDIA H100-GPUs mit 80 GB haben. Diese vier physischen NICs sind ideal für die Kommunikation zwischen GPUs mit hoher Bandbreite und GPU. Die andere physische NIC befindet sich auf einem separaten PCIe-Bus und ist ideal für andere Netzwerkanforderungen. Jede NIC hat eine maximale Bandbreite von 200 Gbit/s, was einer maximalen Bandbreite von 1.000 Gbit/s (1 Tbit/s) pro VM entspricht.
Verbesserte GPU-Clusterleistung mit GPUDirect-TCPX: GPUDirect-TCPX erhöht die Netzwerkleistung, da die Nutzlasten von Datenpaketen direkt vom GPU-Speicher an die Netzwerkschnittstelle übertragen werden können.

Durch die Nutzung von GPUDirect-TCPX bieten A3-VMs den höchsten Durchsatz zwischen VMs in einem Cluster im Vergleich zu den A2- oder G2-Beschleunigeroptimierten Maschinentypen.

Lesen Sie die folgenden Dokumente, um die GPU-Clusterleistung mit GPUDirect-TCPX zu maximieren:
- Für Compute Engine finden Sie weitere Informationen unter GPU-Netzwerkleistung mit GPUDirect-TCPX maximieren.
- Für Google Kubernetes Engine finden Sie weitere Informationen unter GPU-Netzwerkbandbreite mit GPUDirect-TCPX und Multi-Netzwerk maximieren.
Optimierungen der Virtualisierung: Die PCIe-Topologie (Peripheral Component Interconnect) von A3-VMs bietet genauere Ortsinformationen, mit denen Arbeitslasten die Datenübertragungen optimieren können.

Die NVIDIA H100-GPUs bieten außerdem ein Zurücksetzen des Function Level Reset (FLR) für eine ordnungsgemäße Wiederherstellung nach Fehlern und eine Unterstützung für atomare Vorgänge in bestimmten Szenarien.
Speicher: 6 TB lokaler SSD werden automatisch den VMs hinzugefügt, die mit dem A3-Maschinentyp erstellt wurden. Dies kann als schnelle Scratch Disks oder zum Einspeisen von Daten in die GPUs verwendet werden, während E/A-Engpässe vermieden werden.

Sie können den Maschinentypen in dieser Serie auch bis zu 257 TB nichtflüchtigen Speicher für Anwendungen hinzufügen, die eine höhere Speicherleistung erfordern.
Unterstützung für Richtlinien für kompakte Platzierungen: Bietet mehr Kontrolle über die physische Platzierung Ihrer VMs in Rechenzentren. Dies ermöglicht eine niedrigere Latenz und eine höhere Bandbreite für die VM-Platzierung innerhalb einer Verfügbarkeitszone. Die Richtlinie für kompakte Platzierung unterstützt bis zu 96 VMs in einer Teilmenge des Netzwerks mit niedriger Latenz innerhalb einer bestimmten Zone.

Unterstützte Laufwerktypen für A3

A3-VMs können folgende Blockspeichertypen verwenden:

Abgestimmter nichtflüchtiger Speicher (pd-balanced)
Nichtflüchtiger SSD-Speicher (Leistung) (pd-ssd)
Hyperdisk Extrem (hyperdisk-extreme)
Hyperdisk Durchsatz (hyperdisk-throughput)
Lokale SSD: wird automatisch VMs hinzugefügt, die mit dem A3-Maschinentyp erstellt werden

Laufwerks- und Kapazitätslimits

Sie können eine Mischung aus Persistent Disk- und Hyperdisk-Volumes mit einer VM verwenden. Es gelten jedoch die folgenden Einschränkungen.

Die Gesamtzahl der Hyperdisk- und Persistent Disk-Volumes darf 128 pro VM nicht überschreiten.
Die maximale Laufwerkskapazität (in TiB) für alle Laufwerkstypen darf Folgendes nicht überschreiten:
- Bei Verwendung von Maschinentypen mit weniger als 32 vCPUs:
  - 257 TiB für Persistent Disk oder Hyperdisk
  - 257 TiB für eine Mischung aus Persistent Disk und Hyperdisk
- Bei Verwendung von Maschinentypen mit 32 oder mehr vCPUs:
  - 257 TiB für Persistent Disk
  - 512 TiB für Hyperdisk oder für eine Mischung aus Persistent Disk und Hyperdisk

Weitere Informationen zu diesen Limits finden Sie unter Hyperdisk-Kapazitätslimits pro VM und Maximale Kapazität von Persistent Disk.

A3-Standardmaschinentypen

Dieser Maschinentyp hat eine feste Anzahl von H100-GPUs.

Maschinentypen	GPU-Anzahl	vCPUs^*	Arbeitsspeicher (GB)	Maximale Anzahl von Laufwerken pro VM, für alle Laufwerke^†	Max. Hyperdisk-Volumes insgesamt pro VM	Max. Laufwerk-Gesamtgröße für alle Laufwerke (TiB)^#	Lokale SSD	Maximale Bandbreite für ausgehenden Traffic (Gbit/s)^‡
`a3-highgpu-8g`	8	208	1872	128	Hyperdisk Durchsatz – 64 Hyperdisk Extreme – 8	512, einschließlich bis zu 257 TiB Persistent Disk	Ja	1000

^* Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
^†Die Nutzung von Hyperdisk und Persistent Disk wird zusätzlich zu den Maschinentyppreisen berechnet.
^‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Siehe Netzwerkbandbreite.
^# Für Hyperdisk Durchsatz beträgt die maximale Größe pro Volume 32 TiB. Bei allen anderen Persistent Disk- oder Hyperdisk-Volumes beträgt die maximale Größe 64 TiB.

Einschränkungen von A3-Standard

Sie erhalten keine Rabatte für kontinuierliche Nutzung und flexible Rabatte für zugesicherte Nutzung für VMs, die A3-Standardmaschinentypen verwenden.
Sie können die A3-Standard-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die A3-Standard-Maschinentypen verwenden.
Der A3-Standardmaschinentyp ist nur auf der Sapphire-Rapids-Plattform verfügbar.
Wenn Ihre VM einen A3-Standardmaschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie einen anderen Maschinentyp verwenden müssen, müssen Sie eine neue VM erstellen.
Sie können keinen anderen Maschinentyp in einen A3-Standardmaschinentyp ändern. Wenn Sie eine VM erstellen müssen, die einen A3-Standardmaschinentyp verwendet, müssen Sie eine neue VM erstellen.
A3-Standardmaschinentypen unterstützen keine Mandantenfähigkeit.
Sie können keine A3-Standardmaschinentypen auf Windows-Betriebssystemen ausführen.

Die A2-Maschinenserie

Die A2-Maschinenserie ist in den Maschinentypen A2-Standard und A2-Ultra verfügbar. Diese Maschinentypen haben 12 bis 96 vCPUs und bis zu 1360 GB Arbeitsspeicher.

Die A2-Maschinenserie bietet auch die folgenden Features:

Angehängte NVIDIA-GPUs: Jeder A2-Maschinentyp hat NVIDIA A100-GPUs. Diese sind in den Optionen A100 mit 40 GB sowie A100 mit 80 GB verfügbar.
Branchenführende NVLink-Skalierung, die maximale GPU-zu-GPU-NVLink-Bandbreite von 600 Gbps bietet Beispielsweise haben Systeme mit 16 GPUs eine NVLink-Bandbreite von bis zu 9,6 Terabyte pro Sekunde. Diese 16 GPUs können als einzelner Hochleistungs-Beschleuniger mit einheitlichem Arbeitsspeicher verwendet werden, um bis zu 10 petaFLOPS Rechenleistung zu liefern, und bis zu 20 PetaFLOPS Inferenz-Computing, die für künstliche Intelligenz, Deep Learning und ML-Arbeitslasten verwendet werden kann.
Rechengeschwindigkeit der nächsten Generation: Die angehängten NVIDIA A100-GPUs bieten im Vergleich zu NVIDIA V100-GPUs der vorherigen Generation eine bis zu zehnmal höhere Rechengeschwindigkeit.

Mit der A2-Maschinenserie erhalten Sie bis zu 100 Gbit/s-Netzwerkbandbreite.
Speicher: Für schnelle Scratch Disks oder zum Einspeisen von Daten in die GPUs, während E/A-Engpässe vermieden werden, unterstützen die A2-Maschinentypen lokale SSDs so:
- Für die A2-Standardmaschinentypen können Sie bis zu 3 TB lokale SSD hinzufügen.
- Bei den A2-Ultra-Maschinentypen wird die lokale SSD beim Erstellen der VM automatisch angehängt.
Bei Anwendungen, die diese höhere Speicherleistung erfordern, können Sie auch bis zu 257 TB nichtflüchtigen Speicher an A2-VMs anhängen.
Unterstützung für Richtlinien für kompakte Platzierungen: Bietet mehr Kontrolle über die physische Platzierung Ihrer VMs in Rechenzentren. Dies ermöglicht eine niedrigere Latenz und eine höhere Bandbreite für die VM-Platzierung innerhalb einer Verfügbarkeitszone. Weitere Informationen finden Sie unter Latenz mithilfe von Richtlinien für kompakte Platzierungen reduzieren.

Unterstützte Laufwerktypen für A2

A2-VMs können folgende Blockspeichertypen verwenden:

Abgestimmter nichtflüchtiger Speicher (pd-balanced)
Nichtflüchtiger SSD-Speicher (Leistung) (pd-ssd)
Nichtflüchtiger Standardspeicher (pd-standard)
Lokale SSD, die automatisch an VMs angehängt wird, die mit den A2-Ultra-Maschinentypen erstellt wurden.

A2-Standardmaschinentypen

Diese Maschinentypen haben eine feste Anzahl von A100-GPUs mit 40GB.

Maschinentypen	GPU-Anzahl	vCPUs^*	Arbeitsspeicher (GB)	Max. Anzahl der nichtflüchtigen Speicher-Volumes^†	Max. nichtflüchtiger Gesamtspeicher (TB)	Lokale SSD	Maximale Bandbreite für ausgehenden Traffic (Gbit/s)^‡
`a2-highgpu-1g`	1	12	85	128	257	Ja	24
`a2-highgpu-2g`	2	24	170	128	257	Ja	32
`a2-highgpu-4g`	4	48	340	128	257	Ja	50
`a2-highgpu-8g`	8	96	680	128	257	Ja	100
`a2-megagpu-16g`	16	96	1360	128	257	Ja	100

Einschränkungen von A2-Standard

Sie erhalten keine Rabatte für kontinuierliche Nutzung und flexible Rabatte für zugesicherte Nutzung für VMs, die A2-Standardmaschinentypen verwenden.
Sie können die A2-Standard-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die A2-Standard-Maschinentypen verwenden.
Die A2-Standard-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
Wenn Ihre VM einen A2-Standardmaschinentyp verwendet, können Sie nur von einem A2-Standardmaschinentyp zu einem anderen A2-Standardmaschinentyp wechseln. Sie können keinen anderen Maschinentyp ändern. Weitere Informationen finden Sie unter Beschleunigeroptimierte VMs ändern.
Unter Windows-Betriebssystemen können Sie den A2-Standard-Maschinentyp a2-megagpu-16g nicht verwenden. Wählen Sie einen anderen A2-Standard-Maschinentyp aus, wenn Sie Windows-Betriebssysteme verwenden.
Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-VMs verwenden, die A2-Standard-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und format fs=ntfs label=tmpfs angeben.
A2-Standardmaschinentypen unterstützen keine Mandantenfähigkeit.

A2-Ultra-Maschinentypen

Diese Maschinentypen haben eine feste Anzahl von A100-GPUs mit 80GB. Lokale SSDs werden automatisch an VMs angehängt, die mit den A2-Ultra-Maschinentypen erstellt wurden.

Maschinentypen	GPU-Anzahl	vCPUs^*	Arbeitsspeicher (GB)	Max. Anzahl der nichtflüchtigen Speicher-Volumes^†	Max. nichtflüchtiger Gesamtspeicher (TB)	Gebündelte lokale SSD	Maximale Bandbreite für ausgehenden Traffic (Gbit/s)^‡
`a2-ultragpu-1g`	1	12	170	128	257	375 GB	24
`a2-ultragpu-2g`	2	24	340	128	257	750 GB	32
`a2-ultragpu-4g`	4	48	680	128	257	1,5 TB	50
`a2-ultragpu-8g`	8	96	1360	128	257	3 TB	100

Einschränkungen von A2-Ultra

Sie erhalten keine Rabatte für kontinuierliche Nutzung und flexible Rabatte für zugesicherte Nutzung für VMs, die A2-Ultra-Maschinentypen verwenden.
Sie können die A2-Ultra-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die A2-Ultra-Maschinentypen verwenden.
Die A2-Ultra-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
Wenn Ihre VM einen A2-Ultra-Maschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie einen anderen A2-Ultra-Maschinentyp oder einen anderen Maschinentyp verwenden müssen, müssen Sie eine neue VM erstellen.
Sie können keinen anderen Maschinentyp in einen A2-Ultra-Maschinentyp ändern. Wenn Sie eine VM erstellen müssen, die eine A2-Ultra-Maschinenfamilie verwendet, müssen Sie eine neue VM erstellen.
Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-VMs verwenden, die A2-Ultra-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und format fs=ntfs label=tmpfs angeben.

Die G2-Maschinenserie

Die G2-Maschinenserie ist in Standardmaschinentypen verfügbar, die haben 4 bis 96 vCPUs und bis zu 432 GB Arbeitsspeicher. Diese Maschinenserie ist für Inferenz- und Grafikarbeitslasten optimiert.

Die G2-Maschinenserie bietet auch die folgenden Features:

Angehängte NVIDIA-GPUs: Jeder G2-Maschinentyp hat NVIDIA L4-GPUs.
Verbesserte Inferenzraten: Die G2-Maschinentypen unterstützen den Datentyp FP8 (8-Bit-Gleitkomma), was ML-Inferenzraten beschleunigt und Arbeitsspeicherbedarf reduziert.
Grafikleistung der nächsten Generation: NVIDIA L4-GPUs bieten mit RT-Kernen der dritten Generation und NVIDIA DLSS 3-Technologie (Deep Learning Super Sampling) eine bis zu dreimal höhere Grafikleistung.
Hohe Netzwerkbandbreite: Mit der G2-Maschinenserie erhalten Sie bis zu 100 Gbit/s-Netzwerkbandbreite.
Speicher: Sie können G2-VMs bis zu 3 TB lokale SSD hinzufügen. Dies kann als schnelle Scratch Disks oder zum Einspeisen von Daten in die GPUs verwendet werden, während E/A-Engpässe vermieden werden.

Sie können für Anwendungen, die mehr nichtflüchtigen Speicher benötigen, auch Hyperdisk- und Persistent Disk-Volumes an G2-VMs anhängen. Die maximale Speicherkapazität hängt von der Anzahl der vCPUs der VM ab. Weitere Informationen finden Sie unter Unterstützte Laufwerktypen.
Unterstützung für Richtlinien für kompakte Platzierungen: Bietet mehr Kontrolle über die physische Platzierung Ihrer VMs in Rechenzentren. Dies ermöglicht eine niedrigere Latenz und eine höhere Bandbreite für die VM-Platzierung innerhalb einer Verfügbarkeitszone. Weitere Informationen finden Sie unter Latenz mithilfe von Richtlinien für kompakte Platzierungen reduzieren.

Unterstützte Laufwerktypen für G2

G2-VMs können folgende Blockspeichertypen verwenden:

Abgestimmter nichtflüchtiger Speicher (pd-balanced)
Nichtflüchtiger SSD-Speicher (Leistung) (pd-ssd)
Hyperdisk Durchsatz (hyperdisk-throughput)
Lokale SSD