Beschleunigungsoptimierte Maschinenfamilie

Die Beschleunigeroptimierte Maschinenfamilie wurde von Google Cloud entwickelt, um die erforderliche Leistung und Effizienz für GPU-beschleunigte Arbeitslasten wie künstliche Intelligenz (KI), maschinelles Lernen (ML) und Hochleistungs-Computing zu bieten.

Die beschleunigungsoptimierte Maschinenfamilie ist in den folgenden Maschinenserien verfügbar: A3, A2 und G2. Jeder Maschinentyp innerhalb einer Reihe hat ein bestimmtes Modell und eine bestimmte Anzahl von NVIDIA-GPUs angehängt. Sie können auch einige GPU-Modelle an N1-Maschinentypen für allgemeine Zweckeall anhängen.

Empfehlung der Maschinenserie nach Arbeitslasttyp

Im folgenden Abschnitt finden Sie die empfohlene Maschinenserie basierend auf Ihren GPU-Arbeitslasten.

Große KI-Modelle

Arbeitslasttyp Geeigneter Anwendungsfall Gute Alternative
Training Mehrerer (verteilter) Server A3 Mega A3 High, A2
Inferenz A3 High, A3 Edge A2

Informationen zum Bereitstellen von Clustern für die Ausführung von Modellen und das Training im großen Maßstab finden Sie unter Training und Feinabstimmung von Modellen im großen Maßstab ausführen.

Mainstream-Modelle

Arbeitslasttyp Geeigneter Anwendungsfall Gute Alternative (in empfohlener Reihenfolge)
Training Mehrerer (verteilter) Server A3 Mega, A3 High
  • A2
  • G2
  • N1+V100
Training für einen einzelnen Server A3 High, A3 Edge
  • A2
  • G2
  • N1+V100
Inferenz A3 Edge, G2
  • N1+T4
  • N1+V100

Informationen zum Bereitstellen von Clustern für die Ausführung von Mainstream-Modellen finden Sie unter Training und Feinabstimmung von Mainstream-Modellen ausführen.

Grafikintensive Arbeitslasten

Arbeitslasttyp Best Fit (in empfohlener Reihenfolge)
Videostreaming und -transcodierung, virtuelle Remote-Workstations, digitale Zwillinge
  • G2
  • N1+T4

Hier finden Sie Informationen zur Bereitstellung von VMs für grafikintensive Arbeitslasten.

Hochleistungs-Computing

Für Hochleistungs-Computing-Arbeitslasten eignet sich jede beschleunigungsoptimierte Maschinenreihe. Die beste Lösung hängt davon ab, wie viel Rechenleistung an die GPU ausgelagert werden muss.

Preise und Rabatt

Alle beschleunigungsoptimierten Maschinentypen unterstützen die folgenden Rabatt- und Verbrauchsoptionen:

Für die Beschleuniger-optimierten Maschinentypen werden die angeschlossenen GPUs, die vordefinierten vCPUs, der Arbeitsspeicher und der lokale SSD-Speicher (sofern vorhanden) in Rechnung gestellt. Weitere Preisinformationen für beschleunigungsoptimierte VMs finden Sie auf der Seite „Preise für VM-Instanzen“ im Abschnitt Beschleunigungsoptimierte Maschinenfamilie.

Die A3-Maschinenserie

Die A3-Maschinenserie hat 208 vCPUs und 1.872 GB Arbeitsspeicher. Diese Maschinenreihe ist für speicher- und rechenintensive, netzwerkgebundene ML-Trainings und HPC-Arbeitslasten optimiert.

Die A3-Maschinenserie bietet auch die folgenden Features:

  • Hardware der nächsten Generation: An jeden A3-Maschinentyp sind NVIDIA H100 SXM-GPUs angeschlossen. Diese bieten 80 GB GPU-Arbeitsspeicher pro GPU und sind ideal für große Transformer-basierte Sprachmodelle, Datenbanken und HPC geeignet.

    Diese Maschinenreihe basiert auf dem skalierbaren Intel Xeon-Prozessor der 4.Generation (Sapphire Rapids) und bietet eine kontinuierliche maximale Turbofrequenz für einen einzelnen Kern von bis zu 3,3 GHz.

  • Branchenführende NVLink-Skalierung: NVIDIA H100-GPUs bieten eine maximale GPU-NVLink-Bandbreite von 450 GB/s in nur eine Richtung. Bei einer All-to-All-NVLink-Topologie zwischen 8 GPUs in einem System beträgt die NVLink-Gesamtbandbreite bis zu 7, 2 Terabyte pro Sekunde. Diese GPUs können als einzelner Hochleistungs-Beschleuniger mit einheitlichem Arbeitsspeicher verwendet werden, um bis zu 25 PetaFLOPS Rechenleistung für KI/DL/ML und bis zu 50 PetaFLOPS Inferenz-Computing zu liefern.

  • Verbesserte Rechengeschwindigkeit und Netzwerkleistung: Die A3-Maschinenserie bietet im Vergleich zur A2-Maschinenserie der vorherigen Generation eine bis zu 2,5-mal höhere Netzwerkgeschwindigkeit. Weitere Informationen zu Netzwerken finden Sie unter Netzwerk und A3-Maschinenserie.

  • Optimierungen der Virtualisierung: Die PCIe-Topologie (Peripheral Component Interconnect Express) von A3-VMs bietet genauere Informationen zur Lokalität, mit denen Arbeitslasten die Datenübertragungen optimieren können.

    Die NVIDIA H100-GPUs bieten außerdem einen Funktionsebenen-Reset (FLR) für eine reibungslose Wiederherstellung nach Fehlern und Unterstützung für atomare Vorgänge zur Verbesserung der Parallelität in bestimmten Szenarien.

  • Speicher: VMs, die mit einem der A3-Maschinentypen erstellt werden, werden automatisch 6.000 GiB lokaler SSD hinzugefügt. Lokale SSDs können als schnelle Scratch-Disks oder zum Einspeisen von Daten in die GPUs verwendet werden, während E/A-Engpässe vermieden werden.

    Sie können den Maschinentypen in dieser Serie auch bis zu 257 TiB nichtflüchtigen Speicher für Anwendungen hinzufügen, die eine höhere Speicherleistung erfordern.

  • Unterstützung für Richtlinien für kompakte Platzierungen: Bietet mehr Kontrolle über die physische Platzierung Ihrer VMs in Rechenzentren. Dies ermöglicht eine geringere Latenz und eine höhere Bandbreite für die VM-Platzierung innerhalb einer einzelnen Verfügbarkeitszone. Die Richtlinie für kompakte Platzierung unterstützt bis zu 96 VMs in einem Teil des Netzwerks mit niedrigerer Latenz innerhalb einer bestimmten Zone. Weitere Informationen finden Sie unter Latenz mithilfe von Richtlinien für kompakte Platzierung reduzieren.

Für die A3-Maschinenserie sind die folgenden Maschinentypen verfügbar.

A3 Mega-Maschinentyp

Maschinentyp GPU-Anzahl GPU-Speicher*
(GB HBM3)		 vCPU Anzahl† VM-Arbeitsspeicher (GB) Angehängte lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s)‡ Netzwerkprotokoll
a3-megagpu-8g 8 640 208 1.872 6.000 9 1.800 GPUDirect-TCPXO

*GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
*†Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Siehe Netzwerkbandbreite.

A3 High-Maschinentyp

Wenn Sie a3-highgpu-1g-, a3-highgpu-2g- oder a3-highgpu-4g-Maschinentypen bereitstellen, müssen Sie entweder Spot-VMs oder eine Funktion verwenden, die den Dynamic Workload Scheduler (DWS) nutzt, z. B. Anfragen zum Ändern der Größe in einer MIG. Eine ausführliche Anleitung zu beiden Optionen findest du hier:
Maschinentyp GPU-Anzahl GPU-Speicher*
(GB HBM3)		 vCPU Anzahl† VM-Arbeitsspeicher (GB) Angehängte lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s)‡ Netzwerkprotokoll
a3-highgpu-1g 1 80 26 234 750 1 25 GPUDirect-TCPX
a3-highgpu-2g 2 160 52 468 1.500 1 50 GPUDirect-TCPX
a3-highgpu-4g 4 320 104 936 3.000 1 100 GPUDirect-TCPX
a3-highgpu-8g 8 640 208 1.872 6.000 5 1.000 GPUDirect-TCPX

*GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
*†Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Siehe Netzwerkbandbreite.

A3 Edge-Maschinentyp

Maschinentyp GPU-Anzahl GPU-Speicher*
(GB HBM3)		 vCPU Anzahl† VM-Arbeitsspeicher (GB) Angehängte lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s)‡ Netzwerkprotokoll
a3-edgegpu-8g 8 640 208 1.872 6.000 5
  • 800: für asia-south1 und northamerica-northeast2
  • 400: für alle anderen A3 Edge-Regionen
 GPUDirect-TCPX

*GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
*†Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Siehe Netzwerkbandbreite.

Unterstützte Laufwerktypen für die A3-Serie

A3-VMs können folgende Blockspeichertypen verwenden:

  • Abgestimmter nichtflüchtiger Speicher (pd-balanced)
  • Nichtflüchtiger SSD-Speicher (Leistung) (pd-ssd)
  • Hyperdisk Balanced (hyperdisk-balanced): Hyperdisk Balanced wird nur für a3-megagpu-8g, a3-highgpu-8g und a3-edgegpu-8g sowie für Maschinentypen unterstützt.
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Extrem (hyperdisk-extreme)
  • Hyperdisk Durchsatz (hyperdisk-throughput)
  • Lokales SSD: Wird VMs automatisch hinzugefügt, die mit dem A3-Maschinentyp erstellt werden.

A3 Mega

Maximale Anzahl von Laufwerken pro VM*
Maschinentypen
 Alle Laufwerke† Hyperdisk Balanced Hyperdisk Durchsatz Hyperdisk ML Hyperdisk Extrem Angehängte
lokale SSDs
a3-megagpu-8g 128 32 64 64 8 16

A3 High

Maximale Anzahl von Laufwerken pro VM*
Maschinentypen
 Alle Laufwerke† Hyperdisk Balanced Hyperdisk Durchsatz Hyperdisk ML Hyperdisk Extrem Angehängte
lokale SSDs
a3-highgpu-1g 128 – 64 64 – 2
a3-highgpu-2g 128 – 64 64 – 4
a3-highgpu-4g 128 – 64 64 8 8
a3-highgpu-8g 128 32 64 64 8 16

A3 Edge

Maximale Anzahl von Laufwerken pro VM*
Maschinentypen Alle Laufwerke† Hyperdisk Balanced Hyperdisk Durchsatz Hyperdisk ML Hyperdisk Extrem Angehängtes lokales SSD
a3-edgegpu-8g 128 32 64 64 8 16

* Die Nutzung von Hyperdisk und Persistent Disk wird zusätzlich zu den Preisen der Maschinentypen berechnet. Informationen zu den Laufwerkpreisen finden Sie unter Preise für nichtflüchtigen Speicher und Hyperdisks.
†Dieses Limit gilt für Persistent Disk und Hyperdisk, nicht jedoch für lokale SSDs.

Laufwerks- und Kapazitätslimits

Sie können eine Mischung aus Persistent Disk- und Hyperdisk-Volumes mit einer VM verwenden. Es gelten jedoch die folgenden Einschränkungen.

  • Die Gesamtzahl der Hyperdisk- und Persistent Disk-Volumes darf 128 pro VM nicht überschreiten.

  • Die maximale Gesamt-Laufwerkskapazität (in TiB) für alle Laufwerkstypen darf Folgendes nicht überschreiten:

    • Für Maschinentypen mit weniger als 32 vCPUs:

      • 257 TiB für alle Hyperdisk- oder Persistent Disk-Volumes
      • 257 TiB für eine Mischung aus Hyperdisk und Persistent Disk

    • Für Maschinentypen mit 32 vCPUs oder mehr:

      • 512 TiB für alle Hyperdisk-Volume
      • 512 TiB für eine Mischung aus Hyperdisk und Persistent Disk
      • 257 TiB für alle nichtflüchtigen Speicher

Weitere Informationen zu den Kapazitätslimits finden Sie unter Hyperdisk-Kapazitätslimits pro VM und Maximale Kapazität von Persistent Disk.

Netzwerke und die A3-Maschinenserie

Die A3-Maschinenserie bietet eine bis zu 2,5-fache Verbesserung der Rechengeschwindigkeit im Vergleich zur A2-Maschinenserie. Der a3-highgpu-8g-Maschinentyp bietet eine zehnmal höhere Netzwerkbandbreite als A2-Maschinentypen der vorherigen Generation. Der Maschinentyp a3-megagpu-8g bietet eine doppelt so hohe Netzwerkbandbreite wie a3-highgpu-8g und eine 20-mal so hohe Netzwerkbandbreite wie A2-Maschinentypen.

  • A3-VMs mit einer einzelnen NIC: Für A3-VMs mit 1 bis 4 angehängten GPUs ist nur eine physische Netzwerkschnittstellenkarte (NIC) verfügbar.
  • A3-VMs mit mehreren NICs: Für A3-VMs mit 8 angehängten GPUs sind mehrere physische NICs verfügbar. Bei diesen A3-Maschinentypen sind die NICs auf einem PCIe-Bus (Peripheral Component Interconnect Express) so angeordnet:
    • Für den Maschinentyp „A3 Mega“ ist eine NIC-Anordnung von 8+1 verfügbar. Bei dieser Anordnung teilen sich 8 NICs denselben PCIe-Bus und 1 NIC befindet sich auf einem separaten PCIe-Bus.
    • Für den Maschinentyp „A3 High“ ist eine NIC-Anordnung von 4+1 verfügbar. Bei dieser Anordnung teilen sich 4 NICs denselben PCIe-Bus und eine NIC befindet sich auf einem separaten PCIe-Bus.
    • Für den Maschinentyp „A3 Edge“ ist eine NIC-Anordnung von 4+1 verfügbar. Bei dieser Anordnung teilen sich 4 NICs denselben PCIe-Bus und eine NIC befindet sich auf einem separaten PCIe-Bus. Diese fünf NICs bieten eine Gesamtnetzwerkbandbreite von 400 Gbit/s pro VM.

    NICs, die denselben PCIe-Bus verwenden, haben eine uneinheitliche Ausrichtung des Arbeitsspeicherzugriffs (NUMA) von einer NIC pro zwei NVIDIA H100-GPUs mit 80 GB. Diese NICs sind ideal für die dedizierte GPU-zu-GPU-Kommunikation mit hoher Bandbreite. Die physische NIC, die sich auf einem separaten PCIe-Bus befindet, ist ideal für andere Netzwerkanforderungen.

Netzwerkprotokolle

Die A3-Maschinenserie bietet eine verbesserte GPU-Clusterleistung mit GPUDirect-TCPX und GPUDirect-TCPXO.

  • Bei den Maschinentypen A3 Edge und A3 High erhöht GPUDirect-TCPX die Netzwerkleistung, indem Datennutzlasten direkt vom GPU-Speicher an die Netzwerkschnittstelle übertragen werden können. Durch die Nutzung von GPUDirect-TCPX erreicht der a3-highgpu-8g-Maschinentyp im Vergleich zu den beschleunigungsoptimierten A2- oder G2-Maschinentypen einen viel höheren Durchsatz zwischen VMs in einem Cluster.
  • Bei den Maschinentypen A3 Mega verbessert GPUDirect-TCPXO GPUDirect-TCPX weiter, indem die Verarbeitung des TCP-Protokolls an die ACC-Kerne der SmartNIC ausgelagert wird. Durch die Nutzung von GPUDirect-TCPXO verdoppelt der Maschinentyp a3-megagpu-8g die Netzwerkbandbreite im Vergleich zum Maschinentyp a3-highgpu-8g.

Einschränkungen für die A3-Serie

Für VMs mit den Maschinentypen A3 Edge, A3 High und A3 Mega gelten die folgenden Einschränkungen:

  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für VMs, die A3-Maschinentypen verwenden.
  • Sie können die A3-Standard-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
  • Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die A3-Standard-Maschinentypen nutzen.
  • Die A3-Maschinenserie ist nur auf der Sapphire Rapids-Plattform verfügbar.
  • Wenn Ihre VM einen A3-Maschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie den Maschinentyp ändern müssen, müssen Sie eine neue VM erstellen.
  • Sie können den Maschinentyp einer VM nicht in einen A3-Maschinentyp ändern. Wenn Sie eine VM benötigen, die einen A3-Maschinentyp verwendet, müssen Sie eine neue VM erstellen.
  • A3-Maschinentypen unterstützen keine einzelnen Mandanten.
  • Sie können Windows-Betriebssysteme nicht auf A3-Maschinentypen ausführen.
  • A3-Maschinentypen können nur über bestimmte Reservierungen reserviert werden.
  • Für die Maschinentypen a3-highgpu-1g, a3-highgpu-2g und a3-highgpu-4g gelten die folgenden Einschränkungen:
    • Für diese Maschinentypen müssen Sie entweder Spot-VMs oder eine Funktion verwenden, die den Dynamic Workload Scheduler (DWS) nutzt, z. B. Anfragen zur Größenänderung in einer MIG. Eine ausführliche Anleitung zu beiden Optionen findest du hier:
    • Sie können Hyperdisk Balanced mit diesen Maschinentypen nicht verwenden.
    • Sie können keine Reservierungen erstellen.
    Wenn Sie versuchen, eine VM mithilfe der Standardbereitstellung zu erstellen oder eine Reservierung für diese Maschinentypen zu erstellen, erhalten Sie eine Fehlermeldung.

Die A2-Maschinenserie

Die A2-Maschinenserie ist in den Maschinentypen A2-Standard und A2-Ultra verfügbar. Diese Maschinentypen haben 12 bis 96 vCPUs und bis zu 1.360 GB Arbeitsspeicher.

Die A2-Maschinenserie bietet auch die folgenden Features:

  • Angehängte NVIDIA-GPUs: Jeder A2-Maschinentyp hat NVIDIA A100-GPUs. Diese sind in den Optionen A100 mit 40 GB sowie A100 mit 80 GB verfügbar.

  • Branchenführende NVLink-Skalierung, die eine maximale GPU-zu-GPU-NVLink-Bandbreite von 600 GBps bietet Beispielsweise haben Systeme mit 16 GPUs eine NVLink-Bandbreite von bis zu 9,6 Terabyte pro Sekunde. Diese 16 GPUs können als einzelner Hochleistungs-Beschleuniger mit einheitlichem Arbeitsspeicher verwendet werden, um bis zu 10 petaFLOPS Rechenleistung zu liefern, und bis zu 20 PetaFLOPS Inferenz-Computing, die für künstliche Intelligenz, Deep Learning und ML-Arbeitslasten verwendet werden kann.

  • Rechengeschwindigkeit der nächsten Generation: Die angehängten NVIDIA A100-GPUs bieten im Vergleich zu NVIDIA V100-GPUs der vorherigen Generation eine bis zu zehnmal höhere Rechengeschwindigkeit.

    Mit der A2-Maschinenserie erhalten Sie bis zu 100 Gbit/s-Netzwerkbandbreite.

  • Speicher: Für schnelle Scratch Disks oder zum Einspeisen von Daten in die GPUs, während E/A-Engpässe vermieden werden, unterstützen die A2-Maschinentypen lokale SSDs so:

    • Bei den A2-Standard-Maschinentypen können Sie bis zu 3.000 GiB an lokalen SSDs hinzufügen.
    • Bei den A2-Ultra-Maschinentypen wird der lokale SSD beim Erstellen der VM automatisch angehängt.

    Bei Anwendungen, die diese höhere Speicherleistung erfordern, können Sie auch bis zu 257 TiB nichtflüchtigen Speicher an A2-VMs anhängen.

  • Unterstützung für Richtlinien für kompakte Platzierungen: Bietet mehr Kontrolle über die physische Platzierung Ihrer VMs in Rechenzentren. Dies ermöglicht eine geringere Latenz und eine höhere Bandbreite für die VM-Platzierung innerhalb einer einzelnen Verfügbarkeitszone. Weitere Informationen finden Sie unter Latenz mithilfe von Richtlinien für kompakte Platzierung reduzieren.

Unterstützte Laufwerktypen für A2

A2-VMs können folgende Blockspeichertypen verwenden:

  • Hyperdisk ML (hyperdisk-ml)
  • Abgestimmter nichtflüchtiger Speicher (pd-balanced)
  • Nichtflüchtiger SSD-Speicher (Leistung) (pd-ssd)
  • Nichtflüchtiger Standardspeicher (pd-standard)
  • Lokales SSD: Wird automatisch an VMs angehängt, die mit den A2 Ultra-Maschinentypen erstellt wurden.

Sie können eine Mischung aus Persistent Disk- und Hyperdisk-Volumes mit einer VM verwenden. Es gelten jedoch die folgenden Einschränkungen.

  • Die Gesamtzahl der Hyperdisk- und Persistent Disk-Volumes darf 128 pro VM nicht überschreiten.

  • Die maximale Gesamt-Laufwerkskapazität (in TiB) für alle Laufwerkstypen darf Folgendes nicht überschreiten:

    • Für Maschinentypen mit weniger als 32 vCPUs:

      • 257 TiB für alle Hyperdisk- oder Persistent Disk-Volumes
      • 257 TiB für eine Mischung aus Hyperdisk und Persistent Disk

    • Für Maschinentypen mit 32 vCPUs oder mehr:

      • 512 TiB für alle Hyperdisk-Volume
      • 512 TiB für eine Mischung aus Hyperdisk und Persistent Disk
      • 257 TiB für alle nichtflüchtigen Speicher

Weitere Informationen zu den Kapazitätslimits finden Sie unter Hyperdisk-Kapazitätslimits pro VM und Maximale Kapazität von Persistent Disk.

A2-Ultra-Maschinentypen

Diese Maschinentypen haben eine feste Anzahl von A100-GPUs mit 80GB. Lokale SSDs werden automatisch an VMs angehängt, die mit den A2 Ultra-Maschinentypen erstellt wurden.

Maschinentyp GPU-Anzahl GPU-Speicher*
(GB HBM3)		 vCPU Anzahl† VM-Arbeitsspeicher (GB) Angehängte lokale SSD (GiB) Maximale Netzwerkbandbreite (Gbit/s)‡
a2-ultragpu-1g 1 80 12 170 375 24
a2-ultragpu-2g 2 160 24 340 750 32
a2-ultragpu-4g 4 320 48 680 1.500 50
a2-ultragpu-8g 8 640 96 1.360 3.000 100

*GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
*†Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Siehe Netzwerkbandbreite.

Einschränkungen von A2 Ultra

  • Sie erhalten weder kontinuierlichen Nutzungsrabatte noch flexible Rabatte für die zugesicherte Nutzung für VMs, die A2-Ultra-Maschinentypen verwenden.
  • Sie können die A2-Ultra-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
  • Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die A2-Ultra-Maschinentypen verwenden.
  • Die A2-Ultra-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Wenn Ihre VM einen A2-Ultra-Maschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie einen anderen A2-Ultra-Maschinentyp oder einen anderen Maschinentyp verwenden müssen, müssen Sie eine neue VM erstellen.
  • Sie können keinen anderen Maschinentyp in einen A2-Ultra-Maschinentyp ändern. Wenn Sie eine VM benötigen, die eine A2-Ultra-Maschinenfamilie verwendet, müssen Sie eine neue VM erstellen.
  • Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-VMs verwenden, die A2-Ultra-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und format fs=ntfs label=tmpfs angeben.

A2-Standardmaschinentypen

Diese Maschinentypen haben eine feste Anzahl von A100-GPUs mit 40GB.

Maschinentyp GPU-Anzahl GPU-Speicher*
(GB HBM3)		 vCPU Anzahl† VM-Arbeitsspeicher (GB) Angehängte lokale SSD (GiB) Maximale Netzwerkbandbreite (Gbit/s)‡
a2-highgpu-1g 1 40 12 85 Ja 24
a2-highgpu-2g 2 80 24 170 Ja 32
a2-highgpu-4g 4 160 48 340 Ja 50
a2-highgpu-8g 8 320 96 680 Ja 100
a2-megagpu-16g 16 640 96 1.360 Ja 100

*GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
*†Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Siehe Netzwerkbandbreite.

Einschränkungen von A2-Standard

  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für VMs, die G2-Standard-Maschinentypen verwenden.
  • Sie können die A2-Standard-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
  • Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die A2-Standard-Maschinentypen verwenden.
  • Die A2-Standardmaschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Wenn Ihre VM einen A2-Standardmaschinentyp verwendet, können Sie nur von einem A2-Standardmaschinentyp zu einem anderen A2-Standardmaschinentyp wechseln. Sie können keinen anderen Maschinentyp ändern. Weitere Informationen finden Sie unter Beschleunigeroptimierte VMs ändern.
  • Sie können das Windows-Betriebssystem nicht mit den Maschinentypen <codea2-megagpu-16g< code="" dir="ltr" translate="no"> A2 Standard verwenden. Wählen Sie einen anderen A2-Standard-Maschinentyp aus, wenn Sie Windows-Betriebssysteme verwenden.</codea2-megagpu-16g<>
  • Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-VMs verwenden, die A2-Standard-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und format fs=ntfs label=tmpfs angeben.
  • A2-Standardmaschinentypen unterstützen einzelne Mandanten nicht.

Die G2-Maschinenserie

Die G2-Maschinenserie ist in Standardmaschinentypen verfügbar, die haben 4 bis 96 vCPUs und bis zu 432 GB Arbeitsspeicher. Diese Maschinenserie ist für Inferenz- und Grafikarbeitslasten optimiert.

Die G2-Maschinenserie bietet auch die folgenden Features:

  • Angehängte NVIDIA-GPUs: Jeder G2-Maschinentyp hat NVIDIA L4-GPUs.

  • Verbesserte Inferenzraten: Die G2-Maschinentypen unterstützen den Datentyp FP8 (8-Bit-Gleitkomma), was ML-Inferenzraten beschleunigt und Arbeitsspeicherbedarf reduziert.

  • Grafikleistung der nächsten Generation: NVIDIA L4-GPUs bieten mit RT-Kernen der dritten Generation und NVIDIA DLSS 3-Technologie (Deep Learning Super Sampling) eine bis zu dreimal höhere Grafikleistung.

  • Hohe Netzwerkbandbreite: Mit der G2-Maschinenserie erhalten Sie bis zu 100 Gbit/s-Netzwerkbandbreite.

  • Speicher: Sie können G2-VMs bis zu 3.000 GiB lokale SSD hinzufügen. Dies kann als schnelle Scratch Disks oder zum Einspeisen von Daten in die GPUs verwendet werden, während E/A-Engpässe vermieden werden.

    Sie können G2-VMs auch Hyperdisk- und Persistent Disk-Volumes zuordnen, wenn Anwendungen mehr nichtflüchtigen Speicher benötigen. Die maximale Speicherkapazität hängt von der Anzahl der vCPUs der VM ab. Weitere Informationen finden Sie unter Unterstützte Laufwerkstypen.

  • Unterstützung für Richtlinien für kompakte Platzierungen: Bietet mehr Kontrolle über die physische Platzierung Ihrer VMs in Rechenzentren. Dies ermöglicht eine geringere Latenz und eine höhere Bandbreite für die VM-Platzierung innerhalb einer einzelnen Verfügbarkeitszone. Weitere Informationen finden Sie unter Latenz mithilfe von Richtlinien für kompakte Platzierung reduzieren.

Unterstützte Laufwerktypen für G2

G2-VMs können folgende Blockspeichertypen verwenden:

  • Abgestimmter nichtflüchtiger Speicher (pd-balanced)
  • Nichtflüchtiger SSD-Speicher (Leistung) (pd-ssd)
  • Hyperdisk ML (hyperdisk-ml)
  • Hyperdisk Durchsatz (hyperdisk-throughput)
  • Lokale SSD

Sie können eine Mischung aus Persistent Disk- und Hyperdisk-Volumes mit einer VM verwenden. Es gelten jedoch die folgenden Einschränkungen.

  • Die Gesamtzahl der Hyperdisk- und Persistent Disk-Volumes darf 128 pro VM nicht überschreiten.

  • Die maximale Gesamt-Laufwerkskapazität (in TiB) für alle Laufwerkstypen darf Folgendes nicht überschreiten:

    • Für Maschinentypen mit weniger als 32 vCPUs:

      • 257 TiB für alle Hyperdisk- oder Persistent Disk-Volumes
      • 257 TiB für eine Mischung aus Hyperdisk und Persistent Disk

    • Für Maschinentypen mit 32 vCPUs oder mehr:

      • 512 TiB für alle Hyperdisk-Volume
      • 512 TiB für eine Mischung aus Hyperdisk und Persistent Disk
      • 257 TiB für alle nichtflüchtigen Speicher

Weitere Informationen zu den Kapazitätslimits finden Sie unter Hyperdisk-Kapazitätslimits pro VM und Maximale Kapazität von Persistent Disk.

G2-Maschinentypen

Jeder G2-Maschinentyp hat eine feste Anzahl von NVIDIA L4-GPUs und vCPUs. Jeder G2-Maschinentyp hat auch einen Standardarbeitsspeicher und einen benutzerdefinierten Arbeitsspeicherbereich. Der benutzerdefinierte Arbeitsspeicherbereich definiert die Größe des Arbeitsspeichers, den Sie Ihrer VM für jeden Maschinentyp zuweisen können. Sie können Ihren benutzerdefinierten Arbeitsspeicher während der VM-Erstellung angeben.

Maschinentyp GPU-Anzahl GPU-Speicher* (GB GDDR6) vCPU Anzahl† Standard-VM-Arbeitsspeicher (GB) Benutzerdefinierter VM-Arbeitsspeicherbereich (GB) Maximal unterstützte lokale SSD (GiB) Maximale Netzwerkbandbreite (Gbit/s)‡
g2-standard-4 1 24 4 16 16 bis 32 375 10
g2-standard-8 1 24 8 32 32 bis 54 375 16
g2-standard-12 1 24 12 48 48 bis 54 375 16
g2-standard-16 1 24 16 64 54 bis 64 375 32
g2-standard-24 2 48 24 96 96 bis 108 750 32
g2-standard-32 1 24 32 128 96 bis 128 375 32
g2-standard-48 4 96 48 192 192 bis 216 1.500 50
g2-standard-96 8 192 96 384 384 bis 432 3.000 100

*GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
*†Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Siehe Netzwerkbandbreite.

G2-Einschränkungen

  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für VMs, die G2-Maschinentypen verwenden.
  • Sie können die G2-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
  • Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die G2-Maschinentypen verwenden.
  • Die G2-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Nichtflüchtige Standardspeicher (pd-standard) werden auf VMs, die G2-Standardmaschinentypen verwenden, nicht unterstützt. Informationen zu unterstützten Laufwerkstypen finden Sie unter Unterstützte Laufwerkstypen für G2.
  • Sie können keine GPUs mit mehreren Instanzen auf G2-Maschinentypen erstellen.
  • Wenn Sie den Maschinentyp einer G2-VM ändern müssen, lesen Sie die Informationen unter Beschleunigeroptimierte VMs ändern.
  • Sie können keine Deep Learning VM Images als Bootlaufwerke für VMs verwenden, die G2-Maschinentypen verwenden.
  • Der aktuelle Standardtreiber für Container-Optimized OS unterstützt keine L4-GPUs, die auf G2-Maschinentypen ausgeführt werden. Container-Optimized OS unterstützt auch nur bestimmte Treiber. Wenn Sie Container-Optimized OS auf G2-Maschinentypen verwenden möchten, lesen Sie die folgenden Hinweise:
    • Verwenden Sie eine Container-Optimized OS-Version, die die mindestens empfohlene NVIDIA-Treiberversion 525.60.13 oder höher unterstützt. Weitere Informationen finden Sie in den Versionshinweisen zu Container-Optimized OS.
    • Geben Sie bei der Installation des Treibers die neueste verfügbare Version an, die für die L4-GPUs funktioniert. Beispiel: sudo cos-extensions install gpu -- -version=525.60.13.
  • In den folgenden Szenarien müssen Sie über die Google Cloud CLI oder REST G2-VMs erstellen:
    • Sie möchten benutzerdefinierte Speicherwerte angeben.
    • Sie möchten die Anzahl der sichtbaren CPU-Kerne anpassen.

Nächste Schritte