Die Beschleunigeroptimierte Maschinenfamilie wurde von Google Cloud entwickelt, um die erforderliche Leistung und Effizienz für GPU-beschleunigte Arbeitslasten wie künstliche Intelligenz (KI), maschinelles Lernen (ML) und Hochleistungs-Computing zu bieten. Google Cloud
Die beschleunigungsoptimierte Maschinenfamilie ist in den folgenden Maschinenreihen verfügbar: A3, A2 und G2. Jeder Maschinentyp innerhalb einer Reihe hat ein bestimmtes Modell und eine bestimmte Anzahl von NVIDIA-GPUs angehängt. Sie können auch einige GPU-Modelle an N1-Maschinentypen für allgemeine Zweckeall anhängen.
Empfehlung der Maschinenserie nach Arbeitslasttyp
Im folgenden Abschnitt finden Sie die empfohlene Maschinenreihe basierend auf Ihren GPU-Arbeitslasten.
Arbeitslasttyp | Empfohlener Maschinentyp oder -serie |
---|---|
Vortrainierte Modelle | A3 Ultra, A3 Mega, A3 High, A2 Informationen zur Auswahl des am besten geeigneten Modells finden Sie in der Dokumentation zum KI-Hypercomputer unter Empfehlungen für das Vortraining von Modellen. |
Modelle optimieren | A3 Mega, A3 High, A2 Informationen zum Ermitteln des besten Modells finden Sie in der Dokumentation zu AI Hypercomputer unter Empfehlungen zur Feinabstimmung von Modellen. |
Inferenz bei der Bereitstellung | A3 Ultra, A3 Mega, A3 High, A2 Informationen zur Auswahl der optimalen Option finden Sie in der AI Hypercomputer-Dokumentation unter Empfehlungen für die Ausführung von Inferenzen. |
Grafikintensive Arbeitslasten | G2, N1+T4 |
Hochleistungs-Computing | Für Hochleistungs-Computing-Arbeitslasten eignet sich jede beschleunigungsoptimierte Maschinenreihe. Die beste Lösung hängt davon ab, wie viel Rechenaufwand an die GPU ausgelagert werden muss. Weitere Informationen finden Sie in der Dokumentation zu AI Hypercomputer unter Empfehlungen für HPC. |
Preise und Rabatt
Alle beschleunigungsoptimierten Maschinentypen unterstützen die folgenden Rabatt- und Verbrauchsoptionen:
- Ressourcenbasierte Rabatte für zugesicherte Nutzung
- Spot-VMs
- Reservierungen: Reservierungen können mit einer der folgenden Methoden abgerufen werden:
- Direkt über die Reservations API
- Kapazität mithilfe des Hypercompute-Clusters anfordern Hypercompute-Cluster sind als Vorabversion verfügbar und unterstützen nur A3 Ultra-Maschinentypen. Mit dieser Methode werden Blöcke mit dicht zugewiesener Kapazität bereitgestellt, die sich ideal für die Ausführung großer Arbeitslasten eignen.
Für die beschleunigungsoptimierten Maschinentypen werden die angeschlossenen GPUs, die vordefinierte vCPU, der Arbeitsspeicher und der lokale SSD-Speicher (sofern vorhanden) in Rechnung gestellt. Weitere Informationen zu den Preisen für beschleunigungsoptimierte VMs finden Sie auf der Seite „Preise für VM-Instanzen“ im Abschnitt Beschleunigungsoptimierte Maschinentypfamilie.
Die A3-Maschinenreihe
Die A3-Maschinenreihe hat bis zu 224 vCPUs und 2.944 GB Arbeitsspeicher. Diese Maschinenreihe ist für rechen- und speicherintensive, netzwerkgebundene ML-Trainings und HPC-Arbeitslasten optimiert.
Die A3-Maschinenreihe bietet auch die folgenden Features:
Funktion | A3 Ultra | A3 Mega, High, Edge |
---|---|---|
Angehängte GPUs | NVIDIA H200 SXM-GPUs, die 141 GB GPU-Speicher pro GPU bieten und einen größeren und schnelleren Arbeitsspeicher für die Unterstützung großer Sprachmodelle und HPC-Arbeitslasten bieten. |
NVIDIA H100 SXM-GPUs, die 80 GB GPU-Speicher pro GPU bieten und ideal für große transformerbasierte Sprachmodelle, Datenbanken und HPC geeignet sind. |
CPU-Plattform | skalierbaren Intel Xeon-Prozessor der 5.Generation (Emerald Rapids) und bietet eine kontinuierliche maximale Turbofrequenz pro Kern von bis zu 4,0 GHz. Weitere Informationen zu diesem Prozessor finden Sie unter CPU-Plattform. |
skalierbaren Intel Xeon-Prozessor der 4.Generation (Sapphire Rapids) und bietet eine kontinuierliche maximale Turbofrequenz für einen einzelnen Kern von bis zu 3,3 GHz. Weitere Informationen zu diesem Prozessor finden Sie unter CPU-Plattform. |
Branchenführende NVLink-Skalierung | NVIDIA H200-GPUs bieten eine maximale GPU-NVLink-Bandbreite von 900 GB/s in einer Richtung. Bei einer All-to-All-NVLink-Topologie zwischen 8 GPUs in einem System beträgt die NVLink-Gesamtbandbreite bis zu 7, 2 Terabyte pro Sekunde. |
NVIDIA H100-GPUs bieten eine maximale GPU-NVLink-Bandbreite von 450 GB/s in einer Richtung. Bei einer All-to-All-NVLink-Topologie zwischen 8 GPUs in einem System beträgt die NVLink-Gesamtbandbreite bis zu 7, 2 Terabyte pro Sekunde. |
Netzwerkprotokolle | Bei diesem Maschinentyp wird die Netzwerkleistung durch RDMA over Converged Ethernet (RoCE) erhöht, indem NVIDIA ConnectX-7-Netzwerkschnittstellenkarten (NICs) mit unserem rechenzentrumsweiten, viergleisigen, an der Schiene ausgerichteten Netzwerk kombiniert werden. Durch die Nutzung von RDMA over Converged Ethernet (RoCE) erreicht der a3-ultragpu-8g -Maschinentyp einen viel höheren Durchsatz zwischen VMs in einem Cluster als andere beschleunigungsoptimierte A3-Maschinentypen.
|
|
Verbesserte Rechengeschwindigkeit und Netzwerkleistung | Bietet im Vergleich zur A2-Maschinenreihe der vorherigen Generation eine bis zu viermal höhere Netzwerkgeschwindigkeit. Weitere Informationen zu Netzwerken finden Sie unter Netzwerkbandbreiten und GPUs. |
Bietet im Vergleich zur A2-Maschinenreihe der vorherigen Generation eine bis zu 2,5-mal höhere Netzwerkgeschwindigkeit. Weitere Informationen zu Netzwerken finden Sie unter Netzwerkbandbreiten und GPUs. |
Virtualisierungsoptimierungen | Die PCIe-Topologie (Peripheral Component Interconnect Express) von A3-VMs liefert genauere Informationen zur Lokalität, mit denen Arbeitslasten die Datenübertragungen optimieren können. Die GPUs bieten außerdem einen Funktionsebenen-Reset (FLR) für eine reibungslose Fehlerwiederherstellung und Unterstützung für atomare Vorgänge zur Verbesserung der Nebenläufigkeit in bestimmten Szenarien. |
|
Speicher |
Dies kann als schnelle Scratch Disks oder zum Einspeisen von Daten in die GPUs verwendet werden, während E/A-Engpässe vermieden werden. So wird die lokale SSD angeschlossen:
Sie können den Maschinentypen in dieser Reihe auch bis zu 512 TiB Persistent Disk- und Hyperdisk-Speicher für Anwendungen hinzufügen, die eine höhere Speicherleistung erfordern. |
|
Unterstützung für Richtlinien für kompakte Platzierung | Bietet mehr Kontrolle über die physische Platzierung Ihrer VMs in Rechenzentren. Sie ermöglicht eine geringere Latenz und eine höhere Bandbreite für die VM-Platzierung innerhalb einer einzelnen Verfügbarkeitszone. Weitere Informationen finden Sie unter Richtlinien für kompakte Platzierung. |
Für die A3-Maschinenreihe sind die folgenden Maschinentypen verfügbar.
A3 Ultra-Maschinentyp
Maschinentyp | GPU-Anzahl | GPU-Arbeitsspeicher* (GB HBM3e) |
vCPU-Anzahl† | VM-Arbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s)‡ |
---|---|---|---|---|---|---|---|
a3-ultragpu-8g |
8 | 1128 | 224 | 2.952 | 12.000 | 10 | 3.600 |
* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab.
Siehe Netzwerkbandbreite.
Einschränkungen von A3 Ultra
- Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für die zugesicherte Nutzung für VMs, die einen A3-Ultra-Maschinentyp verwenden.
- Sie können den A3-Ultra-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
- Sie können nichtflüchtige Speicher (regional oder zonal) nicht auf einer VM verwenden, die den A3-Ultra-Maschinentyp verwendet.
- Der A3-Ultra-Maschinentyp ist nur auf der Emerald Rapids-CPU-Plattform verfügbar.
- Wenn Ihre VM einen A3-Ultra-Maschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie den Maschinentyp ändern müssen, müssen Sie eine neue VM erstellen.
- Sie können den Maschinentyp einer VM nicht in einen A3-Ultra-Maschinentyp ändern. Wenn Sie eine VM benötigen, die einen A3-Ultra-Maschinentyp verwendet, müssen Sie eine neue VM erstellen.
- A3 Ultra-Maschinentypen unterstützen keine einzelnen Mandanten.
- Sie können Windows-Betriebssysteme nicht auf einem A3-Ultra-Maschinentyp ausführen.
- Sie können Kapazität nur mit einem Hypercompute-Cluster reservieren.
A3 Mega-Maschinentyp
Maschinentyp | GPU-Anzahl | GPU-Arbeitsspeicher* (GB HBM3) |
vCPU-Anzahl† | VM-Arbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s)‡ |
---|---|---|---|---|---|---|---|
a3-megagpu-8g |
8 | 640 | 208 | 1.872 | 6.000 | 9 | 1.800 |
* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab.
Siehe Netzwerkbandbreite.
Einschränkungen von A3 Mega
- Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für die zugesicherte Nutzung für VMs, die A3 Mega-Maschinentypen verwenden.
- Sie können den A3 Mega-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
- Sie können regionale nichtflüchtige Speicher nicht auf einer VM verwenden, die den A3 Mega-Maschinentyp verwendet.
- Der Maschinentyp „A3 Mega“ ist nur auf der Sapphire Rapids-CPU-Plattform verfügbar.
- Wenn Ihre VM einen A3-Mega-Maschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie den Maschinentyp ändern müssen, müssen Sie eine neue VM erstellen.
- Sie können den Maschinentyp einer VM nicht in einen A3-Mega-Maschinentyp ändern. Wenn Sie eine VM benötigen, die einen A3-Mega-Maschinentyp verwendet, müssen Sie eine neue VM erstellen.
- A3 Mega-Maschinentypen unterstützen keine einzelnen Mandanten.
- Sie können Windows-Betriebssysteme nicht auf einem A3 Mega-Maschinentyp ausführen.
A3 High-Maschinentyp
Maschinentyp | GPU-Anzahl | GPU-Arbeitsspeicher* (GB HBM3) |
vCPU-Anzahl† | VM-Arbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s)‡ |
---|---|---|---|---|---|---|---|
a3-highgpu-1g |
1 | 80 | 26 | 234 | 750 | 1 | 25 |
a3-highgpu-2g |
2 | 160 | 52 | 468 | 1.500 | 1 | 50 |
a3-highgpu-4g |
4 | 320 | 104 | 936 | 3.000 | 1 | 100 |
a3-highgpu-8g |
8 | 640 | 208 | 1.872 | 6.000 | 5 | 1.000 |
* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab.
Siehe Netzwerkbandbreite.
Einschränkungen von A3 High
- Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für die zugesicherte Nutzung für VMs, die A3 High-Maschinentypen verwenden.
- Sie können den A3 High-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
- Sie können regionale nichtflüchtige Speicher nicht auf einer VM verwenden, die den A3 High-Maschinentyp verwendet.
- Der A3 High-Maschinentyp ist nur auf der Sapphire Rapids-CPU-Plattform verfügbar.
- Wenn Ihre VM einen A3-High-Maschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie den Maschinentyp ändern müssen, müssen Sie eine neue VM erstellen.
- Sie können den Maschinentyp einer VM nicht in einen A3 High-Maschinentyp ändern. Wenn Sie eine VM benötigen, die einen A3 High-Maschinentyp verwendet, müssen Sie eine neue VM erstellen.
- A3 High-Maschinentypen unterstützen keine einzelnen Mandanten.
- Sie können Windows-Betriebssysteme nicht auf einem A3 High-Maschinentyp ausführen.
- Für die Maschinentypen
a3-highgpu-1g
,a3-highgpu-2g
unda3-highgpu-4g
gelten die folgenden Einschränkungen:-
Für diese Maschinentypen müssen Sie entweder Spot-VMs oder eine Funktion verwenden, die den Dynamic Workload Scheduler (DWS) nutzt, z. B. Anfragen zur Größenänderung in einer MIG. Eine ausführliche Anleitung zu beiden Optionen findest du hier:
- Informationen zum Erstellen von Spot-VMs finden Sie unter Beschleunigungsoptimierte VM erstellen. Legen Sie das Bereitstellungsmodell auf
SPOT
fest. - Informationen zum Erstellen einer Anfrage zur Größenänderung in einer MIG, die Dynamic Workload Scheduler verwendet, finden Sie unter MIG mit GPU-VMs erstellen.
- Informationen zum Erstellen von Spot-VMs finden Sie unter Beschleunigungsoptimierte VM erstellen. Legen Sie das Bereitstellungsmodell auf
- Sie können Hyperdisk Balanced mit diesen Maschinentypen nicht verwenden.
- Sie können keine Reservierungen erstellen.
-
Für diese Maschinentypen müssen Sie entweder Spot-VMs oder eine Funktion verwenden, die den Dynamic Workload Scheduler (DWS) nutzt, z. B. Anfragen zur Größenänderung in einer MIG. Eine ausführliche Anleitung zu beiden Optionen findest du hier:
A3 Edge-Maschinentyp
Maschinentyp | GPU-Anzahl | GPU-Arbeitsspeicher* (GB HBM3) |
vCPU-Anzahl† | VM-Arbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s)‡ |
---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
8 | 640 | 208 | 1.872 | 6.000 | 5 |
|
* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab.
Siehe Netzwerkbandbreite.
Einschränkungen von A3 Edge
- Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für die zugesicherte Nutzung für VMs, die A3 Edge-Maschinentypen verwenden.
- Sie können den A3 Edge-Maschinentyp nur in bestimmten Regionen und Zonen verwenden.
- Sie können regionale nichtflüchtige Speicher nicht auf einer VM verwenden, die den A3 Edge-Maschinentyp verwendet.
- Der A3 Edge-Maschinentyp ist nur auf der Sapphire Rapids-CPU-Plattform verfügbar.
- Wenn Ihre VM einen A3 Edge-Maschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie den Maschinentyp ändern müssen, müssen Sie eine neue VM erstellen.
- Sie können den Maschinentyp einer VM nicht in einen A3 Edge-Maschinentyp ändern. Wenn Sie eine VM benötigen, die einen A3 Edge-Maschinentyp verwendet, müssen Sie eine neue VM erstellen.
- A3 Edge-Maschinentypen unterstützen keine einzelnen Mandanten.
- Sie können Windows-Betriebssysteme nicht auf einem A3 Edge-Maschinentyp ausführen.
Unterstützte Laufwerkstypen für die A3-Reihe
A3 Ultra-VMs können folgende Blockspeichertypen verwenden:
- Hyperdisk Balanced (
hyperdisk-balanced
): Dies ist der einzige Laufwerktyp, der für das Bootlaufwerk unterstützt wird. - Hyperdisk Extrem (
hyperdisk-extreme
) - Lokale SSD: Wird VMs, die mit einem der A3-Maschinentypen erstellt werden, automatisch hinzugefügt.
Maximale Anzahl von Laufwerken pro VM* | ||||||
---|---|---|---|---|---|---|
Maschinentypen |
Alle Laufwerke† | Hyperdisk Balanced | Hyperdisk Durchsatz | Hyperdisk ML | Hyperdisk Extrem | Angehängte lokale SSDs |
a3-ultragpu-8g |
128 | 128 | – | – | 8 | 32 |
* Die Nutzung von Hyperdisk wird zusätzlich zu den Preisen der Maschinentypen berechnet. Informationen zu den Laufwerkpreisen finden Sie unter Preise für Hyperdisk.
† Dieses Limit gilt für Hyperdisk, nicht jedoch für lokale SSDs.
A3 Mega-VMs können folgende Blockspeichertypen verwenden:
- Abgestimmter nichtflüchtiger Speicher (
pd-balanced
) - Nichtflüchtiger SSD-Speicher (Leistung) (
pd-ssd
) - Hyperdisk Balanced (
hyperdisk-balanced
) - Hyperdisk ML (
hyperdisk-ml
) - Hyperdisk Extrem (
hyperdisk-extreme
) - Hyperdisk Durchsatz (
hyperdisk-throughput
) - Lokale SSD: Wird VMs, die mit einem der A3-Maschinentypen erstellt werden, automatisch hinzugefügt.
Maximale Anzahl von Laufwerken pro VM* | ||||||
---|---|---|---|---|---|---|
Maschinentypen |
Alle Laufwerke† | Hyperdisk Balanced | Hyperdisk Durchsatz | Hyperdisk ML | Hyperdisk Extrem | Angehängte lokale SSDs |
a3-megagpu-8g |
128 | 32 | 64 | 64 | 8 | 16 |
* Die Nutzung von Hyperdisk und Persistent Disk wird zusätzlich zu den Maschinentyppreisen berechnet. Informationen zu den Laufwerkpreisen finden Sie unter Preise für Persistent Disk und Hyperdisk.
† Dieses Limit gilt für Persistent Disk und Hyperdisk, nicht jedoch für lokale SSDs.
A3 High-VMs können folgende Blockspeichertypen verwenden:
- Abgestimmter nichtflüchtiger Speicher (
pd-balanced
) - Nichtflüchtiger SSD-Speicher (Leistung) (
pd-ssd
) - Hyperdisk Balanced (
hyperdisk-balanced
): nur füra3-highgpu-8g
unterstützt - Hyperdisk ML (
hyperdisk-ml
) - Hyperdisk Extrem (
hyperdisk-extreme
) - Hyperdisk Durchsatz (
hyperdisk-throughput
) - Lokale SSD: Wird VMs, die mit einem der A3-Maschinentypen erstellt werden, automatisch hinzugefügt.
Maximale Anzahl von Laufwerken pro VM* | ||||||
---|---|---|---|---|---|---|
Maschinentypen |
Alle Laufwerke† | Hyperdisk Balanced | Hyperdisk Durchsatz | Hyperdisk ML | Hyperdisk Extrem | Angehängte lokale SSDs |
a3-highgpu-1g |
128 | – | 64 | 64 | – | 2 |
a3-highgpu-2g |
128 | – | 64 | 64 | – | 4 |
a3-highgpu-4g |
128 | – | 64 | 64 | 8 | 8 |
a3-highgpu-8g |
128 | 32 | 64 | 64 | 8 | 16 |
* Die Nutzung von Hyperdisk und Persistent Disk wird zusätzlich zu den Maschinentyppreisen berechnet. Informationen zu den Laufwerkpreisen finden Sie unter Preise für Persistent Disk und Hyperdisk.
† Dieses Limit gilt für Persistent Disk und Hyperdisk, nicht jedoch für lokale SSDs.
A3 Edge-VMs können folgende Blockspeichertypen verwenden:
- Abgestimmter nichtflüchtiger Speicher (
pd-balanced
) - Nichtflüchtiger SSD-Speicher (Leistung) (
pd-ssd
) - Hyperdisk Balanced (
hyperdisk-balanced
) - Hyperdisk ML (
hyperdisk-ml
) - Hyperdisk Extrem (
hyperdisk-extreme
) - Hyperdisk Durchsatz (
hyperdisk-throughput
) - Lokale SSD: Wird VMs, die mit einem der A3-Maschinentypen erstellt werden, automatisch hinzugefügt.
Maximale Anzahl von Laufwerken pro VM* | ||||||
---|---|---|---|---|---|---|
Maschinentypen | Alle Laufwerke† | Hyperdisk Balanced | Hyperdisk Durchsatz | Hyperdisk ML | Hyperdisk Extrem | Verbundene lokale SSD |
a3-edgegpu-8g |
128 | 32 | 64 | 64 | 8 | 16 |
* Die Nutzung von Hyperdisk und Persistent Disk wird zusätzlich zu den Maschinentyppreisen berechnet. Informationen zu den Laufwerkpreisen finden Sie unter Preise für Persistent Disk und Hyperdisk.
† Dieses Limit gilt für Persistent Disk und Hyperdisk, nicht jedoch für lokale SSDs.
Laufwerks- und Kapazitätslimits
Sofern vom Maschinentyp unterstützt, können Sie eine Mischung aus Hyperdisk- und Persistent Disk-Volumes auf einer VM verwenden. Es gelten jedoch die folgenden Einschränkungen:
- Die Gesamtzahl der Hyperdisk- und Persistent Disk-Volumes darf 128 pro VM nicht überschreiten.
Die maximale Gesamt-Laufwerkskapazität (in TiB) für alle Laufwerkstypen darf Folgendes nicht überschreiten:
Für Maschinentypen mit weniger als 32 vCPUs:
- 257 TiB für alle Hyperdisk- oder Persistent Disk-Volumes
- 257 TiB für eine Mischung aus Hyperdisk und Persistent Disk
Für Maschinentypen mit 32 vCPUs oder mehr:
- 512 TiB für alle Hyperdisk-Volume
- 512 TiB für eine Mischung aus Hyperdisk und Persistent Disk
- 257 TiB für alle Persistent Disk-Volumes
Weitere Informationen zu den Kapazitätslimits finden Sie unter Hyperdisk-Kapazitätslimits pro VM und Maximale Kapazität von Persistent Disk.
Die A2-Maschinenserie
Die A2-Maschinenreihe ist in den Maschinentypen A2-Standard und A2-Ultra verfügbar. Diese Maschinentypen haben 12 bis 96 vCPUs und bis zu 1.360 GB Arbeitsspeicher.
Die A2-Maschinenreihe bietet auch die folgenden Features:
Angehängte NVIDIA-GPUs: Jeder A2-Maschinentyp hat NVIDIA A100-GPUs. Diese sind in den Optionen A100 mit 40 GB sowie A100 mit 80 GB verfügbar.
Branchenführende NVLink-Skalierung, die eine maximale GPU-zu-GPU-NVLink-Bandbreite von 600 Gbit/s bietet. Beispielsweise haben Systeme mit 16 GPUs eine NVLink-Bandbreite von bis zu 9,6 Terabyte pro Sekunde. Diese 16 GPUs können als einzelner Hochleistungs-Beschleuniger mit einheitlichem Arbeitsspeicher verwendet werden, um bis zu 10 petaFLOPS Rechenleistung zu liefern, und bis zu 20 PetaFLOPS Inferenz-Computing, die für künstliche Intelligenz, Deep Learning und ML-Arbeitslasten verwendet werden kann.
Rechengeschwindigkeit der nächsten Generation: Die angehängten NVIDIA A100-GPUs bieten im Vergleich zu NVIDIA V100-GPUs der vorherigen Generation eine bis zu zehnmal höhere Rechengeschwindigkeit.
Mit der A2-Maschinenserie erhalten Sie bis zu 100 Gbit/s-Netzwerkbandbreite.
Speicher: Für schnelle Scratch Disks oder zum Einspeisen von Daten in die GPUs, während E/A-Engpässe vermieden werden. A2-Maschinentypen unterstützen lokale SSDs so:
- Für die A2-Standard-Maschinentypen können Sie bis zu 3.000 GiB an lokalen SSD-Speicher hinzufügen.
- Bei den A2-Ultra-Maschinentypen wird der lokale SSD-Speicher beim Erstellen der VM automatisch angehängt.
Für Anwendungen, die eine höhere Speicherleistung erfordern, können Sie bis zu 257 TiB Persistent Disk-Speicher an A2-VMs anhängen.
Unterstützung der Richtlinie für kompakte Platzierung: Bietet mehr Kontrolle über die physische Platzierung Ihrer VMs in Rechenzentren. Sie ermöglicht eine geringere Latenz und eine höhere Bandbreite für die VM-Platzierung innerhalb einer einzelnen Verfügbarkeitszone. Weitere Informationen finden Sie unter Latenz mithilfe von Richtlinien für kompakte Platzierung reduzieren.
A2 Ultra-Maschinentypen
Diese Maschinentypen haben eine feste Anzahl von A100-GPUs mit 80 GB. Lokale SSDs werden automatisch an VMs angehängt, die mit den A2 Ultra-Maschinentypen erstellt wurden.
Maschinentyp | GPU-Anzahl | GPU-Arbeitsspeicher* (GB HBM3) |
vCPU-Anzahl† | VM-Arbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Maximale Netzwerkbandbreite (Gbit/s)‡ |
---|---|---|---|---|---|---|
a2-ultragpu-1g |
1 | 80 | 12 | 170 | 375 | 24 |
a2-ultragpu-2g |
2 | 160 | 24 | 340 | 750 | 32 |
a2-ultragpu-4g |
4 | 320 | 48 | 680 | 1.500 | 50 |
a2-ultragpu-8g |
8 | 640 | 96 | 1.360 | 3.000 | 100 |
* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab.
Siehe Netzwerkbandbreite.
Einschränkungen von A2 Ultra
- Sie erhalten weder kontinuierlichen Nutzungsrabatte noch flexible Rabatte für die zugesicherte Nutzung für VMs, die A2-Ultra-Maschinentypen verwenden.
- Sie können A2-Ultra-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
- Die A2-Ultra-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
- Wenn Ihre VM einen A2-Ultra-Maschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie einen anderen A2-Ultra-Maschinentyp oder einen anderen Maschinentyp verwenden müssen, müssen Sie eine neue VM erstellen.
- Sie können keinen anderen Maschinentyp in einen A2-Ultra-Maschinentyp ändern. Wenn Sie eine VM benötigen, die eine A2-Ultra-Maschinenfamilie verwendet, müssen Sie eine neue VM erstellen.
- Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-VMs verwenden, die A2-Ultra-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und
format fs=ntfs label=tmpfs
angeben.
A2-Standardmaschinentypen
Diese Maschinentypen haben eine feste Anzahl von A100-GPUs mit 40GB.
Maschinentyp | GPU-Anzahl | GPU-Arbeitsspeicher* (GB HBM3) |
vCPU-Anzahl† | VM-Arbeitsspeicher (GB) | Verbundene lokale SSD (GiB) | Maximale Netzwerkbandbreite (Gbit/s)‡ |
---|---|---|---|---|---|---|
a2-highgpu-1g |
1 | 40 | 12 | 85 | Ja | 24 |
a2-highgpu-2g |
2 | 80 | 24 | 170 | Ja | 32 |
a2-highgpu-4g |
4 | 160 | 48 | 340 | Ja | 50 |
a2-highgpu-8g |
8 | 320 | 96 | 680 | Ja | 100 |
a2-megagpu-16g |
16 | 640 | 96 | 1.360 | Ja | 100 |
* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab.
Siehe Netzwerkbandbreite.
Einschränkungen von A2 Standard
- Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für die zugesicherte Nutzung für VMs, die A2-Standardmaschinentypen verwenden.
- Sie können die A2-Standard-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
- Die A2-Standardmaschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
- Wenn Ihre VM einen A2-Standardmaschinentyp verwendet, können Sie nur von einem A2-Standardmaschinentyp zu einem anderen A2-Standardmaschinentyp wechseln. Sie können keinen anderen Maschinentyp ändern. Weitere Informationen finden Sie unter Beschleunigeroptimierte VMs ändern.
- Sie können das Windows-Betriebssystem nicht mit den Maschinentypen <codea2-megagpu-16g< code="" dir="ltr" translate="no"> A2 Standard verwenden. Wählen Sie einen anderen A2-Standard-Maschinentyp aus, wenn Sie Windows-Betriebssysteme verwenden.</codea2-megagpu-16g<>
- Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-VMs verwenden, die A2-Standard-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und
format fs=ntfs label=tmpfs
angeben. - A2-Standardmaschinentypen unterstützen keine einzelnen Mandanten.
Unterstützte Laufwerktypen für die A2-Reihe
A2-VMs können folgende Blockspeichertypen verwenden:
- Hyperdisk ML (
hyperdisk-ml
) - Abgestimmter nichtflüchtiger Speicher (
pd-balanced
) - Nichtflüchtiger SSD-Speicher (Leistung) (
pd-ssd
) - Nichtflüchtiger Standardspeicher (
pd-standard
) - Lokale SSD: Wird automatisch an VMs angehängt, die mit den A2 Ultra-Maschinentypen erstellt wurden.
Sofern vom Maschinentyp unterstützt, können Sie eine Mischung aus Hyperdisk- und Persistent Disk-Volumes auf einer VM verwenden. Es gelten jedoch die folgenden Einschränkungen:
- Die Gesamtzahl der Hyperdisk- und Persistent Disk-Volumes darf 128 pro VM nicht überschreiten.
Die maximale Gesamt-Laufwerkskapazität (in TiB) für alle Laufwerkstypen darf Folgendes nicht überschreiten:
Für Maschinentypen mit weniger als 32 vCPUs:
- 257 TiB für alle Hyperdisk- oder Persistent Disk-Volumes
- 257 TiB für eine Mischung aus Hyperdisk und Persistent Disk
Für Maschinentypen mit 32 vCPUs oder mehr:
- 512 TiB für alle Hyperdisk-Volume
- 512 TiB für eine Mischung aus Hyperdisk und Persistent Disk
- 257 TiB für alle Persistent Disk-Volumes
Weitere Informationen zu den Kapazitätslimits finden Sie unter Hyperdisk-Kapazitätslimits pro VM und Maximale Kapazität von Persistent Disk.
Die G2-Maschinenserie
Die G2-Maschinenserie ist in Standardmaschinentypen verfügbar, die haben 4 bis 96 vCPUs und bis zu 432 GB Arbeitsspeicher. Diese Maschinenserie ist für Inferenz- und Grafikarbeitslasten optimiert.
Die G2-Maschinenserie bietet auch die folgenden Features:
Angehängte NVIDIA-GPUs: Jeder G2-Maschinentyp hat NVIDIA L4-GPUs.
Verbesserte Inferenzraten: Die G2-Maschinentypen unterstützen den Datentyp FP8 (8-Bit-Gleitkomma), was ML-Inferenzraten beschleunigt und Arbeitsspeicherbedarf reduziert.
Grafikleistung der nächsten Generation: NVIDIA L4-GPUs bieten mit RT-Kernen der dritten Generation und NVIDIA DLSS 3-Technologie (Deep Learning Super Sampling) eine bis zu dreimal höhere Grafikleistung.
Hohe Netzwerkbandbreite: Mit der G2-Maschinenreihe erhalten Sie bis zu 100 Gbit/s-Netzwerkbandbreite.
Speicher: Sie können G2-VMs bis zu 3.000 GiB lokalem SSD-Speicher hinzufügen. Dieser kann als schnelle Scratch Disk oder zum Einspeisen von Daten in die GPUs verwendet werden, während E/A-Engpässe vermieden werden.
Sie können G2-VMs auch Hyperdisk- und Persistent Disk-Volumes zuordnen, wenn Anwendungen mehr nichtflüchtigen Speicher benötigen. Die maximale Speicherkapazität hängt von der Anzahl der vCPUs der VM ab. Weitere Informationen finden Sie unter Unterstützte Laufwerkstypen.
Unterstützung der Richtlinie für kompakte Platzierung: Bietet mehr Kontrolle über die physische Platzierung Ihrer VMs in Rechenzentren. Sie ermöglicht eine geringere Latenz und eine höhere Bandbreite für die VM-Platzierung innerhalb einer einzelnen Verfügbarkeitszone. Weitere Informationen finden Sie unter Latenz mithilfe von Richtlinien für kompakte Platzierung reduzieren.
G2-Maschinentypen
Jeder G2-Maschinentyp hat eine feste Anzahl von NVIDIA L4-GPUs und vCPUs. Jeder G2-Maschinentyp hat auch einen Standardarbeitsspeicher und einen benutzerdefinierten Arbeitsspeicherbereich. Der benutzerdefinierte Arbeitsspeicherbereich definiert die Größe des Arbeitsspeichers, den Sie Ihrer VM für jeden Maschinentyp zuweisen können. Sie können Ihren benutzerdefinierten Arbeitsspeicher während der VM-Erstellung angeben.
Maschinentyp | GPU-Anzahl | GPU-Speicher* (GB GDDR6) | vCPU-Anzahl† | Standard-VM-Arbeitsspeicher (GB) | Benutzerdefinierter VM-Arbeitsspeicherbereich (GB) | Maximal unterstützte lokale SSD (GiB) | Maximale Netzwerkbandbreite (Gbit/s)‡ |
---|---|---|---|---|---|---|---|
g2-standard-4 |
1 | 24 | 4 | 16 | 16 bis 32 | 375 | 10 |
g2-standard-8 |
1 | 24 | 8 | 32 | 32 bis 54 | 375 | 16 |
g2-standard-12 |
1 | 24 | 12 | 48 | 48 bis 54 | 375 | 16 |
g2-standard-16 |
1 | 24 | 16 | 64 | 54 bis 64 | 375 | 32 |
g2-standard-24 |
2 | 48 | 24 | 96 | 96 bis 108 | 750 | 32 |
g2-standard-32 |
1 | 24 | 32 | 128 | 96 bis 128 | 375 | 32 |
g2-standard-48 |
4 | 96 | 48 | 192 | 192 bis 216 | 1.500 | 50 |
g2-standard-96 |
8 | 192 | 96 | 384 | 384 bis 432 | 3.000 | 100 |
* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab.
Siehe Netzwerkbandbreite.
Einschränkungen von G2
- Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für die zugesicherte Nutzung für VMs, die G2-Maschinentypen verwenden.
- Sie können G2-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
- Die G2-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
- Nichtflüchtige Standardspeicher (
pd-standard
) werden auf VMs, die G2-Standardmaschinentypen verwenden, nicht unterstützt. Informationen zu unterstützten Laufwerkstypen finden Sie unter Unterstützte Laufwerkstypen für G2. - Sie können keine GPUs mit mehreren Instanzen auf G2-Maschinentypen erstellen.
- Wenn Sie den Maschinentyp einer G2-VM ändern müssen, lesen Sie die Informationen unter Beschleunigeroptimierte VMs ändern.
- Sie können keine Deep Learning VM Images als Bootlaufwerke für VMs verwenden, die G2-Maschinentypen verwenden.
- Der aktuelle Standardtreiber für Container-Optimized OS unterstützt keine L4-GPUs, die auf G2-Maschinentypen ausgeführt werden. Container-Optimized OS unterstützt auch nur bestimmte Treiber.
Wenn Sie Container-Optimized OS auf G2-Maschinentypen verwenden möchten, lesen Sie die folgenden Hinweise:
- Verwenden Sie eine Container-Optimized OS-Version, die die mindestens empfohlene NVIDIA-Treiberversion
525.60.13
oder höher unterstützt. Weitere Informationen finden Sie in den Versionshinweisen zu Container-Optimized OS. - Geben Sie bei der Installation des Treibers die neueste verfügbare Version an, die für die L4-GPUs funktioniert.
Beispiel:
sudo cos-extensions install gpu -- -version=525.60.13
.
- Verwenden Sie eine Container-Optimized OS-Version, die die mindestens empfohlene NVIDIA-Treiberversion
- In den folgenden Szenarien müssen Sie über die Google Cloud CLI oder REST G2-VMs erstellen:
- Sie möchten benutzerdefinierte Speicherwerte angeben.
- Sie möchten die Anzahl der sichtbaren CPU-Kerne anpassen.
Unterstützte Laufwerktypen für die G2-Reihe
G2-VMs können folgende Blockspeichertypen verwenden:
- Abgestimmter nichtflüchtiger Speicher (
pd-balanced
) - Nichtflüchtiger SSD-Speicher (Leistung) (
pd-ssd
) - Hyperdisk ML (
hyperdisk-ml
) - Hyperdisk Durchsatz (
hyperdisk-throughput
) - Lokale SSD
Sofern vom Maschinentyp unterstützt, können Sie eine Mischung aus Hyperdisk- und Persistent Disk-Volumes auf einer VM verwenden. Es gelten jedoch die folgenden Einschränkungen:
- Die Gesamtzahl der Hyperdisk- und Persistent Disk-Volumes darf 128 pro VM nicht überschreiten.
Die maximale Gesamt-Laufwerkskapazität (in TiB) für alle Laufwerkstypen darf Folgendes nicht überschreiten:
Für Maschinentypen mit weniger als 32 vCPUs:
- 257 TiB für alle Hyperdisk- oder Persistent Disk-Volumes
- 257 TiB für eine Mischung aus Hyperdisk und Persistent Disk
Für Maschinentypen mit 32 vCPUs oder mehr:
- 512 TiB für alle Hyperdisk-Volume
- 512 TiB für eine Mischung aus Hyperdisk und Persistent Disk
- 257 TiB für alle Persistent Disk-Volumes
Weitere Informationen zu den Kapazitätslimits finden Sie unter Hyperdisk-Kapazitätslimits pro VM und Maximale Kapazität von Persistent Disk.