Sie können GPUs in Compute Engine verwenden, um bestimmte Arbeitslasten (z. B. maschinelles Lernen und Datenverarbeitung) auf Ihren VMs zu beschleunigen. Wenn Sie GPUs verwenden möchten, können Sie entweder eine beschleunigungsoptimierte VM mit angehängten GPUs bereitstellen oder GPUs an eine N1-VM für allgemeine Zwecke anhängen.
GPUs werden für Ihre VMs von Compute Engine im Passthrough-Modus bereitgestellt, sodass Ihre VMs direkte Kontrolle über die GPUs und den zugehörigen Arbeitsspeicher haben.
Weitere Informationen zu GPUs in Compute Engine finden Sie unter GPUs.
Wenn Sie grafikintensive Arbeitslasten haben, z. B. 3D-Visualisierung, 3D-Rendering oder virtuelle Anwendungen, können Sie virtuelle NVIDIA RTX-Workstations verwenden (früher als NVIDIA GRID bezeichnet).
Dieses Dokument bietet eine Übersicht über die verschiedenen GPU-VMs, die in Compute Engine verfügbar sind.
Hinweis: Informationen zu den verfügbaren Regionen und Zonen für GPUs in Compute Engine finden Sie unter Verfügbarkeit von GPU-Regionen und -Zonen.
GPUs für Computing-Arbeitslasten
Für Computing-Arbeitslasten werden GPUs für die folgenden Maschinentypen unterstützt:
- A3-VMs: An diese VMs werden automatisch NVIDIA H100-GPUs mit 80 GB angehängt.
- A2-VMs: Diese VMs haben automatisch NVIDIA A100-GPUs mit 80 GB oder NVIDIA A100 40 GB mit 40 GB angehängt.
- G2-VMs: An diese VMs werden automatisch NVIDIA L4-GPUs angehängt.
- N1-VMs: Für diese VMs können Sie die folgenden GPU-Modelle anhängen: NVIDIA T4, NVIDIA V100, NVIDIA P100 oder NVIDIA P4.
A3-Maschinenserie
Um NVIDIA H100 80 GB-GPUs zu verwenden, müssen Sie eine beschleunigungsoptimierte A3-Maschine verwenden. Jeder A3-Maschinentyp hat eine feste GPU-Anzahl, eine feste Zahl an vCPUs und eine vorgegebene Speichergröße.
A3-Maschinenserien sind in drei Typen verfügbar:
- A3 Mega: Bei diesen Maschinentypen sind H100-GPUs mit 80 GB (
nvidia-h100-mega-80gb) verbunden und sie bieten die höchste Netzwerkleistung. Sie eignen sich ideal für die anspruchsvollsten und größten Trainingsarbeitslasten. - A3 High: Bei diesen Maschinentypen sind H100-GPUs mit 80 GB (
nvidia-h100-80gb) angehängt. Sie eignen sich sowohl für das Training großer KI-Modelle als auch für die Bereitstellung von Aufgaben. - A3 Edge: Diese Maschinentypen haben H100-GPUs mit 80 GB (
nvidia-h100-80gb), sind speziell für die Bereitstellung konzipiert und in begrenzten Regionen verfügbar.
A3 Mega
| Maschinentyp | GPU-Anzahl | GPU-Speicher* (GB HBM3) |
vCPU Anzahl† | VM-Arbeitsspeicher (GB) | Angehängte lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s)‡ | Netzwerkprotokoll |
|---|---|---|---|---|---|---|---|---|
a3-megagpu-8g |
8 | 640 | 208 | 1.872 | 6.000 | 9 | 1.800 | GPUDirect-TCPXO |
A3 High
a3-highgpu-1g-, a3-highgpu-2g- oder a3-highgpu-4g-Maschinentypen bereitstellen, müssen Sie entweder Spot-VMs oder eine Funktion verwenden, die den Dynamic Workload Scheduler (DWS) nutzt, z. B. Anfragen zum Ändern der Größe in einer MIG. Eine ausführliche Anleitung zu beiden Optionen findest du hier:
- Informationen zum Erstellen von Spot-VMs finden Sie unter Beschleunigungsoptimierte VM erstellen. Legen Sie das Bereitstellungsmodell auf
SPOTfest. - Informationen zum Erstellen einer Anfrage zur Größenänderung in einer MIG, die Dynamic Workload Scheduler verwendet, finden Sie unter MIG mit GPU-VMs erstellen.
| Maschinentyp | GPU-Anzahl | GPU-Speicher* (GB HBM3) |
vCPU Anzahl† | VM-Arbeitsspeicher (GB) | Angehängte lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s)‡ | Netzwerkprotokoll |
|---|---|---|---|---|---|---|---|---|
a3-highgpu-1g |
1 | 80 | 26 | 234 | 750 | 1 | 25 | GPUDirect-TCPX |
a3-highgpu-2g |
2 | 160 | 52 | 468 | 1.500 | 1 | 50 | GPUDirect-TCPX |
a3-highgpu-4g |
4 | 320 | 104 | 936 | 3.000 | 1 | 100 | GPUDirect-TCPX |
a3-highgpu-8g |
8 | 640 | 208 | 1.872 | 6.000 | 5 | 1.000 | GPUDirect-TCPX |
A3 Edge
| Maschinentyp | GPU-Anzahl | GPU-Speicher* (GB HBM3) |
vCPU Anzahl† | VM-Arbeitsspeicher (GB) | Angehängte lokale SSD (GiB) | Anzahl der physischen NICs | Maximale Netzwerkbandbreite (Gbit/s)‡ | Netzwerkprotokoll |
|---|---|---|---|---|---|---|---|---|
a3-edgegpu-8g |
8 | 640 | 208 | 1.872 | 6.000 | 5 |
|
GPUDirect-TCPX |
*GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
*†Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab.
Siehe Netzwerkbandbreite.
A2-Maschinenserie
Wenn Sie NVIDIA A100-GPUs in Google Cloud verwenden möchten, müssen Sie eine beschleunigungsoptimierte A2-Maschine bereitstellen. Jeder A2-Maschinentyp hat eine feste GPU-Anzahl, eine Anzahl von vCPUs und eine vorgegebene Speichergröße.
A2-Maschinenserien sind in zwei Typen verfügbar:
- A2 Ultra: Bei diesen Maschinentypen sind A100-GPUs mit 80 GB (
nvidia-a100-80gb) und eine lokale SSD angehängt. - A2 Standard: An diese Maschinentypen sind A100-GPUs (
nvidia-tesla-a100) mit 40 GB angehängt.
A2-Ultra
| Maschinentyp | GPU-Anzahl | GPU-Speicher* (GB HBM3) |
vCPU Anzahl† | VM-Arbeitsspeicher (GB) | Angehängte lokale SSD (GiB) | Maximale Netzwerkbandbreite (Gbit/s)‡ |
|---|---|---|---|---|---|---|
a2-ultragpu-1g |
1 | 80 | 12 | 170 | 375 | 24 |
a2-ultragpu-2g |
2 | 160 | 24 | 340 | 750 | 32 |
a2-ultragpu-4g |
4 | 320 | 48 | 680 | 1.500 | 50 |
a2-ultragpu-8g |
8 | 640 | 96 | 1.360 | 3.000 | 100 |
A2-Standard
| Maschinentyp | GPU-Anzahl | GPU-Speicher* (GB HBM3) |
vCPU Anzahl† | VM-Arbeitsspeicher (GB) | Angehängte lokale SSD (GiB) | Maximale Netzwerkbandbreite (Gbit/s)‡ |
|---|---|---|---|---|---|---|
a2-highgpu-1g |
1 | 40 | 12 | 85 | Ja | 24 |
a2-highgpu-2g |
2 | 80 | 24 | 170 | Ja | 32 |
a2-highgpu-4g |
4 | 160 | 48 | 340 | Ja | 50 |
a2-highgpu-8g |
8 | 320 | 96 | 680 | Ja | 100 |
a2-megagpu-16g |
16 | 640 | 96 | 1.360 | Ja | 100 |
*GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
G2-Maschinenserie
Wenn Sie NVIDIA L4-GPUs (nvidia-l4 oder nvidia-l4-vws) verwenden möchten, müssen Sie eine beschleunigungsoptimierte G2-Maschine bereitstellen.
Jeder G2-Maschinentyp hat eine feste Anzahl von NVIDIA L4-GPUs und vCPUs. Jeder G2-Maschinentyp hat auch einen Standardarbeitsspeicher und einen benutzerdefinierten Arbeitsspeicherbereich. Der benutzerdefinierte Arbeitsspeicherbereich definiert die Größe des Arbeitsspeichers, den Sie Ihrer VM für jeden Maschinentyp zuweisen können. Sie können Ihren benutzerdefinierten Arbeitsspeicher während der VM-Erstellung angeben.
| Maschinentyp | GPU-Anzahl | GPU-Speicher* (GB GDDR6) | vCPU Anzahl† | Standard-VM-Arbeitsspeicher (GB) | Benutzerdefinierter VM-Arbeitsspeicherbereich (GB) | Maximal unterstützte lokale SSD (GiB) | Maximale Netzwerkbandbreite (Gbit/s)‡ |
|---|---|---|---|---|---|---|---|
g2-standard-4 |
1 | 24 | 4 | 16 | 16 bis 32 | 375 | 10 |
g2-standard-8 |
1 | 24 | 8 | 32 | 32 bis 54 | 375 | 16 |
g2-standard-12 |
1 | 24 | 12 | 48 | 48 bis 54 | 375 | 16 |
g2-standard-16 |
1 | 24 | 16 | 64 | 54 bis 64 | 375 | 32 |
g2-standard-24 |
2 | 48 | 24 | 96 | 96 bis 108 | 750 | 32 |
g2-standard-32 |
1 | 24 | 32 | 128 | 96 bis 128 | 375 | 32 |
g2-standard-48 |
4 | 96 | 48 | 192 | 192 bis 216 | 1.500 | 50 |
g2-standard-96 |
8 | 192 | 96 | 384 | 384 bis 432 | 3.000 | 100 |
*GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
N1-Maschinenserie
Sie können die folgenden GPU-Modelle an N1-Maschinentypen anhängen, mit Ausnahme des Maschinentyps N1 mit gemeinsam genutztem Kern.
Für N1 VMs mit einer geringeren Anzahl von GPUs ist eine Höchstanzahl an vCPUs vorgegeben. Im Allgemeinen ermöglicht es Ihnen eine höhere Anzahl an GPUs, VM-Instanzen mit mehr vCPUs und mehr Arbeitsspeicher zu erstellen.
N1+T4-GPUs
Sie können NVIDIA T4-GPUs mit den folgenden VM-Konfigurationen an N1-VMs für allgemeine Zwecke anhängen.
| Beschleunigertyp | GPU-Anzahl | GPU-Speicher* (GB GDDR6) | vCPU Anzahl | VM-Arbeitsspeicher (GB) | Unterstützung lokaler SSDs |
|---|---|---|---|---|---|
nvidia-tesla-t4 oder nvidia-tesla-t4-vws
|
1 | 16 | 1 bis 48 | 1 bis 312 | Ja |
| 2 | 32 | 1 bis 48 | 1 bis 312 | Ja | |
| 4 | 64 | 1 bis 96 | 1 bis 624 | Ja |
*GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
N1+P4-GPUs
Sie können NVIDIA P4-GPUs mit den folgenden VM-Konfigurationen an N1-VMs für allgemeine Zwecke anhängen.
| Beschleunigertyp | GPU-Anzahl | GPU-Speicher* (GB GDDR5) | vCPU Anzahl | VM-Arbeitsspeicher (GB) | Unterstützung lokaler SSDs† |
|---|---|---|---|---|---|
nvidia-tesla-p4 oder nvidia-tesla-p4-vws
|
1 | 8 | 1 bis 24 | 1 bis 156 | Ja |
| 2 | 16 | 1 bis 48 | 1 bis 312 | Ja | |
| 4 | 32 | 1 bis 96 | 1 bis 624 | Ja |
*GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
†Für VMs mit angehängten NVIDIA P4-GPUs werden lokale SSD-Laufwerke nur in den Zonen us-central1-c und northamerica-northeast1-b unterstützt.
N1+V100-GPUs
Sie können NVIDIA V100-GPUs mit den folgenden VM-Konfigurationen an N1-VMs für allgemeine Zwecke anhängen.
| Beschleunigertyp | GPU-Anzahl | GPU-Speicher* (GB HBM2) | vCPU Anzahl | VM-Arbeitsspeicher (GB) | Unterstützung lokaler SSDs† |
|---|---|---|---|---|---|
nvidia-tesla-v100 |
1 | 16 | 1 bis 12 | 1 bis 78 | Ja |
| 2 | 32 | 1 bis 24 | 1 bis 156 | Ja | |
| 4 | 64 | 1 bis 48 | 1 bis 312 | Ja | |
| 8 | 128 | 1 bis 96 | 1 bis 624 | Ja |
*GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
†Für VMs mit angehängten NVIDIA V100-GPUs werden lokale SSD-Laufwerke in us-east1-c nicht unterstützt.
N1+P100-GPUs
Sie können NVIDIA P100-GPUs mit den folgenden VM-Konfigurationen an N1-VMs für allgemeine Zwecke anhängen.
Bei einigen NVIDIA P100-GPUs hängen die maximale CPU-Anzahl und der maximale Arbeitsspeicher, die für einige Konfigurationen verfügbar sind, von der Zone ab, in der die GPU-Ressource ausgeführt wird.
| Beschleunigertyp | GPU-Anzahl | GPU-Speicher* (GB HBM2) | vCPU Anzahl | VM-Arbeitsspeicher (GB) | Unterstützung lokaler SSDs |
|---|---|---|---|---|---|
nvidia-tesla-p100 oder nvidia-tesla-p100-vws
|
1 | 16 | 1 bis 16 | 1 bis 104 | Ja |
| 2 | 32 | 1 bis 32 | 1 bis 208 | Ja | |
| 4 | 64 | 1 bis 64 1 bis 96 |
1 bis 208 1 bis 624 |
Ja |
*GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
Virtuelle NVIDIA RTX-Workstations (vWS) für Grafikarbeitslasten
Wenn Sie grafikintensive Arbeitslasten haben, z. B. 3D-Visualisierung, können Sie virtuelle Workstations erstellen, die NVIDIA RTX Virtual Workstations (vWS) (ehemals NVIDIA GRID) verwenden. Wenn Sie eine virtuelle Workstation erstellen, wird Ihrer VM automatisch eine Lizenz für NVIDIA RTX Virtual Workstation (vWS) hinzugefügt.
Informationen zu Preisen für virtuelle Workstations finden Sie auf der Seite „GPU-Preise”.
Für Grafikarbeitslasten sind virtuelle RTX-Workstation-Modelle (vWS) von NVIDIA verfügbar:
G2-Maschinenserie: Bei G2-Maschinentypen können Sie NVIDIA L4 Virtual Workstations (vWS) aktivieren:
nvidia-l4-vwsN1-Maschinenserie: Bei N1-Maschinentypen können Sie die folgenden virtuellen Workstations aktivieren:
- Virtuelle Workstations NVIDIA T4:
nvidia-tesla-t4-vws - Virtuelle Workstations NVIDIA P100:
nvidia-tesla-p100-vws - Virtuelle NVIDIA P4-Workstations:
nvidia-tesla-p4-vws
- Virtuelle Workstations NVIDIA T4:
Allgemeine Vergleichstabelle
In der folgenden Tabelle werden die GPU-Arbeitsspeichergröße, die Feature-Verfügbarkeit und die idealen Arbeitslasttypen verschiedener GPU-Modelle beschrieben, die in Compute Engine verfügbar sind.
| GPU-Modell | GPU-Speicher | Interconnect | Unterstützung für NVIDIA RTX Virtual Workstation (vWS) | Geeignete Anwendungsfälle |
|---|---|---|---|---|
| H100 80GB | 80 GB HBM3 @ 3,35 TB/s | NVLink Full Mesh @ 900 GB/s | Große Modelle mit riesigen Datentabellen für ML-Training, Inferenz, HPC, BERT und DLRM | |
| A100 80GB | 80 GB HBM2e @ 1,9 Tbit/s | NVLink Full Mesh @ 600 GBps | Große Modelle mit riesigen Datentabellen für ML-Training, Inferenz, HPC, BERT und DLRM | |
| A100 40GB | 40 GB HBM2 bei 1,6 Tbit/s | NVLink Full Mesh @ 600 GBps | ML-Training, Inferenz, HPC | |
| L4 | 24 GB GDDR6 bei 300 GB/s | – | ML-Inferenz, Training, Remote-Workstations zur Visualisierung, Videotranscodierung, HPC | |
| T4 | 16 GB GDDR6 bei 320 GB/s | – | ML-Inferenz, Training, Remote-Workstations zur Visualisierung, Videotranscodierung | |
| V100 | 16 GB HBM2 bei 900 GB/s | NVLink Ring @ 300 GB/s | ML-Training, Inferenz, HPC | |
| P4 | 8 GB GDDR5 bei 192 GB/s | – | Remote-Workstations zur Visualisierung, ML-Inferenz und Videotranscodierung | |
| P100 | 16 GB HBM2 bei 732 GB/s | – | ML-Training, Inferenz, HPC, Remote-Workstations zur Visualisierung |
Informationen zum Vergleichen der GPU-Preise für die verschiedenen GPU-Modelle und -Regionen, die in Compute Engine verfügbar sind, finden Sie unter GPU-Preise.
Leistungsvergleichsdiagramm
In der folgenden Tabelle werden die Leistungsspezifikationen der verschiedenen GPU-Modelle beschrieben, die in Compute Engine verfügbar sind.
Rechenleistung
| GPU-Modell | FP64 | FP32 | FP16 | INT8 |
|---|---|---|---|---|
| H100 80GB | 34 TFLOPS | 67 TFLOPS | ||
| A100 80GB | 9,7 TFLOPS | 19,5 TFLOPS | ||
| A100 40GB | 9,7 TFLOPS | 19,5 TFLOPS | ||
| L4 | 0,5 TFLOPS* | 30,3 TFLOPS | ||
| T4 | 0,25 TFLOPS* | 8,1 TFLOPS | ||
| V100 | 7,8 TFLOPS | 15,7 TFLOPS | ||
| P4 | 0,2 TFLOPS* | 5,5 TFLOPS | 22 TOPS† | |
| P100 | 4,7 TFLOPS | 9,3 TFLOPS | 18,7 TFLOPS |
* Damit der FP64-Code ordnungsgemäß funktioniert, ist in der T4-, L4- und P4-GPU-Architektur eine geringe Anzahl von FP64-Hardwareeinheiten enthalten.
† TeraOperations pro Sekunde.
Tensor-Kernleistung
| GPU-Modell | FP64 | TF32 | Mixed Precision FP16/FP32 | INT8 | INT4 | FP8 |
|---|---|---|---|---|---|---|
| H100 80GB | 67 TFLOPS | 989 TFLOPS† | 1.979 TFLOPS*, † | 3.958 TOPS† | 3,958 TFLOPS† | |
| A100 80GB | 19,5 TFLOPS | 156 TFLOPS | 312 TFLOPS* | 624 TOPS | 1248 TOPS | |
| A100 40GB | 19,5 TFLOPS | 156 TFLOPS | 312 TFLOPS* | 624 TOPS | 1248 TOPS | |
| L4 | 120 TFLOPS† | 242 TFLOPS*, † | 485 TOPS† | 485 TFLOPS† | ||
| T4 | 65 TFLOPS | 130 TOPS | 260 TOPS | |||
| V100 | 125 TFLOPS | |||||
| P4 | ||||||
| P100 |
*Für das Mixed Precision Training unterstützen NVIDIA H100, A100 und L4-GPUs auch den Datentyp bfloat16.
†Für H100- und L4-GPUs wird strukturelle dünne Besetzung unterstützt, mit der Sie den Leistungswert verdoppeln können. Die angezeigten Werte sind sparsam. Die Spezifikationen liegen um eine Hälfte ohne dünne Besetzung.
Nächste Schritte
- Weitere Informationen zu GPUs in Compute Engine finden Sie unter GPUs.
- Verfügbarkeit von GPU-Regionen und -Zonen prüfen
- Weitere Informationen finden Sie unter Netzwerkbandbreiten und GPUs.
- GPU-Preisübersicht