Compute Engine bietet GPUs (Graphical Processing Units), die Sie Ihren VM-Instanzen hinzufügen können. Sie können diese GPUs nutzen, um bestimmte Arbeitslasten wie maschinelles Lernen und Datenverarbeitung auf Ihren Instanzen zu beschleunigen.
Wenn Sie grafikintensive Arbeitslasten haben, z. B. 3D-Visualisierung, 3D-Rendering oder virtuelle Anwendungen, können Sie virtuelle Workstations erstellen, die die NVIDIA® GRID®-Technologie verwenden. Informationen zu GPUs für grafikintensive Anwendungen finden Sie unter GPUs für Grafikarbeitslasten.
Dieses Dokument bietet eine Übersicht über GPUs in Compute Engine. Weitere Informationen zur Arbeit mit GPUs finden Sie in den folgenden Ressourcen:
- Informationen zum Erstellen einer VM mit angeschlossenen GPUs finden Sie unter VMs mit angehängten GPUs erstellen.
- Informationen zum Überwachen von GPUs finden Sie unter GPU-Leistung überwachen.
- GPU-Leistung optimieren
Einführung
NVIDIA®-GPUs werden für Ihre Instanzen von Compute Engine im Passthrough-Modus bereitgestellt, sodass Ihre VM-Instanzen die GPUs und ihren verknüpften Arbeitsspeicher direkt steuern können.
Für Compute-Arbeitslasten stehen GPU-Modelle in folgenden Phasen zur Verfügung:
- NVIDIA® A100: Vorschau
- NVIDIA® T4:
nvidia-tesla-t4: Allgemein verfügbar - NVIDIA® V100:
nvidia-tesla-v100: Allgemein verfügbar - NVIDIA® P100:
nvidia-tesla-p100: Allgemein verfügbar - NVIDIA® P4:
nvidia-tesla-p4: Allgemein verfügbar - NVIDIA® K80:
nvidia-tesla-k80: Allgemein verfügbar
Für Grafikarbeitslasten sind GPU-Modelle in den folgenden Phasen verfügbar:
- Virtuelle Workstations NVIDIA® T4:
nvidia-tesla-t4-vws: Allgemein verfügbar - Virtuelle Workstations NVIDIA® P100:
nvidia-tesla-p100-vws: Allgemein verfügbar - Virtuelle Workstations NVIDIA® P4:
nvidia-tesla-p4-vws: Allgemein verfügbar
Informationen zu GPUs für virtuelle Workstations finden Sie unter GPUs für Grafikarbeitslasten.
Sie können GPUs nur an Instanzen mit vordefinierten oder benutzerdefinierten Maschinentypen anhängen. GPUs werden auf Maschinentypen mit gemeinsam genutztem Kern oder speicheroptimierten Maschinentypen nicht unterstützt.
Sie können GPUs auch lokale SSDs hinzufügen. Eine Liste der lokalen SSD-Unterstützung nach GPU-Typen und -Regionen finden Sie unter Lokale SSD-Verfügbarkeit nach GPU-Regionen und -Zonen.
Preise
Für GPU-Geräte gelten ebenso wie für vCPUs Rabatte für kontinuierliche Nutzung. Informationen zu stündlichen und monatlichen Preisen für GPU-Geräte finden Sie auf der Seite GPU-Preise.
GPU-Modelle
NVIDIA® A100-GPUs
Um NVIDIA® A100-GPUs auszuführen, müssen Sie den Maschinentyp Beschleunigungsoptimiert (A2) verwenden.
Jeder A2-Maschinentyp hat eine feste GPU-Anzahl, eine Anzahl von vCPUs und eine vorgegebene Speichergröße.
| GPU-Modell | Maschinentyp | GPUs | GPU-Speicher | Verfügbare vCPUs | Verfügbarer Speicher |
|---|---|---|---|---|---|
| NVIDIA® A100 | a2-highgpu-1g |
1 GPU | 40 GB GDDR6 | 12 vCPUs | 85 GB |
a2-highgpu-2g |
2 GPUs | 80 GB GDDR6 | 24 vCPUs | 170 GB | |
a2-highgpu-4g |
4 GPUs | 160 GB GDDR6 | 48 vCPUs | 340 GB | |
a2-highgpu-8g |
8 GPUs | 320 GB GDDR6 | 96 vCPUs | 680 GB | |
a2-megagpu-16g |
16 GPUs | 640 GB GDDR6 | 96 vCPUs | 1360 GB |
Weitere verfügbare NVIDIA® GPU-Modelle
Für VMs mit einer geringeren Anzahl von GPUs ist eine Höchstanzahl von vCPUs vorgegeben. Im Allgemeinen ermöglicht es Ihnen eine höhere Anzahl von GPUs, Instanzen mit einer größeren Anzahl von vCPUs und mehr Arbeitsspeicher zu erstellen.
| GPU-Modell | GPUs | GPU-Speicher | Verfügbare vCPUs | Verfügbarer Speicher |
|---|---|---|---|---|
| NVIDIA® T4 | 1 GPU | 16 GB GDDR5 | 1–24 vCPUs | 1–156 GB |
| 2 GPUs | 32 GB GDDR6 | 1–48 vCPUs | 1–312 GB | |
| 4 GPUs | 64 GB GDDR6 | 1–96 vCPUs | 1–624 GB | |
| NVIDIA® P4 | 1 GPU | 8 GB GDDR5 | 1–24 vCPUs | 1–156 GB |
| 2 GPUs | 16 GB GDDR5 | 1–48 vCPUs | 1–312 GB | |
| 4 GPUs | 32 GB GDDR5 | 1–96 vCPUs | 1–624 GB | |
| NVIDIA® V100 | 1 GPU | 16 GB HBM2 | 1–12 vCPUs | 1–78 GB |
| 2 GPUs | 32 GB HBM2 | 1–24 vCPUs | 1–156 GB | |
| 4 GPUs | 64 GB HBM2 | 1–48 vCPUs | 1–312 GB | |
| 8 GPUs | 128 GB HBM2 | 1–96 vCPUs | 1–624 GB | |
| NVIDIA® P100 | 1 GPU | 16 GB HBM2 | 1–16 vCPUs | 1–104 GB |
| 2 GPUs | 32 GB HBM2 | 1–32 vCPUs | 1–208 GB | |
| 4 GPUs | 64 GB HBM2 | 1–64 vCPUs 1–96 vCPUs |
1–208 GB 1–624 GB |
|
| NVIDIA® K80 | 1 GPU | 12 GB GDDR5 | 1–8 vCPUs | 1–52 GB |
| 2 GPUs | 24 GB GDDR5 | 1–16 vCPUs | 1–104 GB | |
| 4 GPUs | 48 GB GDDR5 | 1–32 vCPUs | 1–208 GB | |
| 8 GPUs | 96 GB GDDR5 | 1–64 vCPUs | 1–416 GB 1–208 GB |
- Eine ausführlichere Beschreibung der Zonen finden Sie unter Regionen und Zonen.
- NVIDIA® K80®-Karten beinhalten jeweils zwei GPUs. Die Preise für K80-GPUs richten sich nach der einzelnen GPU, nicht nach der Karte.
NVIDIA® GRID®-GPUs für Grafikarbeitslasten
Wenn Sie grafikintensive Arbeitslasten haben, z. B. 3D-Visualisierung, können Sie virtuelle Workstations erstellen, die die NVIDIA® GRID®-Plattform verwenden. Weitere Informationen zu NVIDIA® GRID® finden Sie in der GRID-Übersicht.
Wenn Sie eine GPU für eine virtuelle Workstation auswählen, wird Ihrer VM eine NVIDIA® GRID®-Lizenz hinzugefügt. Weitere Informationen zu Preisen finden Sie auf der Seite GPU-Preise.
Zum Einrichten einer virtuellen NVIDIA® GRID®-Workstation müssen Sie eine VM mit aktivierter Virtual Workstation erstellen und einen GRID-Treiber installieren.
Nachdem Sie Ihre virtuelle Workstation erstellt haben, können Sie über ein Remote-Desktop-Protokoll wie Teradici® PCoIP oder VMware® Horizon View eine Verbindung zu ihr herstellen.
| GPU-Modell | GPUs | GPU-Speicher | Verfügbare vCPUs | Verfügbarer Speicher |
|---|---|---|---|---|
| NVIDIA® T4 Virtual Workstation | 1 GPU | 16 GB GDDR5 | 1–24 vCPUs | 1–156 GB |
| 2 GPUs | 32 GB GDDR6 | 1–48 vCPUs | 1–312 GB | |
| 4 GPUs | 64 GB GDDR6 | 1–96 vCPUs | 1–624 GB | |
| NVIDIA® P4 Virtual Workstation | 1 GPU | 8 GB GDDR5 | 1–16 vCPUs | 1–156 GB |
| 2 GPUs | 16 GB GDDR5 | 1–48 vCPUs | 1–312 GB | |
| 4 GPUs | 32 GB GDDR5 | 1–96 vCPUs | 1–624 GB | |
| NVIDIA® P100 Virtual Workstation | 1 GPU | 16 GB HBM2 | 1–16 vCPUs | 1–104 GB |
| 2 GPUs | 32 GB HBM2 | 1–32 vCPUs | 1–208 GB | |
| 4 GPUs | 64 GB HBM2 | 1–64 vCPUs 1–96 vCPUs |
1–208 GB 1–624 GB |
Netzwerkbandbreiten und GPUs
Die Verwendung höherer Netzwerkbandbreiten können die Leistung verteilter Arbeitslasten verbessern. Weitere Informationen finden Sie unter Netzwerkbandbreiten und GPUs.
GPUs auf präemptiven Instanzen
Sie können für VM-Instanzen auf Abruf GPUs hinzufügen und dabei von niedrigeren Preisen für GPUs auf Abruf profitieren. Zu präemptiven Instanzen hinzugefügte GPUs funktionieren wie normale GPUs, bleiben jedoch nur für die Lebensdauer der Instanz bestehen. Für Instanzen auf Abruf mit GPUs gilt derselbe Prozess für vorzeitiges Beenden wie für alle Instanzen auf Abruf.
Bei Wartungsereignissen werden präemptive Instanzen mit GPUs standardmäßig beendet und können nicht automatisch neu gestartet werden. Wenn Sie die Instanzen neu erstellen möchten, nachdem sie beendet wurden, verwenden Sie eine verwaltete Instanzgruppe. Verwaltete Instanzgruppen erstellen Ihre Instanzen neu, sofern die vCPU-, Speicher- und GPU-Ressourcen verfügbar sind.
Wenn Sie eine Warnung erhalten möchten, bevor die Instanzen beendet werden, oder wenn Sie die Instanz so konfigurieren möchten, dass sie nach einer Wartung automatisch neu gestartet wird, verwenden Sie eine nicht auf Abruf verfügbare Instanz mit einer GPU. Bei nicht auf Abruf verfügbaren Instanzen mit GPUs wird von Google eine Stunde im Voraus eine Warnung ausgegeben.
Compute Engine berechnet Ihnen keine GPUs, wenn ihre Instanzen in der ersten Minute nach dem Start der Ausführung wieder beendet werden.
Eine Anleitung zum automatischen Neustart einer nicht präemptiven Instanz finden Sie unter Aktualisierungsoptionen für eine Instanz.
Informationen zum Erstellen von Instanzen auf Abruf finden Sie unter VMs mit angehängten GPUs erstellen.
GPUs mit Rabatten für zugesicherte Nutzung reservieren
Informationen zum Reservieren von GPU-Ressourcen in einer bestimmten Zone finden Sie unter Zonenressourcen reservieren. Reservierungen sind erforderlich, um Preise mit Rabatten für zugesicherte Nutzung zu erhalten.
GPU-Vergleichsdiagramm
In diesem Abschnitt erfahren Sie mehr über Faktoren wie Leistungsspezifikationen, Verfügbarkeit von Features und ideale Arbeitslasttypen, die für die verschiedenen in Compute Engine verfügbaren GPU-Modelle am besten geeignet sind.
Die maximale CPU- und Speicherkapazität, die für ein GPU-Modell verfügbar ist, hängt von der Zone ab, in der die GPU-Ressource ausgeführt wird. Weitere Informationen zu Arbeitsspeicher, CPU-Ressourcen sowie verfügbaren Regionen und Zonen finden Sie in der GPU-Liste.
Allgemeiner Vergleich
| Messwert | A100 | T4 | V100 | P4 | P100 | K80 |
|---|---|---|---|---|---|---|
| Speicher | 40 GB HBM2 @ 1,6 TB/s | 16 GB GDDR6 @ 320 GB/s | 16 GB HBM2 @ 900 GB/s | 8 GB GDDR5 @ 192 GB/s | 16 GB HBM2 @ 732 GB/s | 12 GB GDDR5 @ 240 GB/s |
| Interconnect | NVLink Full Mesh @ 600 GB/s | – | NVLink Ring @ 300 GB/s | – | – | – |
| GRid-Unterstützung für Remote-Workstation | ||||||
| Geeignete Anwendungsfälle | ML-Training, Inferenz, HPC | ML-Inferenz, Training, Remote-Workstations zur Visualisierung, Videotranscodierung | ML-Training, Inferenz, HPC | Remote-Workstations zur Visualisierung, ML-Inferenz und Videotranscodierung | ML-Training, Inferenz, HPC, Remote-Workstations zur Visualisierung | ML-Inferenz, Training, HPC |
| Preise | Informationen zum Vergleichen der GPU-Preise für die verschiedenen GPU-Modelle und -Regionen, die in Compute Engine verfügbar sind, finden Sie unter GPU-Preise. | |||||
Leistungsvergleich
| Messwert | A100 | T4 | V100 | P4 | P100 | K80 |
|---|---|---|---|---|---|---|
| Rechenleistung | ||||||
| FP64 | 9,7 TFLOPS | 0,25 TFLOPS1 | 7,8 TFLOPS | 0,2 TFLOPS1 | 4,7 TFLOPS | 1,46 TFLOPS |
| FP32 | 19,5 TFLOPS | 8,1 TFLOPS | 15,7 TFLOPS | 5,5 TFLOPS | 9,3 TFLOPS | 4,37 TFLOPS |
| FP16 | 18,7 TFLOPS | |||||
| INT8 | 22 TOPS2 | |||||
| Tensor-Kernleistung | ||||||
| FP64 | 19,5 TFLOPS | |||||
| TF32 | 156 TFLOPS | |||||
| Mixed Precision FP16/FP32 | 312 TFLOPS3 | 65 TFLOPS | 125 TFLOPS | |||
| INT8 | 624 TOPS2 | 180 TOPS2 | ||||
| INT4 | 1248 TOPS2 | 260 TOPS2 | ||||
1Damit der FP64-Code ordnungsgemäß funktioniert, ist in der T4- und P4-GPU-Architektur eine geringe Anzahl von FP64-Hardwareeinheiten enthalten.
3TeraOperations pro Sekunde.
3 Für das Mixed Precision Training unterstützt NVIDIA A100 auch den Datentyp bfloat16.
Beschränkungen
Für VMs mit angehängten GPUs gelten die folgenden Einschränkungen:
Für die NVIDIA® A100-Vorschau werden Windows-Betriebssysteme nicht unterstützt.
Wenn Sie NVIDIA® K80-GPUs mit Ihren VMs verwenden möchten, können die VMs die Intel Skylake- oder späteren CPU-Plattformen nicht verwenden.
GPUs werden derzeit nur mit N1-Maschinentypen für allgemeine Zwecke oder beschleunigungsoptimierte A2-Maschinentypen unterstützt.
Sie können VMs mit Maschinentypen mit gemeinsam genutztem Kern keine GPUs hinzufügen.
VMs mit angeschlossenen GPUs müssen zur Hostwartung beendet werden, können aber automatisch neu gestartet werden. Hostwartungen werden in Compute Engine einmal alle zwei Wochen, möglicherweise aber auch öfter ausgeführt. Sie müssen Ihre Arbeitslasten für den Umgang mit diesen Wartungsereignissen konfigurieren. Insbesondere gilt dies für Arbeitslasten mit langer Ausführungszeit, wie zum Beispiel maschinelles Lernen und Hochleistungs-Computing. Diese müssen mit Unterbrechungen aufgrund einer Hostwartung umgehen können. Weitere Informationen finden Sie unter GPU-Hostwartungen.
Zum Schutz der Systeme und Nutzer von Compute Engine haben neue Projekte ein globales GPU-Kontingent, das die Gesamtzahl der GPUs begrenzt, die Sie in einer unterstützten Zone erstellen können. Wenn Sie ein GPU-Kontingent anfordern, müssen Sie ein Kontingent für die GPU-Modelle, die Sie in den einzelnen Regionen erstellen möchten, sowie ein zusätzliches globales Kontingent für die Gesamtzahl der GPUs aller Typen in allen Zonen anfordern.
Für VMs mit einer oder mehreren GPUs gilt eine maximale Anzahl an vCPUs für jede einzelne GPU, die Sie der Instanz hinzufügen. So kann beispielsweise jeder Maschinentyp einer Instanz pro NVIDIA® K80-GPU bis zu acht vCPUs und maximal 52 GB Arbeitsspeicher haben. Die verfügbaren vCPU- und Speicherbereiche für verschiedene GPU-Konfigurationen können Sie der GPU-Liste entnehmen.
GPUs benötigen Gerätetreiber, um ordnungsgemäß zu funktionieren. NVIDIA-GPUs, die auf Compute Engine ausgeführt werden, müssen eine Mindesttreiberversion verwenden. Weitere Informationen zu Treiberversionen finden Sie unter Erforderliche NVIDIA-Treiberversionen.
VMs mit einem bestimmten angehängten GPU-Modell unterliegen nur dann dem Compute Engine-SLA, wenn dieses hinzugefügte GPU-Modell allgemein verfügbar ist und in mehr als einer Zone in derselben Region unterstützt wird. Das Compute Engine-SLA deckt keine GPU-Modelle in den folgenden Zonen ab:
- NVIDIA® T4:
australia-southeast1-aeurope-west3-bsouthamerica-east1-c
- NVIDIA® V100:
asia-east1-cus-east1-c
- NVIDIA® P100:
australia-southeast1-ceurope-west4-a
- NVIDIA® K80:
us-west1-b
- NVIDIA® T4:
Compute Engine unterstützt die Ausführung von 1 gleichzeitigen Nutzer pro GPU.
Nächste Schritte
- VMs mit angehängten GPUs erstellen
- Verfügbarkeit von GPU-Regionen und -Zonen prüfen
- GPU-Preisübersicht
- Google Cloud-Preisrechner
- Beachten Sie die Anleitung TensorFlow-Inferenzarbeitslasten mit TensorRT5 und NVIDIA T4-GPU ausführen