Google Compute Engine stellt Grafikprozessoren (GPUs) zur Verfügung, die Sie Ihren VM-Instanzen hinzufügen können. Sie können diese GPUs nutzen, um bestimmte Arbeitsauslastungen wie maschinelles Lernen und Datenverarbeitung auf Ihren Instanzen zu beschleunigen.
Wenn Sie grafikintensive Arbeitslasten haben, z. B. 3D-Visualisierung, 3D-Rendering oder virtuelle Anwendungen, können Sie virtuelle Workstations erstellen, die die NVIDIA® GRID®-Technologie verwenden. Informationen zu GPUs für grafikintensive Anwendungen finden Sie unter GPUs für Grafikarbeitslasten.
Informationen zum Hinzufügen von GPUs zu Ihren Instanzen finden Sie unter GPUs zu Instanzen hinzufügen.
Einführung
NVIDIA® Tesla®-GPUs werden für Ihre Instanzen von Compute Engine im Passthrough-Modus bereitgestellt, sodass Ihre VM-Instanzen die GPUs und ihren verknüpften Arbeitsspeicher direkt steuern können.
Für Compute-Arbeitslasten stehen GPU-Modelle in folgenden Phasen zur Verfügung:
- NVIDIA® Tesla® P4:
nvidia-tesla-p4: allgemein verfügbar - NVIDIA® Tesla® V100:
nvidia-tesla-v100: allgemein verfügbar - NVIDIA® Tesla® P100:
nvidia-tesla-p100: allgemein verfügbar - NVIDIA® Tesla® K80:
nvidia-tesla-K80: allgemein verfügbar - NVIDIA® Tesla® T4:
nvidia-tesla-t4: Beta
Für Grafikarbeitslasten sind GPU-Modelle in den folgenden Phasen verfügbar:
- NVIDIA® Tesla® P4 Virtual Workstations:
nvidia-tesla-p4-vws: allgemein verfügbar - NVIDIA® Tesla® P100 Virtual Workstations:
nvidia-tesla-p100-vws: allgemein verfügbar - NVIDIA® Tesla® T4 Virtual Workstations:
nvidia-tesla-t4-vws: Beta
Informationen zu GPUs für virtuelle Workstations finden Sie unter GPUs für Grafikarbeitslasten.
Sie können GPUs nur an Instanzen mit vordefinierten oder benutzerdefinierten Maschinentypen anhängen. GPUs werden auf Maschinentypen mit gemeinsam genutztem Kern oder speicheroptimierten Maschinentypen nicht unterstützt.
Für Instanzen mit einer geringeren Anzahl von GPUs ist eine Höchstanzahl von vCPUs vorgegeben. Im Allgemeinen können Sie mit einer höheren Anzahl von GPUs Instanzen mit einer höheren Anzahl von vCPUs und mehr Arbeitsspeicher erstellen.
GPUs für Compute-Arbeitslasten
| GPU-Modell | GPUs | GPU-Speicher | Verfügbare vCPUs | Verfügbarer Speicher | Verfügbare Zonen |
|---|---|---|---|---|---|
| NVIDIA® Tesla® T4 | 1 GPU | 16 GB GDDR5 | 1–24 vCPUs | 1–156 GB |
|
| 2 GPUs | 32 GB GDDR6 | 1–48 vCPUs | 1–312 GB | ||
| 4 GPUs | 64 GB GDDR6 | 1–96 vCPUs | 1–624 GB | ||
| NVIDIA® Tesla® P4 | 1 GPU | 8 GB GDDR5 | 1–24 vCPUs | 1–156 GB |
|
| 2 GPUs | 16 GB GDDR5 | 1–48 vCPUs | 1–312 GB | ||
| 4 GPUs | 32 GB GDDR5 | 1–96 vCPUs | 1–624 GB | ||
| NVIDIA® Tesla® V100 | 1 GPU | 16 GB HBM2 | 1–12 vCPUs | 1–78 GB |
|
| 2 GPUs | 32 GB HBM2 | 1–24 vCPUs | 1–156 GB | ||
| 4 GPUs | 64 GB HBM2 | 1–48 vCPUs | 1–312 GB | ||
| 8 GPUs | 128 GB HBM2 | 1–96 vCPUs | 1–624 GB | ||
| NVIDIA® Tesla® P100 | 1 GPU | 16 GB HBM2 | 1–16 vCPUs | 1–104 GB |
|
| 2 GPUs | 32 GB HBM2 | 1–32 vCPUs | 1–208 GB | ||
| 4 GPUs | 64 GB HBM2 | 1–64 vCPUs 1–96 vCPUs |
1–208 GB 1–624 GB |
||
| NVIDIA® Tesla® K80 | 1 GPU | 12 GB GDDR5 | 1–8 vCPUs | 1–52 GB |
|
| 2 GPUs | 24 GB GDDR5 | 1–16 vCPUs | 1–104 GB | ||
| 4 GPUs | 48 GB GDDR5 | 1–32 vCPUs | 1–208 GB | ||
| 8 GPUs | 96 GB GDDR5 | 1–64 vCPUs | 1–416 GB 1–208 GB |
- Eine detailliertere Beschreibung der Zonen finden Sie unter Regionen und Zonen.
- NVIDIA® K80®-Karten beinhalten jeweils zwei GPUs. Die Preise für K80-GPUs richten sich nach der einzelnen GPU, nicht nach der Karte.
Für GPU-Geräte gelten ebenso wie für vCPUs Rabatte für kontinuierliche Nutzung. Auf der Seite Compute Engine-Preise finden Sie die Preise für die Nutzung von GPUs pro Stunde und pro Monat.
Bei Arbeitslasten mit mehreren GPUs werden bei den V100-GPUs für die Kommunikation zwischen GPUs Hochgeschwindigkeits-NVLink™-Verbindungen angeboten.
Wenn Sie auf Ihrer Instanz den folgenden Befehl ausführen, erhalten Sie Informationen darüber, wie die GPUs untereinander und mit den CPUs verbunden sind:
nvidia-smi topo -m
Weitere Informationen über NVLink und dessen Vorteile finden Sie im NVIDIA-Entwickler-Blog.
NVIDIA® GRID®-GPUs für Grafikarbeitslasten
Wenn Sie grafikintensive Arbeitslasten haben, z. B. 3D-Visualisierung, können Sie virtuelle Workstations erstellen, die die NVIDIA GRID®-Plattform verwenden.
Weitere Informationen zu GRID finden Sie in der GRID-Übersicht.
Wenn Sie eine GPU für eine virtuelle Workstation auswählen, wird Ihrer Instanz eine NVIDIA GRID-Lizenz hinzugefügt. Zur Unterstützung der GPUs auf Ihren virtuellen Workstations muss ein GPU-Treiber installiert sein.
Nachdem Sie Ihre virtuelle Workstation erstellt haben, können Sie über ein Remote-Desktop-Protokoll wie Teradici® PCoIP oder VMWare® Horizon View eine Verbindung zu ihr herstellen.
| GPU-Modell | GPUs | GPU-Speicher | Verfügbare vCPUs | Verfügbarer Speicher | Verfügbare Zonen |
|---|---|---|---|---|---|
| NVIDIA® Tesla® T4 Virtual Workstation | 1 GPU | 16 GB GDDR5 | 1–24 vCPUs | 1–156 GB |
|
| 2 GPUs | 32 GB GDDR6 | 1–48 vCPUs | 1–312 GB | ||
| 4 GPUs | 64 GB GDDR6 | 1–96 vCPUs | 1–624 GB | ||
| NVIDIA® Tesla® P4 Virtual Workstation | 1 GPU | 8 GB GDDR5 | 1–16 vCPUs | 1–192 GB |
|
| 2 GPUs | 16 GB GDDR5 | 1–48 vCPUs | 1–312 GB | ||
| 4 GPUs | 32 GB GDDR5 | 1–96 vCPUs | 1–624 GB | ||
| NVIDIA® Tesla® P100 Virtual Workstation | 1 GPU | 16 GB HBM2 | 1–16 vCPUs | 1–104 GB |
|
| 2 GPUs | 32 GB HBM2 | 1–32 vCPUs | 1–208 GB | ||
| 4 GPUs | 64 GB HBM2 | 1–64 vCPUs 1–96 vCPUs |
1–208 GB 1–624 GB |
GPUs auf präemptiven Instanzen
Sie können VM-Instanzen auf Abruf GPUs hinzufügen – zu niedrigeren, nutzungsbasierten Preisen für die GPUs. Zu präemptiven Instanzen hinzugefügte GPUs funktionieren wie normale GPUs, bleiben jedoch nur für die Lebensdauer der Instanz bestehen. Für präemptive Instanzen mit GPUs gilt derselbe Präemptionsprozess wie für alle präemptiven Instanzen.
Beim Hinzufügen einer GPU zu einer präemptiven Instanz nutzen Sie Ihr reguläres GPU-Kontingent. Wenn Sie ein separates Kontingent für präemptive GPUs benötigen, fordern Sie ein separates Kontingent für präemptive GPUs an.
Bei Wartungsereignissen werden präemptive Instanzen mit GPUs standardmäßig beendet und können nicht automatisch neu gestartet werden. Wenn Sie die Instanzen neu erstellen möchten, nachdem sie beendet wurden, verwenden Sie eine verwaltete Instanzgruppe. Verwaltete Instanzgruppen erstellen Ihre Instanzen neu, sofern die vCPU-, Speicher- und GPU-Ressourcen verfügbar sind.
Wenn Sie eine Warnung erhalten möchten, bevor die Instanzen beendet werden, oder wenn Sie die Instanz so konfigurieren möchten, dass sie nach einer Wartung automatisch neu gestartet wird, verwenden Sie eine nicht auf Abruf verfügbare Instanz mit einer GPU. Bei nicht auf Abruf verfügbaren Instanzen mit GPUs wird von Google eine Stunde im Voraus eine Warnung ausgegeben.
Compute Engine berechnet Ihnen keine GPUs, wenn ihre Instanzen in der ersten Minute nach dem Start der Ausführung wieder beendet werden.
Eine Anleitung zum automatischen Neustart einer nicht auf Abruf verfügbaren Instanz finden Sie unter Aktualisierungsoptionen für eine Instanz.
Informationen zum Erstellen von präemptiven Instanzen mit verknüpften GPUs finden Sie unter Instanz mit einer GPU erstellen.
Beschränkungen
Instanzen mit GPUs unterliegen bestimmten Beschränkungen. Daher verhalten sie sich anders als andere Instanztypen.
Wenn Sie Tesla K80-GPUs mit Ihren Instanzen verwenden möchten, können mit den Instanzen keine Intel Skylake- oder neueren CPU-Plattformen verwendet werden.
GPU-Instanzen müssen zur Hostwartung beendet werden, können aber automatisch neu gestartet werden. Diese Wartungen werden normalerweise einmal pro Woche durchgeführt, können bei Bedarf aber auch häufiger auftreten. Sie müssen Ihre Arbeitslasten für den Umgang mit diesen Wartungssituationen konfigurieren. Insbesondere gilt dies für Arbeitslasten mit langer Ausführungszeit, wie zum Beispiel maschinelles Lernen und Hochleistungs-Computing. Diese müssen mit Unterbrechungen aufgrund einer Hostwartung umgehen können. Hier erfahren Sie, wie Instanzen mit GPUs mit Hostwartungen umgehen sollten.
Zum Schutz der Systeme und Nutzer von Compute Engine haben neue Projekte ein globales GPU-Kontingent, das die Gesamtzahl der GPUs begrenzt, die Sie in einer unterstützten Zone erstellen können. Wenn Sie ein GPU-Kontingent anfordern, müssen Sie ein Kontingent für die GPU-Modelle, die Sie in den einzelnen Regionen erstellen möchten, sowie ein zusätzliches globales Kontingent für die Gesamtzahl der GPUs aller Typen in allen Zonen anfordern.
Für Instanzen mit einer oder mehreren GPUs gilt eine maximale Anzahl von vCPUs für jede einzelne GPU, die Sie in die Instanz einfügen. So kann beispielsweise jeder Maschinentyp einer Instanz pro NVIDIA® Tesla® K80-GPU bis zu acht vCPUs und maximal 52 GB Arbeitsspeicher haben. Die verfügbaren vCPU- und Speicherbereiche für verschiedene GPU-Konfigurationen können Sie der GPU-Liste entnehmen.
Sie können Instanzen mit Maschinentypen mit gemeinsam genutztem Kern keine GPUs hinzufügen.
GPUs benötigen Gerätetreiber, um ordnungsgemäß zu funktionieren. GPUs von NVIDIA, die auf Google Compute Engine ausgeführt werden, müssen diese Treiberversionen verwenden:
Linux-Instanzen:
- NVIDIA-Treiber 410.79 oder höher
Windows Server-Instanzen:
- NVIDIA-Treiber 411.98 oder höher
Instanzen, denen ein bestimmtes GPU-Modell hinzugefügt wurde, werden nur dann vom Google Compute Engine-SLA abgedeckt, wenn das hinzugefügte GPU-Modell in der Region, in der sich die Instanz befindet, in mehr als einer Zone verfügbar ist. Spezifische GPU-Modelle in den folgenden Zonen werden nicht vom Google Compute Engine-SLA abgedeckt:
- NVIDIA® Tesla® P100:
us-west1-beurope-west4-a
- NVIDIA® Tesla® K80:
us-west1-bus-central1-c
- NVIDIA® Tesla® P100:
Instanzen mit NVIDIA® Tesla® P100-GPUs in
europe-west1-dkönnen keine lokalen SSD-Geräte verwenden.Compute Engine unterstützt die Ausführung von 1 gleichzeitigen Nutzer pro GPU.
Weitere Informationen
- Instanzen mit GPUs erstellen
- GPU-Preise finden Sie auf der Seite Preise für Compute Engine
- Beachten Sie die Anleitung TensorFlow-Inferenzarbeitslasten mit TensorRT5 und NVIDIA T4-GPU ausführen.
