GPU-Plattformen

Compute Engine bietet GPUs (Graphical Processing Units), die Sie Ihren VM-Instanzen hinzufügen können. Sie können diese GPUs nutzen, um bestimmte Arbeitslasten wie maschinelles Lernen und Datenverarbeitung auf Ihren VMs zu beschleunigen.

NVIDIA-GPUs werden für Ihre VMs von Compute Engine im Passthrough-Modus bereitgestellt, sodass Ihre VMs direkte Kontrolle über die GPUs und den zugehörigen Arbeitsspeicher haben.

Wenn Sie grafikintensive Arbeitslasten haben, z. B. 3D-Visualisierung, 3D-Rendering oder virtuelle Anwendungen, können Sie virtuelle NVIDIA RTX-Workstations verwenden (früher als NVIDIA GRID bezeichnet).

Dieses Dokument bietet eine Übersicht über die verschiedenen GPU-Modelle, die in Compute Engine verfügbar sind.

Hinweis: Informationen zu den verfügbaren Regionen und Zonen für GPUs in Compute Engine finden Sie unter Verfügbarkeit von GPU-Regionen und -Zonen.

NVIDIA-GPUs für Computing-Arbeitslasten

Für Compute-Arbeitslasten stehen GPU-Modelle in folgenden Phasen zur Verfügung:

  • NVIDIA A100: allgemein verfügbar
  • NVIDIA T4: nvidia-tesla-t4: Allgemein verfügbar
  • NVIDIA V100: nvidia-tesla-v100: Allgemein verfügbar
  • NVIDIA P100: nvidia-tesla-p100: Allgemein verfügbar
  • NVIDIA P4: nvidia-tesla-p4: Allgemein verfügbar
  • NVIDIA K80: nvidia-tesla-k80: Allgemein verfügbar

NVIDIA A100-GPUs

Um NVIDIA A100-GPUs auszuführen, müssen Sie den Maschinentyp Beschleunigungsoptimiert (A2) verwenden.

Jeder A2-Maschinentyp hat eine feste GPU-Anzahl, eine Anzahl von vCPUs und eine vorgegebene Speichergröße.

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher
NVIDIA A100 a2-highgpu-1g 1 GPU 40 GB HBM2 12 vCPUs 85 GB
a2-highgpu-2g 2 GPUs 80 GB HBM2 24 vCPUs 170 GB
a2-highgpu-4g 4 GPUs 160 GB HBM2 48 vCPUs 340 GB
a2-highgpu-8g 8 GPUs 320 GB HBM2 96 vCPUs 680 GB
a2-megagpu-16g 16 GPUs 640 GB HBM2 96 vCPUs 1360 GB

NVIDIA T4-GPUs

Für VMs mit einer geringeren Anzahl von GPUs ist eine Höchstanzahl von vCPUs vorgegeben. Im Allgemeinen ermöglicht es Ihnen eine höhere Anzahl von GPUs, Instanzen mit einer größeren Anzahl von vCPUs und mehr Arbeitsspeicher zu erstellen.

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher
NVIDIA T4 N1-Maschinenserie mit Ausnahme von N1 mit gemeinsam genutztem Kern 1 GPU 16 GB GDDR6 1–48 vCPUs 1–312 GB
2 GPUs 32 GB GDDR6 1–48 vCPUs 1–312 GB
4 GPUs 64 GB GDDR6 1–96 vCPUs 1–624 GB

NVIDIA P4-GPUs

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher
NVIDIA P4 N1-Maschinenserie mit Ausnahme von N1 mit gemeinsam genutztem Kern 1 GPU 8 GB GDDR5 1–24 vCPUs 1–156 GB
2 GPUs 16 GB GDDR5 1–48 vCPUs 1–312 GB
4 GPUs 32 GB GDDR5 1–96 vCPUs 1–624 GB

NVIDIA V100-GPUs

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher
NVIDIA V100 N1-Maschinenserie mit Ausnahme von N1 mit gemeinsam genutztem Kern 1 GPU 16 GB HBM2 1–12 vCPUs 1–78 GB
2 GPUs 32 GB HBM2 1–24 vCPUs 1–156 GB
4 GPUs 64 GB HBM2 1–48 vCPUs 1–312 GB
8 GPUs 128 GB HBM2 1–96 vCPUs 1–624 GB

NVIDIA P100-GPUs

Bei einigen P100-GPUs hängen die maximale CPU-Anzahl und der maximale Arbeitsspeicher, die für einige Konfigurationen verfügbar sind, von der Zone ab, in der die GPU-Ressource ausgeführt wird.

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher
NVIDIA P100 N1-Maschinenserie mit Ausnahme von N1 mit gemeinsam genutztem Kern 1 GPU 16 GB HBM2 1–16 vCPUs 1–104 GB
2 GPUs 32 GB HBM2 1–32 vCPUs 1–208 GB
4 GPUs 64 GB HBM2

1–64 vCPUs
(us-east1-c, europe-west1-d, europe-west1-b)

1–96 vCPUs
(alle P100-Zonen)

1–208 GB
(us-east1-c, europe-west1-d, europe-west1-b)

1–624 GB
(alle P100-Zonen)

NVIDIA K80-GPUs

NVIDIA K80-Karten beinhalten jeweils zwei GPUs. Die Preise für K80-GPUs richten sich nach der einzelnen GPU, nicht nach der Karte.

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher
NVIDIA K80 N1-Maschinenserie mit Ausnahme von N1 mit gemeinsam genutztem Kern 1 GPU 12 GB GDDR5 1–8 vCPUs 1–52 GB
2 GPUs 24 GB GDDR5 1–16 vCPUs 1–104 GB
4 GPUs 48 GB GDDR5 1–32 vCPUs 1–208 GB
8 GPUs 96 GB GDDR5 1–64 vCPUs

1–416 GB
(asia-east1-a und us-east1-d)

1–208 GB
(alle K80-Zonen)

Virtuelle NVIDIA RTX-Workstations für Grafikarbeitslasten

Wenn Sie grafikintensive Arbeitslasten haben, z. B. 3D-Visualisierung, können Sie virtuelle Workstations erstellen, die NVIDIA RTX Virtual Workstations (früher NVIDIA GRID) verwenden. Wenn Sie eine virtuelle Workstation erstellen, wird Ihrer VM automatisch eine NVIDIA RTX-Workstation-Lizenz hinzugefügt. Informationen zu Preisen für virtuelle Workstations finden Sie auf der Seite „GPU-Preise”.

Für Grafikarbeitslasten sind virtuelle RTX-Workstation-Modelle von NVIDIA in den folgenden Phasen verfügbar:

  • Virtuelle Workstations NVIDIA T4: nvidia-tesla-t4-vws: allgemein verfügbar
  • Virtuelle Workstations NVIDIA P100: nvidia-tesla-p100-vws: allgemein verfügbar
  • Virtuelle Workstations NVIDIA P4: nvidia-tesla-p4-vws: allgemein verfügbar

NVIDIA T4 VWS-GPUs

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher
NVIDIA T4 Virtual Workstation N1-Maschinenserie mit Ausnahme von N1 mit gemeinsam genutztem Kern 1 GPU 16 GB GDDR6 1–48 vCPUs 1–312 GB
2 GPUs 32 GB GDDR6 1–48 vCPUs 1–312 GB
4 GPUs 64 GB GDDR6 1–96 vCPUs 1–624 GB

NVIDIA P4 VWS-GPUs

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher
NVIDIA P4 Virtual Workstation N1-Maschinenserie mit Ausnahme von N1 mit gemeinsam genutztem Kern 1 GPU 8 GB GDDR5 1–16 vCPUs 1–156 GB
2 GPUs 16 GB GDDR5 1–48 vCPUs 1–312 GB
4 GPUs 32 GB GDDR5 1–96 vCPUs 1–624 GB

NVIDIA P100 VWS-GPUs

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher
NVIDIA P100 Virtual Workstation N1-Maschinenserie mit Ausnahme von N1 mit gemeinsam genutztem Kern 1 GPU 16 GB HBM2 1–16 vCPUs 1–104 GB
2 GPUs 32 GB HBM2 1–32 vCPUs 1–208 GB
4 GPUs 64 GB HBM2

1–64 vCPUs
(us-east1-c, europe-west1-d, europe-west1-b)

1–96 vCPUs
(alle P100-Zonen)

1–208 GB
(us-east1-c, europe-west1-d, europe-west1-b)

1–624 GB
(alle P100-Zonen)

Allgemeine Vergleichstabelle

In der folgenden Tabelle werden die GPU-Arbeitsspeichergröße, die Feature-Verfügbarkeit und die idealen Arbeitslasttypen verschiedener GPU-Modelle beschrieben, die in Compute Engine verfügbar sind.

Messwert A100 T4 V100 P4 P100 K80
Speicher 40 GB HBM2 @ 1,6 TB/s 16 GB GDDR6 @ 320 GB/s 16 GB HBM2 @ 900 GB/s 8 GB GDDR5 @ 192 GB/s 16 GB HBM2 @ 732 GB/s 12 GB GDDR5 @ 240 GB/s
Interconnect NVLink Full Mesh @ 600 GB/s NVLink Ring @ 300 GB/s
Unterstützung für virtuelle NVIDIA RTX-Workstations
Geeignete Anwendungsfälle ML-Training, Inferenz, HPC ML-Inferenz, Training, Remote-Workstations zur Visualisierung, Videotranscodierung ML-Training, Inferenz, HPC Remote-Workstations zur Visualisierung, ML-Inferenz und Videotranscodierung ML-Training, Inferenz, HPC, Remote-Workstations zur Visualisierung ML-Inferenz, Training, HPC
Preise Informationen zum Vergleichen der GPU-Preise für die verschiedenen GPU-Modelle und -Regionen, die in Compute Engine verfügbar sind, finden Sie unter GPU-Preise.

Leistungsvergleichsdiagramm

In der folgenden Tabelle werden die Leistungsspezifikationen der verschiedenen GPU-Modelle beschrieben, die in Compute Engine verfügbar sind.

Messwert A100 T4 V100 P4 P100 K80
Rechenleistung
FP64 9,7 TFLOPS 0,25 TFLOPS1 7,8 TFLOPS 0,2 TFLOPS1 4,7 TFLOPS 1,46 TFLOPS
FP32 19,5 TFLOPS 8,1 TFLOPS 15,7 TFLOPS 5,5 TFLOPS 9,3 TFLOPS 4,37 TFLOPS
FP16 18,7 TFLOPS
INT8 22 TOPS2
Tensor-Kernleistung
FP64 19,5 TFLOPS
TF32 156 TFLOPS
Mixed Precision FP16/FP32 312 TFLOPS3 65 TFLOPS 125 TFLOPS
INT8 624 TOPS2 180 TOPS2
INT4 1248 TOPS2 260 TOPS2

1Damit der FP64-Code ordnungsgemäß funktioniert, ist in der T4- und P4-GPU-Architektur eine geringe Anzahl von FP64-Hardwareeinheiten enthalten.

3TeraOperations pro Sekunde.

3 Für das Mixed Precision Training unterstützt NVIDIA A100 auch den Datentyp bfloat16.

Nächste Schritte