GPU-Plattformen

Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Compute Engine bietet GPUs (Graphical Processing Units), die Sie Ihren VM-Instanzen hinzufügen können. Sie können diese GPUs nutzen, um bestimmte Arbeitslasten wie maschinelles Lernen und Datenverarbeitung auf Ihren VMs zu beschleunigen.

NVIDIA-GPUs werden für Ihre VMs von Compute Engine im Passthrough-Modus bereitgestellt, sodass Ihre VMs direkte Kontrolle über die GPUs und den zugehörigen Arbeitsspeicher haben.

Wenn Sie grafikintensive Arbeitslasten haben, z. B. 3D-Visualisierung, 3D-Rendering oder virtuelle Anwendungen, können Sie virtuelle NVIDIA RTX-Workstations verwenden (früher als NVIDIA GRID bezeichnet).

Dieses Dokument bietet eine Übersicht über die verschiedenen GPU-Modelle, die in Compute Engine verfügbar sind.

Hinweis: Informationen zu den verfügbaren Regionen und Zonen für GPUs in Compute Engine finden Sie unter Verfügbarkeit von GPU-Regionen und -Zonen.

NVIDIA-GPUs für Computing-Arbeitslasten

Für Compute-Arbeitslasten stehen GPU-Modelle in folgenden Phasen zur Verfügung:

  • NVIDIA A100
    • NVIDIA A100 40GB: allgemein verfügbar
    • NVIDIA A100 80GB: allgemein verfügbar
  • NVIDIA T4: nvidia-tesla-t4: Allgemein verfügbar
  • NVIDIA V100: nvidia-tesla-v100: Allgemein verfügbar
  • NVIDIA P100: nvidia-tesla-p100: Allgemein verfügbar
  • NVIDIA P4: nvidia-tesla-p4: Allgemein verfügbar
  • NVIDIA K80: nvidia-tesla-k80: Allgemein verfügbar

NVIDIA A100-GPUs

Um NVIDIA A100-GPUs auszuführen, müssen Sie den Maschinentyp Beschleunigungsoptimiert (A2) verwenden.

Jeder A2-Maschinentyp hat eine feste GPU-Anzahl, eine Anzahl von vCPUs und eine vorgegebene Speichergröße.

A100 40GB

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher Unterstützung lokaler SSDs
NVIDIA A100 40GB a2-highgpu-1g 1 GPU 40 GB HBM2 12 vCPUs 85 GB Ja
a2-highgpu-2g 2 GPUs 80 GB HBM2 24 vCPUs 170 GB Ja
a2-highgpu-4g 4 GPUs 160 GB HBM2 48 vCPUs 340 GB Ja
a2-highgpu-8g 8 GPUs 320 GB HBM2 96 vCPUs 680 GB Ja
a2-megagpu-16g 16 GPUs 640 GB HBM2 96 vCPUs 1360 GB Ja

A100 80GB

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher Unterstützung lokaler SSDs
NVIDIA A100 80GB a2-ultragpu-1g 1 GPU 80 GB HBM2e 12 vCPUs 170 GB Gebündelt (375 GB)
a2-ultragpu-2g 2 GPUs 160 GB HBM2e 24 vCPUs 340 GB Gebündelt (750 GB)
a2-ultragpu-4g 4 GPUs 320 GB HBM2e 48 vCPUs 680 GB Gebündelt (1,5 TB)
a2-ultragpu-8g 8 GPUs 640 GB HBM2e 96 vCPUs 1360 GB Gebündelt (3 TB)

NVIDIA T4-GPUs

Für VMs mit einer geringeren Anzahl von GPUs ist eine Höchstanzahl von vCPUs vorgegeben. Im Allgemeinen ermöglicht es Ihnen eine höhere Anzahl von GPUs, Instanzen mit einer größeren Anzahl von vCPUs und mehr Arbeitsspeicher zu erstellen.

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher Unterstützung lokaler SSDs
NVIDIA T4 N1-Maschinenserie mit Ausnahme von N1 mit gemeinsam genutztem Kern 1 GPU 16 GB GDDR6 1–48 vCPUs 1–312 GB Ja
2 GPUs 32 GB GDDR6 1–48 vCPUs 1–312 GB Ja
4 GPUs 64 GB GDDR6 1–96 vCPUs 1–624 GB Ja

NVIDIA P4-GPUs

Für P4-GPUs wird die lokale SSD nur in ausgewählten Regionen unterstützt. Siehe Verfügbarkeit lokaler SSDs nach GPU-Regionen und -Zone.

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher Unterstützung lokaler SSDs
NVIDIA P4 N1-Maschinenserie mit Ausnahme von N1 mit gemeinsam genutztem Kern 1 GPU 8 GB GDDR5 1–24 vCPUs 1–156 GB Ja
2 GPUs 16 GB GDDR5 1–48 vCPUs 1–312 GB Ja
4 GPUs 32 GB GDDR5 1–96 vCPUs 1–624 GB Ja

NVIDIA V100-GPUs

Bei V100-GPUs wird die lokale SSD nur in ausgewählten Regionen unterstützt. Weitere Informationen finden Sie unter Verfügbarkeit lokaler SSDs nach GPU-Regionen und -Zone.

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher Unterstützung lokaler SSDs
NVIDIA V100 N1-Maschinenserie mit Ausnahme von N1 mit gemeinsam genutztem Kern 1 GPU 16 GB HBM2 1–12 vCPUs 1–78 GB Ja
2 GPUs 32 GB HBM2 1–24 vCPUs 1–156 GB Ja
4 GPUs 64 GB HBM2 1–48 vCPUs 1–312 GB Ja
8 GPUs 128 GB HBM2 1–96 vCPUs 1–624 GB Ja

NVIDIA P100-GPUs

Bei einigen P100-GPUs hängen die maximale CPU-Anzahl und der maximale Arbeitsspeicher, die für einige Konfigurationen verfügbar sind, von der Zone ab, in der die GPU-Ressource ausgeführt wird.

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher Unterstützung lokaler SSDs
NVIDIA P100 N1-Maschinenserie mit Ausnahme von N1 mit gemeinsam genutztem Kern 1 GPU 16 GB HBM2 1–16 vCPUs 1–104 GB Ja
2 GPUs 32 GB HBM2 1–32 vCPUs 1–208 GB Ja
4 GPUs 64 GB HBM2

1–64 vCPUs
(us-east1-c, europe-west1-d, europe-west1-b)

1–96 vCPUs
(alle P100-Zonen)

1–208 GB
(us-east1-c, europe-west1-d, europe-west1-b)

1–624 GB
(alle P100-Zonen)

 Ja

NVIDIA K80-GPUs

NVIDIA K80-Karten beinhalten jeweils zwei GPUs. Die Preise für K80-GPUs richten sich nach der einzelnen GPU, nicht nach der Karte.

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher Unterstützung lokaler SSDs
NVIDIA K80 N1-Maschinenserie mit Ausnahme von N1 mit gemeinsam genutztem Kern 1 GPU 12 GB GDDR5 1–8 vCPUs 1–52 GB Ja
2 GPUs 24 GB GDDR5 1–16 vCPUs 1–104 GB Ja
4 GPUs 48 GB GDDR5 1–32 vCPUs 1–208 GB Ja
8 GPUs 96 GB GDDR5 1–64 vCPUs

1–416 GB
(asia-east1-a und us-east1-d)

1–208 GB
(alle K80-Zonen)

 Ja

Virtuelle NVIDIA RTX-Workstations für Grafikarbeitslasten

Wenn Sie grafikintensive Arbeitslasten haben, z. B. 3D-Visualisierung, können Sie virtuelle Workstations erstellen, die NVIDIA RTX Virtual Workstations (früher NVIDIA GRID) verwenden. Wenn Sie eine virtuelle Workstation erstellen, wird Ihrer VM automatisch eine NVIDIA RTX-Workstation-Lizenz hinzugefügt. Informationen zu Preisen für virtuelle Workstations finden Sie auf der Seite „GPU-Preise”.

Für Grafikarbeitslasten sind virtuelle RTX-Workstation-Modelle von NVIDIA in den folgenden Phasen verfügbar:

  • Virtuelle Workstations NVIDIA T4: nvidia-tesla-t4-vws: allgemein verfügbar
  • Virtuelle Workstations NVIDIA P100: nvidia-tesla-p100-vws: allgemein verfügbar
  • Virtuelle Workstations NVIDIA P4: nvidia-tesla-p4-vws: allgemein verfügbar

NVIDIA T4 VWS-GPUs

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher Unterstützung lokaler SSDs
NVIDIA T4 Virtual Workstation N1-Maschinenserie mit Ausnahme von N1 mit gemeinsam genutztem Kern 1 GPU 16 GB GDDR6 1–48 vCPUs 1–312 GB Ja
2 GPUs 32 GB GDDR6 1–48 vCPUs 1–312 GB Ja
4 GPUs 64 GB GDDR6 1–96 vCPUs 1–624 GB Ja

NVIDIA P4 VWS-GPUs

Für P4-GPUs wird die lokale SSD nur in ausgewählten Regionen unterstützt. Siehe Verfügbarkeit lokaler SSDs nach GPU-Regionen und -Zone.

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher Unterstützung lokaler SSDs
NVIDIA P4 Virtual Workstation N1-Maschinenserie mit Ausnahme von N1 mit gemeinsam genutztem Kern 1 GPU 8 GB GDDR5 1–16 vCPUs 1–156 GB Ja
2 GPUs 16 GB GDDR5 1–48 vCPUs 1–312 GB Ja
4 GPUs 32 GB GDDR5 1–96 vCPUs 1–624 GB Ja

NVIDIA P100 VWS-GPUs

GPU-Modell Maschinentyp GPUs GPU-Speicher Verfügbare vCPUs Verfügbarer Speicher Unterstützung lokaler SSDs
NVIDIA P100 Virtual Workstation N1-Maschinenserie mit Ausnahme von N1 mit gemeinsam genutztem Kern 1 GPU 16 GB HBM2 1–16 vCPUs 1–104 GB Ja
2 GPUs 32 GB HBM2 1–32 vCPUs 1–208 GB Ja
4 GPUs 64 GB HBM2

1–64 vCPUs
(us-east1-c, europe-west1-d, europe-west1-b)

1–96 vCPUs
(alle P100-Zonen)

1–208 GB
(us-east1-c, europe-west1-d, europe-west1-b)

1–624 GB
(alle P100-Zonen)

 Ja

Allgemeine Vergleichstabelle

In der folgenden Tabelle werden die GPU-Arbeitsspeichergröße, die Feature-Verfügbarkeit und die idealen Arbeitslasttypen verschiedener GPU-Modelle beschrieben, die in Compute Engine verfügbar sind.

GPU-Modell Arbeitsspeicher Interconnect Unterstützung für virtuelle NVIDIA RTX-Workstations Geeignete Anwendungsfälle
A100 80GB 80 GB HBM2e @ 1.9TB/s NVLink Full Mesh @ 600 GB/s Große Modelle mit riesigen Datentabellen für ML-Training, Inferenz, HPC, BERT und DLRM
A100 40GB 40 GB HBM2 @ 1,6 TB/s NVLink Full Mesh @ 600 GB/s ML-Training, Inferenz, HPC
T4 16 GB GDDR6 @ 320 GB/s – ML-Inferenz, Training, Remote-Workstations zur Visualisierung, Videotranscodierung
V100 16 GB HBM2 @ 900 GB/s NVLink Ring @ 300 GB/s ML-Training, Inferenz, HPC
P4 8 GB GDDR5 @ 192 GB/s – Remote-Workstations zur Visualisierung, ML-Inferenz und Videotranscodierung
P100 16 GB HBM2 @ 732 GB/s – ML-Training, Inferenz, HPC, Remote-Workstations zur Visualisierung
K80 12 GB GDDR5 @ 240 GB/s – ML-Inferenz, Training, HPC

Informationen zum Vergleichen der GPU-Preise für die verschiedenen GPU-Modelle und -Regionen, die in Compute Engine verfügbar sind, finden Sie unter GPU-Preise.

Leistungsvergleichsdiagramm

In der folgenden Tabelle werden die Leistungsspezifikationen der verschiedenen GPU-Modelle beschrieben, die in Compute Engine verfügbar sind.

Rechenleistung

GPU-Modell FP64 FP32 FP16 INT8
A100 80GB 9,7 TFLOPS 19,5 TFLOPS
A100 40GB 9,7 TFLOPS 19,5 TFLOPS
T4 0,25 TFLOPS* 8,1 TFLOPS
V100 7,8 TFLOPS 15,7 TFLOPS
P4 0,2 TFLOPS* 5,5 TFLOPS 22 TOPS†
P100 4,7 TFLOPS 9,3 TFLOPS 18,7 TFLOPS
K80 1,46 TFLOPS 4,37 TFLOPS

*Damit der FP64-Code ordnungsgemäß funktioniert, ist in der T4- und P4-GPU-Architektur eine geringe Anzahl von FP64-Hardwareeinheiten enthalten.

†TeraOperations pro Sekunde.

Tensor-Kernleistung

GPU-Modell FP64 TF32 Mixed Precision FP16/FP32 INT8 INT4
A100 80GB 19,5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 TOPS 1248 TOPS
A100 40GB 19,5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 TOPS 1248 TOPS
T4 65 TFLOPS 180 TOPS 260 TOPS
V100 125 TFLOPS
P4
P100
K80

*Für das Mixed Precision Training unterstützt NVIDIA A100 auch den Datentyp bfloat16.

Nächste Schritte