GPUMaschinentypen

Sie können GPUs in Compute Engine verwenden, um bestimmte Arbeitslasten (z. B. maschinelles Lernen und Datenverarbeitung) auf Ihren VMs zu beschleunigen. Wenn Sie GPUs verwenden möchten, können Sie entweder eine beschleunigungsoptimierte VM mit angehängten GPUs bereitstellen oder GPUs an eine N1-VM für allgemeine Zwecke anhängen.

GPUs werden für Ihre VMs von Compute Engine im Passthrough-Modus bereitgestellt, sodass Ihre VMs direkte Kontrolle über die GPUs und den zugehörigen Arbeitsspeicher haben.

Weitere Informationen zu GPUs in Compute Engine finden Sie unter GPUs.

Wenn Sie grafikintensive Arbeitslasten haben, z. B. 3D-Visualisierung, 3D-Rendering oder virtuelle Anwendungen, können Sie virtuelle NVIDIA RTX-Workstations verwenden (früher als NVIDIA GRID bezeichnet).

Dieses Dokument bietet eine Übersicht über die verschiedenen GPU-VMs, die in Compute Engine verfügbar sind.

Hinweis: Informationen zu den verfügbaren Regionen und Zonen für GPUs in Compute Engine finden Sie unter Verfügbarkeit von GPU-Regionen und -Zonen.

GPUs für Computing-Arbeitslasten

Für Computing-Arbeitslasten werden GPUs für die folgenden Maschinentypen unterstützt:

  • A4-VMs: An diese VMs werden automatisch NVIDIA B200-GPUs angehängt.
  • A3-VMs: An diese VMs werden automatisch NVIDIA H100-GPUs mit 80 GB oder NVIDIA H200-GPUs mit 141 GB angehängt.
  • A2-VMs: Diese VMs haben automatisch NVIDIA A100-GPUs mit 80 GB oder NVIDIA A100 40 GB mit 40 GB angehängt.
  • G2-VMs: An diese VMs werden automatisch NVIDIA L4-GPUs angehängt.
  • N1-VMs: Für diese VMs können Sie die folgenden GPU-Modelle anhängen: NVIDIA T4, NVIDIA V100, NVIDIA P100 oder NVIDIA P4.

A4-Maschinenserie

Wenn Sie NVIDIA B200-GPUs verwenden möchten, müssen Sie einen beschleunigungsoptimierten A4-Maschinentyp verwenden. Jeder A4-Maschinentyp hat eine feste GPU-Anzahl, eine feste Zahl an vCPUs und eine vorgegebene Speichergröße.

Maschinentyp GPU-Anzahl GPU-Speicher*
(GB HBM3e)		 vCPU-Anzahl† VM-Arbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s)‡
a4-highgpu-8g 8 1.440 224 3.968 12.000 10 3.600

* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Siehe Netzwerkbandbreite.

A3-Maschinenserie

Wenn Sie NVIDIA H100-GPUs mit 80 GB oder NVIDIA H200-GPUs mit 141 GB verwenden möchten, müssen Sie einen beschleunigungsoptimierten A3-Maschinentyp verwenden. Jeder A3-Maschinentyp hat eine feste GPU-Anzahl, eine feste Zahl an vCPUs und eine vorgegebene Speichergröße.

A3 Ultra-Maschinentyp

Wenn Sie NVIDIA H200-GPUs mit 141 GB verwenden möchten, müssen Sie den Maschinentyp „A3 Ultra“ verwenden. Dieser Maschinentyp hat H200-GPUs mit 141 GB (nvidia-h200-141gb) und bietet die höchste Netzwerkleistung. Sie eignen sich ideal für das Trainieren und Bereitstellen von Basismodellen.

Maschinentyp GPU-Anzahl GPU-Speicher*
(GB HBM3e)		 vCPU-Anzahl† VM-Arbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s)‡
a3-ultragpu-8g 8 1128 224 2.952 12.000 10 3.600

* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Siehe Netzwerkbandbreite.

A3 Mega-, High- und Edge-Maschinentypen

Für die Verwendung von NVIDIA H100 80 GB haben Sie folgende Möglichkeiten:

  • A3 Mega: Diese Maschinentypen haben H100-GPUs mit 80 GB (nvidia-h100-mega-80gb) und eignen sich ideal für groß angelegte Trainings- und Bereitstellungslasten.
  • A3 High: Diese Maschinentypen haben H100-GPUs mit 80 GB (nvidia-h100-80gb) und eignen sich sowohl für Trainings- als auch für Bereitstellungsaufgaben.
  • A3 Edge: Diese Maschinentypen haben H100-GPUs mit 80 GB (nvidia-h100-80gb), sind speziell für die Bereitstellung konzipiert und in begrenzten Regionen verfügbar.

A3 Mega

Maschinentyp GPU-Anzahl GPU-Arbeitsspeicher*
(GB HBM3)		 vCPU-Anzahl† VM-Arbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s)‡
a3-megagpu-8g 8 640 208 1.872 6.000 9 1.800

A3 High

Maschinentyp GPU-Anzahl GPU-Arbeitsspeicher*
(GB HBM3)		 vCPU-Anzahl† VM-Arbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s)‡
a3-highgpu-1g 1 80 26 234 750 1 25
a3-highgpu-2g 2 160 52 468 1.500 1 50
a3-highgpu-4g 4 320 104 936 3.000 1 100
a3-highgpu-8g 8 640 208 1.872 6.000 5 1.000

A3 Edge

Maschinentyp GPU-Anzahl GPU-Arbeitsspeicher*
(GB HBM3)		 vCPU-Anzahl† VM-Arbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s)‡
a3-edgegpu-8g 8 640 208 1.872 6.000 5
  • 800: für asia-south1 und northamerica-northeast2
  • 400: für alle anderen A3 Edge-Regionen

* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Siehe Netzwerkbandbreite.

A2-Maschinenserie

Wenn Sie NVIDIA A100-GPUs aufGoogle Cloudverwenden möchten, müssen Sie einen beschleunigungsoptimierten A2-Maschinentyp verwenden. Jeder A2-Maschinentyp hat eine feste GPU-Anzahl, eine Anzahl von vCPUs und eine vorgegebene Speichergröße.

A2-Maschinenserien sind in zwei Typen verfügbar:

  • A2 Ultra: Bei diesen Maschinentypen sind A100-GPUs (nvidia-a100-80gb) mit 80 GB und eine lokale SSD angehängt.
  • A2 Standard: An diese Maschinentypen sind A100-GPUs (nvidia-tesla-a100) mit 40 GB angehängt.

A2-Ultra

Maschinentyp GPU-Anzahl GPU-Arbeitsspeicher*
(GB HBM3)		 vCPU-Anzahl† VM-Arbeitsspeicher (GB) Verbundene lokale SSD (GiB) Maximale Netzwerkbandbreite (Gbit/s)‡
a2-ultragpu-1g 1 80 12 170 375 24
a2-ultragpu-2g 2 160 24 340 750 32
a2-ultragpu-4g 4 320 48 680 1.500 50
a2-ultragpu-8g 8 640 96 1.360 3.000 100

A2-Standard

Maschinentyp GPU-Anzahl GPU-Arbeitsspeicher*
(GB HBM3)		 vCPU-Anzahl† VM-Arbeitsspeicher (GB) Verbundene lokale SSD (GiB) Maximale Netzwerkbandbreite (Gbit/s)‡
a2-highgpu-1g 1 40 12 85 Ja 24
a2-highgpu-2g 2 80 24 170 Ja 32
a2-highgpu-4g 4 160 48 340 Ja 50
a2-highgpu-8g 8 320 96 680 Ja 100
a2-megagpu-16g 16 640 96 1.360 Ja 100

* GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

G2-Maschinenserie

Wenn Sie NVIDIA L4-GPUs (nvidia-l4 oder nvidia-l4-vws) verwenden möchten, müssen Sie einen beschleunigungsoptimierten G2-Maschinentyp verwenden.

Jeder G2-Maschinentyp hat eine feste Anzahl von NVIDIA L4-GPUs und vCPUs. Jeder G2-Maschinentyp hat auch einen Standardarbeitsspeicher und einen benutzerdefinierten Arbeitsspeicherbereich. Der benutzerdefinierte Arbeitsspeicherbereich definiert die Größe des Arbeitsspeichers, den Sie Ihrer VM für jeden Maschinentyp zuweisen können. Sie können Ihren benutzerdefinierten Arbeitsspeicher während der VM-Erstellung angeben.

Maschinentyp GPU-Anzahl GPU-Speicher* (GB GDDR6) vCPU-Anzahl† Standard-VM-Arbeitsspeicher (GB) Benutzerdefinierter VM-Arbeitsspeicherbereich (GB) Maximal unterstützte lokale SSD (GiB) Maximale Netzwerkbandbreite (Gbit/s)‡
g2-standard-4 1 24 4 16 16 bis 32 375 10
g2-standard-8 1 24 8 32 32 bis 54 375 16
g2-standard-12 1 24 12 48 48 bis 54 375 16
g2-standard-16 1 24 16 64 54 bis 64 375 32
g2-standard-24 2 48 24 96 96 bis 108 750 32
g2-standard-32 1 24 32 128 96 bis 128 375 32
g2-standard-48 4 96 48 192 192 bis 216 1.500 50
g2-standard-96 8 192 96 384 384 bis 432 3.000 100

* GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

N1-Maschinenserie

Sie können die folgenden GPU-Modelle an N1-Maschinentypen anhängen, mit Ausnahme des Maschinentyps N1 mit gemeinsam genutztem Kern.

Für N1 VMs mit einer geringeren Anzahl von GPUs ist eine Höchstanzahl an vCPUs vorgegeben. Im Allgemeinen ermöglicht es Ihnen eine höhere Anzahl an GPUs, VM-Instanzen mit mehr vCPUs und mehr Arbeitsspeicher zu erstellen.

N1+T4-GPUs

Sie können NVIDIA T4-GPUs mit den folgenden VM-Konfigurationen an N1-VMs für allgemeine Zwecke anhängen.

Beschleunigertyp GPU-Anzahl GPU-Speicher* (GB GDDR6) vCPU Anzahl VM-Arbeitsspeicher (GB) Unterstützung lokaler SSDs
nvidia-tesla-t4 oder
nvidia-tesla-t4-vws 		1 16 1 bis 48 1 bis 312 Ja
2 32 1 bis 48 1 bis 312 Ja
4 64 1 bis 96 1 bis 624 Ja

* GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

N1+P4-GPUs

Sie können NVIDIA P4-GPUs mit den folgenden VM-Konfigurationen an N1-VMs für allgemeine Zwecke anhängen.

Beschleunigertyp GPU-Anzahl GPU-Speicher* (GB GDDR5) vCPU Anzahl VM-Arbeitsspeicher (GB) Unterstützung lokaler SSDs†
nvidia-tesla-p4 oder
nvidia-tesla-p4-vws 		1 8 1 bis 24 1 bis 156 Ja
2 16 1 bis 48 1 bis 312 Ja
4 32 1 bis 96 1 bis 624 Ja

*GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

†Für VMs mit angehängten NVIDIA P4-GPUs werden lokale SSD-Laufwerke nur in den Zonen us-central1-c und northamerica-northeast1-b unterstützt.

N1+V100-GPUs

Sie können NVIDIA V100-GPUs mit den folgenden VM-Konfigurationen an N1-VMs für allgemeine Zwecke anhängen.

Beschleunigertyp GPU-Anzahl GPU-Speicher* (GB HBM2) vCPU Anzahl VM-Arbeitsspeicher (GB) Unterstützung lokaler SSDs†
nvidia-tesla-v100 1 16 1 bis 12 1 bis 78 Ja
2 32 1 bis 24 1 bis 156 Ja
4 64 1 bis 48 1 bis 312 Ja
8 128 1 bis 96 1 bis 624 Ja

* GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
†Für VMs mit angehängten NVIDIA V100-GPUs werden lokale SSD-Laufwerke in us-east1-c nicht unterstützt.

N1+P100-GPUs

Sie können NVIDIA P100-GPUs mit den folgenden VM-Konfigurationen an N1-VMs für allgemeine Zwecke anhängen.

Bei einigen NVIDIA P100-GPUs hängen die maximale CPU-Anzahl und der maximale Arbeitsspeicher, die für einige Konfigurationen verfügbar sind, von der Zone ab, in der die GPU-Ressource ausgeführt wird.

Beschleunigertyp GPU-Anzahl GPU-Speicher* (GB HBM2) vCPU Anzahl VM-Arbeitsspeicher (GB) Unterstützung lokaler SSDs
nvidia-tesla-p100 oder
nvidia-tesla-p100-vws 		1 16 1 bis 16 1 bis 104 Ja
2 32 1 bis 32 1 bis 208 Ja
4 64

1 bis 64 
(us-east1-c, europe-west1-d, europe-west1-b)

1 bis 96
(alle P100-Zonen)

1 bis 208 
(us-east1-c, europe-west1-d, europe-west1-b)

1 bis 624
(alle P100-Zonen)

 Ja

* GPU-Arbeitsspeicher ist der Speicher, der auf einem GPU-Gerät verfügbar ist und zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.

Virtuelle NVIDIA RTX-Workstations (vWS) für Grafikarbeitslasten

Wenn Sie grafikintensive Arbeitslasten haben, z. B. 3D-Visualisierung, können Sie virtuelle Workstations erstellen, die NVIDIA RTX Virtual Workstations (vWS) (ehemals NVIDIA GRID) verwenden. Wenn Sie eine virtuelle Workstation erstellen, wird Ihrer VM automatisch eine Lizenz für NVIDIA RTX Virtual Workstation (vWS) hinzugefügt.

Informationen zu Preisen für virtuelle Workstations finden Sie auf der Seite „GPU-Preise”.

Für Grafikarbeitslasten sind virtuelle RTX-Workstation-Modelle (vWS) von NVIDIA verfügbar:

  • G2-Maschinenserie: Bei G2-Maschinentypen können Sie NVIDIA L4 Virtual Workstations (vWS) aktivieren: nvidia-l4-vws

  • N1-Maschinenserie: Bei N1-Maschinentypen können Sie die folgenden virtuellen Workstations aktivieren:

    • Virtuelle Workstations NVIDIA T4: nvidia-tesla-t4-vws
    • Virtuelle Workstations NVIDIA P100: nvidia-tesla-p100-vws
    • Virtuelle NVIDIA P4-Workstations: nvidia-tesla-p4-vws

Allgemeine Vergleichstabelle

In der folgenden Tabelle werden die GPU-Arbeitsspeichergröße, die Feature-Verfügbarkeit und die idealen Arbeitslasttypen verschiedener GPU-Modelle beschrieben, die in Compute Engine verfügbar sind.

GPU-Modell GPU-Speicher Interconnect Unterstützung für NVIDIA RTX Virtual Workstation (vWS) Geeignete Anwendungsfälle
B200 180 GB HBM3e @ 8 Tbit/s NVLink Full Mesh @ 1.800 GB/s Umfangreiches verteiltes Training und Inferenz von LLMs, Empfehlungssystemen und HPC
H200 141 GB 141 GB HBM3e bei 4,8 Tbit/s NVLink Full Mesh @ 900 GB/s Große Modelle mit riesigen Datentabellen für ML-Training, Inferenz, HPC, BERT und DLRM
H100 80GB 80 GB HBM3 @ 3,35 TB/s NVLink Full Mesh @ 900 GB/s Große Modelle mit riesigen Datentabellen für ML-Training, Inferenz, HPC, BERT und DLRM
A100 80GB 80 GB HBM2e @ 1,9 Tbit/s NVLink Full Mesh @ 600 GBps Große Modelle mit riesigen Datentabellen für ML-Training, Inferenz, HPC, BERT und DLRM
A100 40GB 40 GB HBM2 bei 1,6 Tbit/s NVLink Full Mesh @ 600 GBps ML-Training, Inferenz, HPC
L4 24 GB GDDR6 bei 300 GB/s – ML-Inferenz, Training, Remote-Workstations zur Visualisierung, Videotranscodierung, HPC
T4 16 GB GDDR6 bei 320 GB/s – ML-Inferenz, Training, Remote-Workstations zur Visualisierung, Videotranscodierung
V100 16 GB HBM2 bei 900 GB/s NVLink Ring @ 300 GB/s ML-Training, Inferenz, HPC
P4 8 GB GDDR5 bei 192 GB/s – Remote-Workstations zur Visualisierung, ML-Inferenz und Videotranscodierung
P100 16 GB HBM2 bei 732 GB/s – ML-Training, Inferenz, HPC, Remote-Workstations zur Visualisierung

Informationen zum Vergleichen der GPU-Preise für die verschiedenen GPU-Modelle und -Regionen, die in Compute Engine verfügbar sind, finden Sie unter GPU-Preise.

Leistungsvergleichsdiagramm

In der folgenden Tabelle werden die Leistungsspezifikationen der verschiedenen GPU-Modelle beschrieben, die in Compute Engine verfügbar sind.

Rechenleistung

GPU-Modell FP64 FP32 FP16 INT8
B200 40 TFLOPS 80 TFLOPS
H200 141 GB 34 TFLOPS 67 TFLOPS
H100 80GB 34 TFLOPS 67 TFLOPS
A100 80GB 9,7 TFLOPS 19,5 TFLOPS
A100 40GB 9,7 TFLOPS 19,5 TFLOPS
L4 0,5 TFLOPS* 30,3 TFLOPS
T4 0,25 TFLOPS* 8,1 TFLOPS
V100 7,8 TFLOPS 15,7 TFLOPS
P4 0,2 TFLOPS* 5,5 TFLOPS 22 TOPS†
P100 4,7 TFLOPS 9,3 TFLOPS 18,7 TFLOPS

* Damit der FP64-Code ordnungsgemäß funktioniert, ist in der T4-, L4- und P4-GPU-Architektur eine geringe Anzahl von FP64-Hardwareeinheiten enthalten.
† TeraOperations pro Sekunde.

Tensor-Kernleistung

GPU-Modell FP64 TF32 Mixed Precision FP16/FP32 INT8 INT4 FP8
B200 40 TFLOPS 2.200 TFLOPS† 4.500 TFLOPS*, † 9.000 TFLOPS† 9.000 TFLOPS†
H200 141 GB 67 TFLOPS 989 TFLOPS† 1.979 TFLOPS*, † 3.958 TOPS† 3,958 TFLOPS†
H100 80GB 67 TFLOPS 989 TFLOPS† 1.979 TFLOPS*, † 3.958 TOPS† 3,958 TFLOPS†
A100 80GB 19,5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 TOPS 1248 TOPS
A100 40GB 19,5 TFLOPS 156 TFLOPS 312 TFLOPS* 624 TOPS 1248 TOPS
L4 120 TFLOPS† 242 TFLOPS*, † 485 TOPS† 485 TFLOPS†
T4 65 TFLOPS 130 TOPS 260 TOPS
V100 125 TFLOPS
P4
P100

*Für das Mixed Precision Training unterstützen NVIDIA B200, H200, H100, A100 und L4-GPUs auch den Datentyp bfloat16.
†Für NVIDIA B200-, H200-, H100- und L4-GPUs wird strukturelle dünne Besetzung unterstützt, mit der Sie den Leistungswert verdoppeln können. Die angezeigten Werte sind sparsam. Die Spezifikationen liegen um eine Hälfte ohne dünne Besetzung.

Nächste Schritte