Netzwerkbandbreiten und GPUs

Höhere Netzwerkbandbreiten können die Leistung Ihrer verteilten Arbeitslasten verbessern, die auf Compute Engine-VM-Instanzen ausgeführt werden.

Übersicht

Für VMs mit angehängten GPUs in Compute Engine ist folgende maximale Netzwerkbandbreite verfügbar:

  • Für beschleunigungsoptimierte A3-VMs können Sie eine maximale Netzwerkbandbreite von bis zu 3.600 Gbit/s erhalten.
  • Bei beschleunigungsoptimierten A2- und G2-VMs können Sie je nach Maschinentyp eine maximale Netzwerkbandbreite von bis zu 100 Gbit/s erhalten.
  • Für N1-VMs für allgemeine Zwecke, an die P100- und P4-GPUs angeschlossen sind, steht eine maximale Netzwerkbandbreite von 32 Gbit/s zur Verfügung. Dies entspricht der maximalen Rate, die für N1-VMs verfügbar ist, denen keine GPUs zugeordnet sind. Weitere Informationen zu Netzwerkbandbreiten finden Sie unter maximale Rate ausgehender Daten.
  • Bei N1-VMs für allgemeine Zwecke, an die T4- und V100-GPUs angeschlossen sind, können Sie basierend auf der Kombination aus GPU und Anzahl der vCPUs eine maximale Netzwerkbandbreite von bis zu 100 Gbit/s erhalten.

A3-VMs

An beschleunigungsoptimierte A3-Maschinentypen sind entweder NVIDIA H100-GPUs mit 80 GB oder NVIDIA H200-GPUs mit 141 GB angehängt. Jeder A3-Maschinentyp hat eine feste GPU-Anzahl, eine feste Zahl an vCPUs und eine vorgegebene Speichergröße.

A3 Ultra-Maschinentyp

An diesen Maschinentyp sind H200-GPUs angeschlossen und er bietet die höchste Netzwerkleistung in der A3-Serie.

Dieser Maschinentyp bietet eine Netzwerkschnittstellenkarte (NIC), die acht NVIDIA ConnectX-7 (CX7)-NICs und zwei Google Virtual NICs (gVNICs) umfasst. Die acht CX7-NICs bieten eine Gesamtnetzwerkbandbreite von 3.200 Gbit/s und eignen sich daher ideal für die GPU-zu-GPU-Kommunikation mit hoher Bandbreite. Jede CX7-NIC ist mit einer NVIDIA H200-GPU mit 141 GB ausgerichtet, um den nicht einheitlichen Arbeitsspeicherzugriff (NUMA) zu optimieren. Die beiden gVNICs bieten eine zusätzliche Netzwerkbandbreite von 400 Gbit/s für andere Netzwerkanforderungen.

Mit dem Befehl lspci -vvt auf Ihren Linux-VMs können Sie detaillierte Informationen zu den PCI-Bussen (Peripheral Component Interconnect) und Geräten abrufen, die mit den A3-Maschinentypen verbunden sind.

Weitere Informationen zum Einrichten der Netzwerke für A3 Ultra-VMs finden Sie in der Dokumentation zu KI-Hypercomputern unter VPC-Netzwerke erstellen.

Maschinentyp GPU-Anzahl GPU-Speicher*
(GB HBM3e)		 vCPU-Anzahl† VM-Arbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s)‡
a3-ultragpu-8g 8 1128 224 2.952 12.000 10 3.600

* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Siehe Netzwerkbandbreite.

A3 Mega-, High- und Edge-Maschinentypen

An diese Maschinentypen sind H100-GPUs mit 80 GB angehängt. Jeder dieser Maschinentypen hat eine feste GPU-Anzahl, eine feste Anzahl von vCPUs und eine vorgegebene Speichergröße.

  • A3-VMs mit einer einzelnen NIC: Für A3-VMs mit 1 bis 4 angehängten GPUs ist nur eine einzige physische Netzwerkschnittstellenkarte (NIC) verfügbar.
  • A3-VMs mit mehreren NICs: Für A3-VMs mit 8 angehängten GPUs sind mehrere physische NICs verfügbar. Bei diesen A3-Maschinentypen sind die NICs auf einem PCIe-Bus (Peripheral Component Interconnect Express) so angeordnet:
    • Für den Maschinentyp „A3 Mega“ ist eine NIC-Anordnung von 8+1 verfügbar. Bei dieser Anordnung teilen sich 8 NICs denselben PCIe-Bus und 1 NIC befindet sich auf einem separaten PCIe-Bus.
    • Für den Maschinentyp „A3 High“ ist eine NIC-Anordnung von 4+1 verfügbar. Bei dieser Anordnung teilen sich 4 NICs denselben PCIe-Bus und eine NIC befindet sich auf einem separaten PCIe-Bus.
    • Für den Maschinentyp „A3 Edge“ ist eine NIC-Anordnung von 4+1 verfügbar. Bei dieser Anordnung teilen sich 4 NICs denselben PCIe-Bus und eine NIC befindet sich auf einem separaten PCIe-Bus. Diese fünf NICs bieten eine Gesamtnetzwerkbandbreite von 400 Gbit/s pro VM.

    NICs, die denselben PCIe-Bus verwenden, haben eine uneinheitliche Ausrichtung des Arbeitsspeicherzugriffs (NUMA) von einer NIC pro zwei NVIDIA H100-GPUs mit 80 GB. Diese NICs sind ideal für die dedizierte GPU-zu-GPU-Kommunikation mit hoher Bandbreite. Die physische NIC, die sich auf einem separaten PCIe-Bus befindet, ist ideal für andere Netzwerkanforderungen. Eine Anleitung zum Einrichten von Netzwerken für A3 High- und A3 Edge-VMs finden Sie unter MTU-Netzwerke im Jumbo Frame einrichten.

A3 Mega

Maschinentyp GPU-Anzahl GPU-Arbeitsspeicher*
(GB HBM3)		 vCPU-Anzahl† VM-Arbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s)‡
a3-megagpu-8g 8 640 208 1.872 6.000 9 1.800

A3 High

Maschinentyp GPU-Anzahl GPU-Arbeitsspeicher*
(GB HBM3)		 vCPU-Anzahl† VM-Arbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s)‡
a3-highgpu-1g 1 80 26 234 750 1 25
a3-highgpu-2g 2 160 52 468 1.500 1 50
a3-highgpu-4g 4 320 104 936 3.000 1 100
a3-highgpu-8g 8 640 208 1.872 6.000 5 1.000

A3 Edge

Maschinentyp GPU-Anzahl GPU-Arbeitsspeicher*
(GB HBM3)		 vCPU-Anzahl† VM-Arbeitsspeicher (GB) Verbundene lokale SSD (GiB) Anzahl der physischen NICs Maximale Netzwerkbandbreite (Gbit/s)‡
a3-edgegpu-8g 8 640 208 1.872 6.000 5
  • 800: für asia-south1 und northamerica-northeast2
  • 400: für alle anderen A3 Edge-Regionen

* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Siehe Netzwerkbandbreite.

A2-VMs

Jeder A2-Maschinentyp hat eine feste Anzahl von angehängten NVIDIA A100-GPUs mit 40 GB oder NVIDIA A100 80 GB. Jeder Maschinentyp hat außerdem eine feste Anzahl an vCPUs und eine feste Arbeitsspeichergröße.

A2-Maschinenserien sind in zwei Typen verfügbar:

  • A2 Ultra: Bei diesen Maschinentypen sind A100-GPUs mit 80 GB und eine lokale SSD angehängt.
  • A2 Standard: An diese Maschinentypen sind A100-GPUs mit 40 GB angehängt.

A2-Ultra

Maschinentyp GPU-Anzahl GPU-Arbeitsspeicher*
(GB HBM3)		 vCPU-Anzahl† VM-Arbeitsspeicher (GB) Verbundene lokale SSD (GiB) Maximale Netzwerkbandbreite (Gbit/s)‡
a2-ultragpu-1g 1 80 12 170 375 24
a2-ultragpu-2g 2 160 24 340 750 32
a2-ultragpu-4g 4 320 48 680 1.500 50
a2-ultragpu-8g 8 640 96 1.360 3.000 100

A2-Standard

Maschinentyp GPU-Anzahl GPU-Arbeitsspeicher*
(GB HBM3)		 vCPU-Anzahl† VM-Arbeitsspeicher (GB) Verbundene lokale SSD (GiB) Maximale Netzwerkbandbreite (Gbit/s)‡
a2-highgpu-1g 1 40 12 85 Ja 24
a2-highgpu-2g 2 80 24 170 Ja 32
a2-highgpu-4g 4 160 48 340 Ja 50
a2-highgpu-8g 8 320 96 680 Ja 100
a2-megagpu-16g 16 640 96 1.360 Ja 100

* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Siehe Netzwerkbandbreite.

G2-VM-Konfiguration

Jeder G2-Maschinentyp hat eine feste Anzahl von NVIDIA L4-GPUs und vCPUs. Jeder G2-Maschinentyp hat auch einen Standardarbeitsspeicher und einen benutzerdefinierten Arbeitsspeicherbereich. Der benutzerdefinierte Arbeitsspeicherbereich definiert die Größe des Arbeitsspeichers, den Sie Ihrer VM für jeden Maschinentyp zuweisen können. Sie können Ihren benutzerdefinierten Arbeitsspeicher während der VM-Erstellung angeben.

Um die höheren Netzwerkbandbreitenraten (50 Gbit/s oder höher) für die meisten GPU-VMs zu erhalten, wird die Verwendung von Google Virtual NIC (gVNIC) empfohlen. Weitere Informationen zum Erstellen von GPU-VMs, die gVNIC verwenden, finden Sie unter VMs mit höheren Bandbreiten erstellen.

Maschinentyp GPU-Anzahl GPU-Speicher* (GB GDDR6) vCPU-Anzahl† Standard-VM-Arbeitsspeicher (GB) Benutzerdefinierter VM-Arbeitsspeicherbereich (GB) Maximal unterstützte lokale SSD (GiB) Maximale Netzwerkbandbreite (Gbit/s)‡
g2-standard-4 1 24 4 16 16 bis 32 375 10
g2-standard-8 1 24 8 32 32 bis 54 375 16
g2-standard-12 1 24 12 48 48 bis 54 375 16
g2-standard-16 1 24 16 64 54 bis 64 375 32
g2-standard-24 2 48 24 96 96 bis 108 750 32
g2-standard-32 1 24 32 128 96 bis 128 375 32
g2-standard-48 4 96 48 192 192 bis 216 1.500 50
g2-standard-96 8 192 96 384 384 bis 432 3.000 100

* GPU-Arbeitsspeicher ist der Speicher auf einem GPU-Gerät, der zum temporären Speichern von Daten verwendet werden kann. Es ist vom Arbeitsspeicher der VM getrennt und wurde speziell für die höheren Bandbreitenanforderungen grafikintensiver Arbeitslasten entwickelt.
† Eine vCPU ist als einzelner Hardware-Hyper-Thread auf einer der verfügbaren CPU-Plattformen implementiert.
‡ Die maximale Bandbreite für ausgehenden Traffic darf die angegebene Zahl nicht überschreiten. Die tatsächliche Bandbreite für ausgehenden Traffic hängt von der Ziel-IP-Adresse und anderen Faktoren ab. Siehe Netzwerkbandbreite.

N1-GPU-VMs

Bei N1-VMs für allgemeine Zwecke, an die T4- und V100-GPUs angeschlossen sind, können Sie basierend auf der Kombination aus GPU und Anzahl der vCPUs eine maximale Netzwerkbandbreite von bis zu 100 Gbit/s erhalten. Informationen zu allen anderen N1-GPU-VMs finden Sie unter Übersicht.

Lesen Sie den folgenden Abschnitt, um die maximale Netzwerkbandbreite zu berechnen, die für Ihre T4- und V100-VMs basierend auf dem GPU-Modell, der vCPU und der GPU-Anzahl verfügbar ist.

Weniger als 5 vCPUs

Für T4- und V100-VMs mit maximal 5 vCPUs steht eine maximale Netzwerkbandbreite von 10 Gbit/s zur Verfügung.

Mehr als 5 vCPUs

Bei T4- und V100-VMs mit mehr als 5 vCPUs wird die maximale Netzwerkbandbreite anhand der Anzahl der vCPUs und GPUs für diese VM berechnet.

Um die höheren Netzwerkbandbreitenraten (50 Gbit/s oder höher) für die meisten GPU-VMs zu erhalten, wird die Verwendung von Google Virtual NIC (gVNIC) empfohlen. Weitere Informationen zum Erstellen von GPU-VMs, die gVNIC verwenden, finden Sie unter VMs mit höheren Bandbreiten erstellen.

GPU-Modell Anzahl der GPUs Berechnung der maximalen Netzwerkbandbreite
NVIDIA V100 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 32)
4 min(vcpu_count * 2, 50)
8 min(vcpu_count * 2, 100)
NVIDIA T4 1 min(vcpu_count * 2, 32)
2 min(vcpu_count * 2, 50)
4 min(vcpu_count * 2, 100)

VMs mit hoher Bandbreite erstellen

Informationen zum Erstellen von VMs mit höherer Netzwerkbandbreite finden Sie unter Höhere Netzwerkbandbreite verwenden.

Zum Testen oder Prüfen der Bandbreitengeschwindigkeit für jede Konfiguration können Sie den Benchmarking-Test verwenden. Weitere Informationen finden Sie unter Netzwerkbandbreite prüfen.

Nächste Schritte