GPUs

Wenn Sie bestimmte Arbeitslasten in der Compute Engine beschleunigen möchten, können Sie entweder eine beschleunigungsoptimierte VM mit angehängten GPUs bereitstellen oder GPUs an eine N1-VM für allgemeine Zwecke anhängen.

In diesem Dokument werden die Features und Einschränkungen von GPUs beschrieben, die in Compute Engine ausgeführt werden.

GPUs und Maschinenserien

GPUs werden für die N1-Maschinenserie für allgemeine Zwecke und für die beschleunigungsoptimierten Maschinenserien (A3, A2 und G2) unterstützt. Bei VMs, die N1-Maschinentypen verwenden, hängen Sie die GPU während oder nach der VM-Erstellung an die VM an. Bei VMs, die A2- oder G2-Maschinentypen verwenden, werden die GPUs beim Erstellen der VM automatisch angehängt. GPUs können nicht mit anderen Maschinenserien verwendet werden.

Beschleunigungsoptimierte Maschinenserie

Jedem beschleunigungsoptimierten Maschinentyp ist ein bestimmtes NVIDIA-GPU-Modell angehängt.

Weitere Informationen finden Sie unter Beschleunigungsoptimierte Maschinenserie.

N1-Maschinenserie für allgemeine Zwecke

Für alle anderen GPU-Typen können die meisten N1-Maschinentypen, mit Ausnahme des gemeinsam genutzten N1-Kerns (f1-micro und g1-small), verwendet werden.

Für diese Maschinenserie können Sie entweder vordefinierte oder benutzerdefinierte Maschinentypen verwenden.

GPUs auf Spot-VMs

Sie können Ihren Spot-VMs GPUs zu niedrigeren Spot-Preisen für die GPUs hinzufügen. An Spot-VMs angehängte GPUs funktionieren wie normale GPUs, bleiben jedoch nur für die Lebensdauer der VM bestehen. Für Spot-VMs mit GPUs gilt derselbe Prozess für vorzeitiges Beenden wie für alle Spot-VMs.

Fordern Sie ein dediziertes Preemptible GPU-Kontingent für GPUs auf Spot-VMs an. Weitere Informationen finden Sie unter Kontingente für Spot-VMs.

Bei Wartungsereignissen werden Spot-VMs mit GPUs standardmäßig vorzeitig beendet und können nicht automatisch neu gestartet werden. Wenn Sie die Instanzen neu erstellen möchten, nachdem sie beendet wurden, verwenden Sie eine verwaltete Instanzgruppe. Verwaltete Instanzgruppen erstellen Ihre VM-Instanzen neu, sofern die vCPU-, Speicher- und GPU-Ressourcen verfügbar sind.

Wenn Sie eine Warnung erhalten möchten, dass die VMs vorzeitig beendet werden, oder wenn Sie die VMs so konfigurieren möchten, dass sie nach einer Wartung automatisch neu gestartet werden, verwenden Sie Standard-VMs mit einer GPU. Für Standard-VMs mit GPUs bietet Compute Engine vor dem vorzeitigen Beenden eine Stunde im Voraus eine Warnung.

Compute Engine berechnet Ihnen keine GPUs, wenn ihre Instanzen in der ersten Minute nach dem Start der Ausführung wieder beendet werden.

Informationen zum Erstellen von Spot-VMs mit angehängten GPUs finden Sie unter VM mit angehängten GPUs erstellen und Spot-VMs erstellen.

GPUs auf VMs mit vordefinierten Laufzeiten

Für Ressourcen von VMs, die das Standardbereitstellungsmodell verwenden (Standard-VMs), können in der Regel keine Kontingente für die Zuweisung auf Abruf verwendet werden. Diese sind für temporäre Arbeitslasten vorgesehen und in der Regel verfügbarer. Wenn Ihr Projekt kein Kontingent auf Abruf hat und Sie kein Kontingent auf Abruf angefordert haben, verbrauchen alle VMs in diesem Projekt Standardzuweisungskontingente.

Sobald Sie jedoch ein Kontingent auf Abruf anfordern, können Standard-VMs, die alle folgenden Kriterien erfüllen, nur das Kontingent auf Abruf nutzen.

Wenn Sie ein Zuteilungskontingent auf Abruf für solche Arbeitslasten verwenden, profitieren Sie sowohl von der unterbrechungsfreien Laufzeit von Standard-VMs als auch von der verbesserten Verfügbarkeit durch ein Zuteilungskontingent auf Abruf.

Unabhängig vom verwendeten Kontingent kommen Standard-VMs nicht für Spot-VMs infrage, die nicht vorzeitig beendet werden.

Weitere Informationen finden Sie unter Kontingente auf Abruf.

GPUs und Confidential VMs

Sie können keine Confidential VM-Instanzen an GPUs anhängen. Weitere Informationen zu Confidential VMs finden Sie unter Confidential VM – Übersicht.

GPUs und Blockspeicher

Wenn Sie eine VM auf einer GPU-Plattform erstellen, können Sie der VM nichtflüchtigen oder temporären Blockspeicher hinzufügen. Verwenden Sie zum Speichern nicht sitzungsspezifischer Daten nichtflüchtigen Blockspeicher wie Hyperdisk ML oder Persistent Disk, da die Laufwerke unabhängig vom Lebenszyklus der VM sind. Daten auf nichtflüchtigem Speicher können auch nach dem Löschen der VM beibehalten werden.

Verwenden Sie für temporären Scratch-Speicher oder Caches temporären Blockspeicher, indem Sie beim Erstellen der VM lokale SSD-Laufwerke hinzufügen.

Nichtflüchtiger Blockspeicher mit Persistent Disk- und Hyperdisk-Volumes

Sie können Persistent Disk- und Hyperdisk-ML-Volumes mit GPU-fähigen VMs anhängen.

Für das ML-Training und Bereitstellen von Arbeitslasten empfiehlt Google die Verwendung von Hyperdisk ML-Volumes, die einen hohen Durchsatz und kürzere Datenladezeiten bieten. Dies macht Hyperdisk ML zu einer kostengünstigeren Option für ML-Arbeitslasten, da die GPU-Inaktivitätszeiten kürzer sind.

Hyperdisk-ML-Volumes unterstützen das Mehrfachanhängen im Lesemodus. Sie können also dasselbe Laufwerk an mehrere VMs anhängen und jeder VM Zugriff auf dieselben Daten gewähren.

Weitere Informationen zu den unterstützten Laufwerkstypen für Maschinenserien, die GPUs unterstützen, finden Sie auf den Seiten zu den Maschinenserien N1 und Beschleunigungsoptimiert.

Lokale SSDs

Lokale SSDs bieten schnellen, temporären Speicher für Caching, Datenverarbeitung oder andere sitzungsspezifische Daten. Lokale SSDs sind schnelle Speicher, da sie physisch mit dem Server verbunden sind, auf dem Ihre VM gehostet wird. Sie sind temporär, da die Daten verloren gehen, wenn die VM neu gestartet wird.

Sie sollten keine Daten mit hohen Anforderungen an die Persistenz auf lokalen SSDs speichern. Verwenden Sie stattdessen nichtflüchtigen Speicher, um nichtflüchtige Daten zu speichern.

Wenn Sie eine VM mit einer GPU manuell beenden, können Sie die Daten auf der lokalen SSD unter bestimmten Einschränkungen beibehalten. Weitere Informationen finden Sie in der Dokumentation zu lokalen SSDs.

Informationen zur regionalen Unterstützung lokaler SSDs mit GPU-Typen finden Sie unter Lokale SSD-Verfügbarkeit nach GPU-Regionen und -Zonen.

GPUs und Hostwartung

VMs mit angehängten GPUs werden immer beendet, wenn die Compute Engine Wartungsereignisse auf den VMs durchführt. Wenn an die VM lokale SSDs angehängt sind, gehen die Daten auf der lokalen SSD nach dem Beenden der VM verloren.

Weitere Informationen zum Umgang mit Wartungsereignissen finden Sie unter GPU-Hostwartungen

GPU-Preise

Die meisten VMs mit einer angehängten GPU erhalten ähnliche Rabatte für kontinuierliche Nutzung wie vCPUs. Wenn Sie eine GPU für eine virtuelle Workstation auswählen, wird Ihrer VM eine NVIDIA RTX-Lizenz für virtuelle Workstation hinzugefügt.

Informationen zu stündlichen und monatlichen Preisen für GPUs finden Sie auf der Seite „GPU-Preise”.

GPUs mit Rabatten für zugesicherte Nutzung reservieren

Informationen zum Reservieren von GPU-Ressourcen in einer bestimmten Zone finden Sie unter Zonale Compute Engine-Ressourcen reservieren

Wenn Sie Rabatte für zugesicherte Nutzung für GPUs in einer bestimmten Zone erhalten möchten, müssen Sie ressourcenbasierte Zusicherungen für die GPUs erwerben und auch Reservierungen an Ihre Zusicherungen anhängen, die übereinstimmende GPUs angeben. Weitere Informationen finden Sie unter Reservierungen an ressourcenbasierte Zusicherungen anhängen.

GPU-Einschränkungen und Beschränkungen

Für VMs mit angehängten GPUs gelten die folgenden Beschränkungen und Einschränkungen:

  • GPUs werden nur mit dem N1-Maschinentyp für allgemeine Zwecke und mit beschleunigungsoptimierten A3-, A2- und G2-Maschinentypen unterstützt.

  • Zum Schutz der Systeme und Nutzer von Compute Engine haben neue Projekte ein globales GPU-Kontingent, das die Gesamtzahl der GPUs begrenzt, die Sie in einer unterstützten Zone erstellen können. Wenn Sie ein GPU-Kontingent anfordern, müssen Sie ein Kontingent für die GPU-Modelle, die Sie in den einzelnen Regionen erstellen möchten, sowie ein zusätzliches globales Kontingent für die Gesamtzahl der GPUs aller Typen in allen Zonen anfordern.

  • Für VMs mit einer oder mehreren GPUs gilt eine maximale Anzahl an vCPUs für jede einzelne GPU, die Sie der VM hinzufügen. Die verfügbaren vCPU- und Speicherbereiche für verschiedene GPU-Konfigurationen können Sie der GPU-Liste entnehmen.

  • GPUs benötigen Gerätetreiber, um ordnungsgemäß zu funktionieren. NVIDIA-GPUs, die auf Compute Engine ausgeführt werden, müssen eine Mindesttreiberversion verwenden. Weitere Informationen zu Treiberversionen finden Sie unter Erforderliche NVIDIA-Treiberversionen.

  • VMs mit einem bestimmten angehängten GPU-Modell unterliegen nur dann dem Compute Engine-SLA, wenn dieses hinzugefügte GPU-Modell allgemein verfügbar ist und in mehreren Zonen in derselben Region unterstützt wird. Das Compute Engine-SLA deckt keine GPU-Modelle in den folgenden Zonen ab:

    • NVIDIA H100 80 GB
      • asia-south1-c
      • australia-southeast1-c
      • europe-west2-b
      • europe-west1-b
      • europe-west2-b
      • europe-west3-a
      • europe-west4-b
      • europe-west8-c
      • europe-west9-c
      • europe-west12-b
      • us-east5-a
      • us-west4-a
    • NVIDIA L4:
      • asia-northeast1-b
      • northamerica-northeast2-a
    • NVIDIA A100 80 GB:
      • asia-southeast1-c
      • us-east4-c
      • us-east5-b
    • NVIDIA A100 40 GB:
      • us-east1-b
      • us-west1-b
      • us-west3-b
      • us-west4-b
    • NVIDIA T4:
      • europe-west3-b
      • southamerica-east1-c
      • us-west3-b
    • NVIDIA V100:
      • asia-east1-c
      • us-east1-c
    • NVIDIA P100:
      • australia-southeast1-c
      • europe-west4-a

  • Compute Engine unterstützt die Ausführung von 1 gleichzeitigen Nutzer pro GPU.

Nächste Schritte