GPUs hinzufügen oder entfernen

Compute Engine bietet GPUs (Graphical Processing Units), die Sie Ihren VM-Instanzen hinzufügen können. Sie können diese GPUs nutzen, um bestimmte Arbeitslasten wie maschinelles Lernen und Datenverarbeitung auf Ihren VMs zu beschleunigen.

Sie können nur zwei Maschinenfamilien verwenden, wenn Sie GPUs in Compute Engine ausführen:

  • Die beschleunigungsoptimierte Maschinenfamilie: A3, A2 und G2.
  • Die N1-Maschinenfamilie für allgemeine Zwecke. Sie können die meisten N1-Maschinentypen, mit Ausnahme des N1-Maschinentyps mit gemeinsam genutztem Kern, verwenden. Wenn Sie keine N1-Maschine für allgemeine Zwecke verwenden, können Sie zu einer N1-Maschine für allgemeine Zwecke wechseln und dann die GPUs hinzufügen.

Hinweise

  • Weitere erforderliche Schritte wie das Auswählen eines Betriebssystem-Images und das Prüfen von GPU-Kontingenten finden Sie im Dokument Übersicht.
  • Richten Sie die Authentifizierung ein, falls Sie dies noch nicht getan haben. Bei der Authentifizierung wird Ihre Identität für den Zugriff auf Google Cloud-Dienste und APIs überprüft. Zur Ausführung von Code oder Beispielen aus einer lokalen Entwicklungsumgebung können Sie sich bei Compute Engine authentifizieren. Wählen Sie dazu eine der folgenden Optionen aus:

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    REST

    Verwenden Sie die von der gcloud CLI bereitgestellten Anmeldedaten, um die REST API-Beispiele auf dieser Seite in einer lokalen Entwicklungsumgebung zu verwenden.

      Install the Google Cloud CLI, then initialize it by running the following command: 

      gcloud init

    Weitere Informationen finden Sie unter Für die Verwendung von REST authentifizieren in der Dokumentation zur Google Cloud-Authentifizierung.

Beschleunigungsoptimierte VMs

Jedem beschleunigungsoptimierten Maschinentyp ist ein bestimmtes NVIDIA-GPU-Modell angehängt.

Sie können jede beschleunigungsoptimierte VM so ändern:

  • Bei A2 Ultra und allen A3-VMs können Sie den Maschinentyp nicht ändern. Wenn Sie einen dieser Maschinentypen für Ihre VM verwenden und den Maschinentyp ändern müssen, erstellen Sie eine neue VM.

  • Bei A2-Standard-VMs können Sie die GPU-Anzahl ändern, indem Sie von einem A2-Standardmaschinentyp zu einem anderen A2-Standardmaschinentyp wechseln.

  • Für G2-Standard-VMs können Sie so vorgehen:

    • Sie können die GPU-Anzahl ändern, indem Sie von einem G2-Standardmaschinentyp zu einem anderen G2-Standardmaschinentyp wechseln.
    • Sie können von einem G2-Maschinentyp zu einem Maschinentyp von einer anderen Maschinenfamilie wie einer allgemeinen oder computing-optimierten Maschine wechseln. Maschinentyp einer VM bearbeiten

  • Sie können keine GPUs aus beschleunigeroptimierten Maschinentypen entfernen. Wenn Sie keine GPUs mehr benötigen, führen Sie die folgenden Schritte aus:

    • Erstellen Sie für alle A3- oder A2-VMs eine neue VM.
    • Wechseln Sie für G2-VMs zu einem Maschinentyp aus einer anderen Maschinenfamilie.

GPU-Anzahl ändern

Sie können die GPU-Anzahl einer A2-Standard- oder beschleunigungsoptimierten G2-VM mit der Google Cloud Console oder REST ändern.

Console

Sie können die Anzahl der GPUs für Ihre VM ändern, indem Sie die VM beenden und die VM-Konfiguration bearbeiten.

  1. Prüfen Sie, ob alle kritischen Anwendungen auf der VM angehalten wurden.

  2. Rufen Sie in der Google Cloud Console die Seite VM-Instanzen auf, um Ihre Liste der VMs aufzurufen.

    Zur Seite „VM-Instanzen“

  3. Klicken Sie auf den Namen der VM, für die Sie die Anzahl der GPUs ändern möchten. Die Seite Details wird geöffnet.

  4. Führen Sie auf der Seite Details die folgenden Schritte aus.

    1. Wenn die VM ausgeführt wird, klicken Sie in der Symbolleiste auf Beenden. Warten Sie dann, bis die VM beendet wurde.

    2. Klicken Sie in der Symbolleiste auf Bearbeiten.

    3. Wählen Sie im Abschnitt Maschinenkonfiguration die Maschinenfamilie GPUs aus und gehen Sie dann so vor:

      1. Erhöhen oder verringern Sie in der Liste Anzahl der GPUs die Anzahl der GPUs.

    4. Klicken Sie auf Speichern, um die Änderungen anzuwenden.

    5. Klicken Sie auf Starten/Fortsetzen, um die VM neu zu starten.

REST

Sie können die Anzahl der GPUs auf Ihrer VM ändern, indem Sie die VM beenden und den Maschinentyp ändern. Jedem beschleunigungsoptimierten Maschinentyp ist eine bestimmte Anzahl an GPUs angehängt. Wenn Sie den Maschinentyp ändern, wird die Anzahl der mit der VM verbundenen GPUs angepasst.

  1. Prüfen Sie, ob alle Ihre kritischen Anwendungen auf der VM angehalten wurden. Erstellen Sie dann einen POST-Befehl, um die VM zu beenden, damit sie auf ein Hostsystem verschoben werden kann, in dem GPUs verfügbar sind.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/stop

  2. Erstellen Sie nach dem Beenden der VM eine POST-Anfrage, um den Maschinentyp zu ändern.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setMachineType

{
   machineType: "zones/ZONE/machineTypes/MACHINE_TYPE"
}

  3. Starten Sie die VM.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/start

Dabei gilt:

  • PROJECT_ID ist Ihre Projekt-ID.
  • VM_NAME: der Name der VM, der Sie GPUs hinzufügen möchten.
  • ZONE ist die Zone, in der sich die VM befindet. Diese Zone muss GPUs unterstützen.

  • MACHINE_TYPE: der Maschinentyp, den Sie verwenden möchten. Dieser muss einer der folgenden sein:

    • Wenn Ihre VM eine A2-Standardmaschine verwendet, wählen Sie einen anderen A2-Maschinentyp aus.
    • Wenn Ihre VM einen G2-Maschinentyp verwendet, wählen Sie einen anderen G2-Maschinentyp aus. G2-Maschinentypen unterstützen auch benutzerdefinierten Arbeitsspeicher. Der Arbeitsspeicher muss ein Vielfaches von 1.024 MB sein und innerhalb des unterstützten Arbeitsspeicherbereichs liegen. Geben Sie beispielsweise --machine-type=g2-custom-4-19456 an, um eine VM mit 4 vCPUs und 19 GB Arbeitsspeicher zu erstellen.

Beschränkungen

A2-VMs

  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für VMs, die G2-Standard-Maschinentypen verwenden.
  • Sie können die A2-Standard-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
  • Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die A2-Standard-Maschinentypen verwenden.
  • Die A2-Standardmaschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Wenn Ihre VM einen A2-Standardmaschinentyp verwendet, können Sie nur von einem A2-Standardmaschinentyp zu einem anderen A2-Standardmaschinentyp wechseln. Sie können keinen anderen Maschinentyp ändern. Weitere Informationen finden Sie unter Beschleunigeroptimierte VMs ändern.
  • Sie können das Windows-Betriebssystem nicht mit den Maschinentypen <codea2-megagpu-16g< code="" dir="ltr" translate="no"> A2 Standard verwenden. Wählen Sie einen anderen A2-Standard-Maschinentyp aus, wenn Sie Windows-Betriebssysteme verwenden.</codea2-megagpu-16g<>
  • Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-VMs verwenden, die A2-Standard-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und format fs=ntfs label=tmpfs angeben.
  • A2-Standardmaschinentypen unterstützen einzelne Mandanten nicht.

G2-VMs

  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für VMs, die G2-Maschinentypen verwenden.
  • Sie können die G2-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
  • Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die G2-Maschinentypen verwenden.
  • Die G2-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Nichtflüchtige Standardspeicher (pd-standard) werden auf VMs, die G2-Standardmaschinentypen verwenden, nicht unterstützt. Informationen zu unterstützten Laufwerkstypen finden Sie unter Unterstützte Laufwerkstypen für G2.
  • Sie können keine GPUs mit mehreren Instanzen auf G2-Maschinentypen erstellen.
  • Wenn Sie den Maschinentyp einer G2-VM ändern müssen, lesen Sie die Informationen unter Beschleunigeroptimierte VMs ändern.
  • Sie können keine Deep Learning VM Images als Bootlaufwerke für VMs verwenden, die G2-Maschinentypen verwenden.
  • Der aktuelle Standardtreiber für Container-Optimized OS unterstützt keine L4-GPUs, die auf G2-Maschinentypen ausgeführt werden. Container-Optimized OS unterstützt auch nur bestimmte Treiber. Wenn Sie Container-Optimized OS auf G2-Maschinentypen verwenden möchten, lesen Sie die folgenden Hinweise:
    • Verwenden Sie eine Container-Optimized OS-Version, die die mindestens empfohlene NVIDIA-Treiberversion 525.60.13 oder höher unterstützt. Weitere Informationen finden Sie in den Versionshinweisen zu Container-Optimized OS.
    • Geben Sie bei der Installation des Treibers die neueste verfügbare Version an, die für die L4-GPUs funktioniert. Beispiel: sudo cos-extensions install gpu -- -version=525.60.13.
  • In den folgenden Szenarien müssen Sie über die Google Cloud CLI oder REST G2-VMs erstellen:
    • Sie möchten benutzerdefinierte Speicherwerte angeben.
    • Sie möchten die Anzahl der sichtbaren CPU-Kerne anpassen.

N1-VMs für allgemeine Zwecke

In diesem Abschnitt wird beschrieben, wie Sie GPUs zu einer N1-Maschine für allgemeine Zwecke hinzufügen, ändern oder daraus entfernen.

Zusammengefasst ist der Vorgang zum Hinzufügen, Ändern oder Entfernen von GPUs aus einer vorhandenen VM dieser:

  1. Prüfen Sie, ob Ihre VM ein Bootlaufwerkgröße mit mindestens 40 GB hat.
  2. Halten Sie die VM an.

  3. Fügen Sie die GPUs hinzu, ändern oder entfernen Sie sie.

    Wenn Ihrer VM bisher keine GPUs zugeordnet waren, müssen Sie die folgenden Schritte ausführen:

    1. Bereiten Sie die VM für die Änderung vor.
    2. Ändern Sie die Hostwartungseinstellung für die VM. VMs mit GPUs können keine Live-Migration ausführen, da sie bestimmten Hardwaregeräten zugewiesen sind. Weitere Informationen finden Sie unter GPU-Einschränkungen.
    3. Ändern Sie den Maschinentyp. GPUs werden nur auf ausgewählten Maschinentypen unterstützt.
    4. Installieren Sie einen GPU-Treiber auf Ihrer VM, damit Ihr System das Gerät verwenden kann.

VM vorbereiten

Wenn eine GPU zu einer VM hinzugefügt wird, kann sich die Reihenfolge der Netzwerkschnittstelle ändern.

Die meisten öffentlichen Images in Compute Engine haben keine persistenten Netzwerkschnittstellennamen und werden an die neue Reihenfolge angepasst.

Wenn Sie allerdings SLES oder ein benutzerdefiniertes Image verwenden, müssen Sie die Systemeinstellung aktualisieren, um zu verhindern, dass die Netzwerkschnittstelle beibehalten wird. Führen Sie den folgenden Befehl auf der VM aus, um zu verhindern, dass die Netzwerkschnittstelle nicht dauerhaft beibehalten wird:

 rm /etc/udev/rules.d/70-persistent-net.rules

GPUs zu vorhandenen VMs hinzufügen oder GPU-Typ ändern

In diesem Abschnitt wird beschrieben, wie Sie GPUs hinzufügen oder den GPU-Typ auf einer vorhandenen N1-VM für allgemeine Zwecke ändern. Dieses Verfahren unterstützt die folgenden GPU-Typen:

NVIDIA-GPUs:

  • NVIDIA® T4: nvidia-tesla-t4
  • NVIDIA P4: nvidia-tesla-p4
  • NVIDIA P100: nvidia-tesla-p100
  • NVIDIA V100: nvidia-tesla-v100

NVIDIA RTX Virtuelle Workstation (vWS) (ehemals NVIDIA GRID):

  • NVIDIA T4 Virtual Workstation: nvidia-tesla-t4-vws
  • NVIDIA P4 Virtual Workstation: nvidia-tesla-p4-vws

  • NVIDIA P100 Virtual Workstation: nvidia-tesla-p100-vws

    Für diese virtuellen Workstations wird Ihrer VM automatisch eine Lizenz für NVIDIA RTX Virtual Workstation (vWS) hinzugefügt.

Console

Führen Sie die folgenden Schritte aus, um GPUs hinzuzufügen oder den GPU-Typ zu ändern.

  1. Prüfen Sie, ob alle kritischen Anwendungen auf der VM angehalten wurden.

  2. Rufen Sie in der Google Cloud Console die Seite VM-Instanzen auf, um Ihre Liste der VMs aufzurufen.

    Zur Seite „VM-Instanzen“

  3. Klicken Sie auf den Namen der VM, die Sie aktualisieren möchten. Die Seite Details wird geöffnet.

  4. Führen Sie auf der Seite Details die folgenden Schritte aus.

    1. Wenn die VM ausgeführt wird, klicken Sie in der Symbolleiste auf Beenden. Warten Sie dann, bis die VM beendet wurde.

    2. Klicken Sie in der Symbolleiste auf Bearbeiten.

    3. Wählen Sie im Abschnitt Maschinenkonfiguration die Maschinenfamilie GPUs aus und gehen Sie dann so vor:

      1. Wählen Sie in der Liste GPU-Typ einen der auf N1-VMs unterstützten GPU-Typen aus oder wechseln Sie zu einem dieser Typen.

      2. Wählen Sie in der Liste Anzahl der GPUs die Anzahl der GPUs aus.

      3. Wenn Ihr GPU-Modell NVIDIA RTX Virtual Workstations (vWS) für Grafikarbeitslasten unterstützt und Sie grafikintensive Arbeitslasten auf dieser VM ausführen möchten, wählen Sie Virtuelle Workstation (NVIDIA GRID) aktivieren

    4. Wenn Ihrer VM bisher keine GPUs zugeordnet waren, führen Sie die folgenden Schritte aus:

      1. Wenn die VM einen Maschinentyp mit gemeinsam genutztem Kern hat, müssen Sie den Maschinentyp ändern. Wählen Sie in der Liste Maschinentyp einen der voreingestellten N1-Maschinentypen aus. Alternativ dazu können Sie auch Einstellungen für einen benutzerdefinierten Maschinentyp festlegen.

      2. Führen Sie im Bereich Verwaltung folgende Schritte aus:

        1. Wählen Sie in der Liste Bei Hostwartung die Option VM-Instanz beenden aus. VMs mit angehängten GPUs können keine Live-Migration ausführen. Siehe GPU-Hostereignisse verarbeiten.

        2. Wählen Sie in der Liste Automatischer Neustart die Option An.

    5. Klicken Sie auf Speichern, um die Änderungen anzuwenden.

    6. Klicken Sie auf Starten/Fortsetzen, um die VM neu zu starten.

REST

Sie können GPUs zu Ihrer VM hinzufügen oder diese ändern, indem Sie die VM beenden und die Konfiguration der VM über die API ändern.

  1. Prüfen Sie, ob alle Ihre kritischen Anwendungen auf der VM angehalten wurden. Erstellen Sie dann einen POST-Befehl, um die VM zu beenden, damit sie auf ein Hostsystem verschoben werden kann, in dem GPUs verfügbar sind.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/stop

  2. Wenn Ihrer VM bisher keine GPUs zugeordnet waren, führen Sie die folgenden Schritte aus:

    1. Identifizieren Sie den GPU-Typ, den Sie Ihrer VM hinzufügen möchten. Sie können eine GET-Anfrage senden, um die GPU-Typen aufzulisten, die Ihrem Projekt in einer bestimmten Zone zur Verfügung stehen.

      GET https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/acceleratorTypes

    2. Wenn die VM einen Maschinentyp mit gemeinsam genutztem Kern hat, müssen Sie den Maschinentyp ändern, um eine oder mehrere vCPUs zu haben. Sie können VMs mit Maschinentypen mit gemeinsam genutztem Kern keine Beschleuniger hinzufügen.

    3. Erstellen Sie einen POST-Befehl, um die Zeitplanoptionen für die VM festzulegen.

      POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setScheduling

{
"onHostMaintenance": "TERMINATE",
"automaticRestart": true
}

  3. Erstellen Sie eine POST-Anfrage, um der VM GPUs hinzuzufügen oder zu ändern.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/setMachineResources

    {
     "guestAccelerators": [
      {
        "acceleratorCount": ACCELERATOR_COUNT,
        "acceleratorType": "https://www.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/acceleratorTypes/ACCELERATOR_TYPE"
      }
     ]
    }

  4. Starten Sie die VM.

    POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances/VM_NAME/start

    Dabei gilt:

    • PROJECT_ID ist Ihre Projekt-ID.
    • VM_NAME ist der Name der VM, der Sie GPUs hinzufügen möchten.
    • ZONE ist die Zone, in der sich die VM befindet.
    • ACCELERATOR_COUNT ist die Anzahl der GPUs, die Sie an Ihre VM anhängen möchten. Eine Liste der GPU-Limits je nach Maschinentyp Ihrer VM finden Sie unter GPUs in Compute Engine.

    • ACCELERATOR_TYPE: das GPU-Modell, das Sie anhängen oder zu dem Sie wechseln möchten. Wenn Sie grafikintensive Arbeitslasten auf dieser VM ausführen möchten, verwenden Sie eines der virtuellen Workstation-Modelle.

      Wählen Sie einen der folgenden Werte aus:

      • NVIDIA-GPUs:

        • NVIDIA® T4: nvidia-tesla-t4
        • NVIDIA P4: nvidia-tesla-p4
        • NVIDIA P100: nvidia-tesla-p100
        • NVIDIA V100: nvidia-tesla-v100

      • NVIDIA RTX Virtuelle Workstation (vWS) (ehemals NVIDIA GRID):

        • NVIDIA T4 Virtual Workstation: nvidia-tesla-t4-vws
        • NVIDIA P4 Virtual Workstation: nvidia-tesla-p4-vws
        • NVIDIA P100 Virtual Workstation: nvidia-tesla-p100-vws

        Für diese virtuellen Workstations wird Ihrer VM automatisch eine Lizenz für NVIDIA RTX Virtual Workstation (vWS) hinzugefügt.

Treiber installieren

Wählen Sie eine der folgenden Optionen aus, um die Treiber zu installieren:

GPUs entfernen

In diesem Abschnitt wird beschrieben, wie Sie die folgenden GPU-Typen aus einer vorhandenen N1-VM für allgemeine Zwecke entfernen.

NVIDIA-GPUs:

  • NVIDIA® T4: nvidia-tesla-t4
  • NVIDIA P4: nvidia-tesla-p4
  • NVIDIA P100: nvidia-tesla-p100
  • NVIDIA V100: nvidia-tesla-v100

NVIDIA RTX Virtuelle Workstation (vWS) (ehemals NVIDIA GRID):

  • NVIDIA T4 Virtual Workstation: nvidia-tesla-t4-vws
  • NVIDIA P4 Virtual Workstation: nvidia-tesla-p4-vws

  • NVIDIA P100 Virtual Workstation: nvidia-tesla-p100-vws

    Für diese virtuellen Workstations wird Ihrer VM automatisch eine Lizenz für NVIDIA RTX Virtual Workstation (vWS) hinzugefügt.

Sie können die Google Cloud Console nutzen, um GPUs aus einer vorhandenen VM zu entfernen. So entfernen Sie GPUs:

  1. Prüfen Sie, ob alle kritischen Anwendungen auf der VM angehalten wurden.

  2. Rufen Sie in der Google Cloud Console die Seite VM-Instanzen auf, um Ihre Liste der VMs aufzurufen.

    Zur Seite „VM-Instanzen“

  3. Klicken Sie auf den Namen der VM, von der Sie GPUs entfernen möchten. Die Seite Details wird geöffnet.

  4. Führen Sie auf der Seite Details die folgenden Schritte aus.

    1. Wenn die VM ausgeführt wird, klicken Sie in der Symbolleiste auf Beenden. Warten Sie dann, bis die VM beendet wurde.

    2. Klicken Sie in der Symbolleiste auf  Bearbeiten.

    3. Wählen Sie im Abschnitt Maschinenkonfiguration die Maschinenfamilie für allgemeine Zwecke aus und führen Sie dann die folgenden Schritte aus:

      1. Maximieren Sie Erweiterte Konfigurationen, um angeschlossene GPUs aufzurufen.

      2. Entfernen Sie im Bereich GPUs GPUs mit einer der folgenden Optionen:

        • Wenn Sie einige GPUs entfernen möchten, wählen Sie in der Liste Anzahl der GPUs eine neue Zahl aus.

        • Klicken Sie zum Entfernen aller GPUs auf GPU löschen.

    4. Optional: Ändern Sie die Einstellung für die VM-Hostwartungsrichtlinie. Für VMs mit GPUs muss die Hostwartungsrichtlinie auf VM-Instanz beenden festgelegt sein. Wenn Sie jedoch alle GPUs entfernt haben, ist für diese VM während der Hostwartung eine Live-Migration möglich. Weitere Informationen finden Sie unter Wartungsrichtlinie für VM-Host festlegen.

    5. Klicken Sie auf Speichern, um die Änderungen anzuwenden.

    6. Klicken Sie auf Starten/Fortsetzen, um die VM neu zu starten.

Nächste Schritte