Beschleunigungsoptimierte VM erstellen

In diesem Dokument wird erläutert, wie Sie eine VM erstellen, die eine beschleunigungsoptimierte Maschinenfamilie verwendet. Die beschleunigungsoptimierte Maschinenfamilie ist in den Maschinentypen A3, A2 und G2 verfügbar.

Jedem beschleunigungsoptimierten Maschinentyp ist ein bestimmtes NVIDIA-GPU-Modell angehängt.

Hinweise

  • Weitere erforderliche Schritte wie das Auswählen eines Betriebssystem-Images und das Prüfen von GPU-Kontingenten finden Sie im Dokument Übersicht.
  • Richten Sie die Authentifizierung ein, falls Sie dies noch nicht getan haben. Bei der Authentifizierung wird Ihre Identität für den Zugriff auf Google Cloud-Dienste und APIs überprüft. Zur Ausführung von Code oder Beispielen aus einer lokalen Entwicklungsumgebung können Sie sich bei Compute Engine authentifizieren. Wählen Sie dazu eine der folgenden Optionen aus:

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    gcloud

    1. Install the Google Cloud CLI, then initialize it by running the following command: 

      gcloud init
    2. Set a default region and zone.

      3. REST

      Verwenden Sie die von der gcloud CLI bereitgestellten Anmeldedaten, um die REST API-Beispiele auf dieser Seite in einer lokalen Entwicklungsumgebung zu verwenden.

        Install the Google Cloud CLI, then initialize it by running the following command: 

        gcloud init

      Weitere Informationen finden Sie unter Für die Verwendung von REST authentifizieren in der Dokumentation zur Google Cloud-Authentifizierung.

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie für die Erstellung von VMs benötigen, bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für das Projekt zu gewähren. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen von VMs erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Erstellen von VMs erforderlich:

  • compute.instances.create für das Projekt
  • So erstellen Sie die VM mit einem benutzerdefinierten Image: compute.images.useReadOnly für das Image
  • Um die VM mit einem Snapshot zu erstellen: compute.snapshots.useReadOnly für den Snapshot
  • So verwenden Sie eine Instanzvorlage zum Erstellen der VM: compute.instanceTemplates.useReadOnly für die Instanzvorlage
  • So weisen Sie der VM ein Legacy-Netzwerk zu: compute.networks.use für das Projekt
  • Um eine statische IP-Adresse für die VM festzulegen: compute.addresses.use für das Projekt
  • So weisen Sie der VM eine externe IP-Adresse zu, wenn Sie ein Legacy-Netzwerk verwenden: compute.networks.useExternalIp für das Projekt
  • So geben Sie ein Subnetz für Ihre VM an: compute.subnetworks.use für das Projekt oder für das ausgewählte Subnetz
  • So weisen Sie der VM eine externe IP-Adresse zu, wenn Sie ein VPC-Netzwerk verwenden: compute.subnetworks.useExternalIp für das Projekt oder für das ausgewählte Subnetz
  • Um Metadaten der VM-Instanz für die VM festzulegen: compute.instances.setMetadata für das Projekt
  • Zum Festlegen von Tags für die VM: compute.instances.setTags auf der VM
  • So legen Sie Labels für die VM fest: compute.instances.setLabels auf der VM
  • So legen Sie ein Dienstkonto für die VM fest: compute.instances.setServiceAccount auf der VM
  • Um ein neues Laufwerk für die VM zu erstellen: compute.disks.create für das Projekt
  • So hängen Sie ein vorhandenes Laufwerk im Lese- oder Lese-/Schreibmodus an: compute.disks.use für das Laufwerk
  • So hängen Sie ein vorhandenes Laufwerk im Lesemodus an: compute.disks.useReadOnly für das Laufwerk

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

VM mit angehängten GPUs erstellen

Sie können eine A3-, A2- oder G2-Beschleunigeroptimierte VM erstellen, indem Sie entweder die Google Cloud Console, die Google Cloud CLI oder REST verwenden.

Für einige Anpassungen an Ihren G2-VMs müssen Sie möglicherweise die Google Cloud CLI oder REST verwenden. Siehe G2-Einschränkungen.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Instanz erstellen auf.

    Zur Seite „Instanz erstellen“

  2. Geben Sie einen Namen für Ihre VM an. Weitere Informationen finden Sie unter Konvention für Ressourcennamen.

  3. Wählen Sie eine Region und Zone aus, in denen GPUs verfügbar sind. Siehe dazu die Liste der verfügbaren GPU-Regionen und -Zonen.

  4. Wählen Sie im Abschnitt Maschinenkonfiguration die Maschinenfamilie GPUs aus und gehen Sie dann so vor:

    1. Wählen Sie in der Liste GPU-Typ Ihren GPU-Typ aus.

      • Wählen Sie für beschleunigungsoptimierte A3-VMs NVIDIA H100 80GB oder NVIDIA H100 80GB MEGA aus.
      • Wählen Sie für beschleunigungsoptimierte A2-VMs entweder NVIDIA A100 40GB oder NVIDIA A100 80GB aus.
      • Wählen Sie für beschleunigungsoptimierte G2-VMs NVIDIA L4 aus.

    2. Wählen Sie in der Liste Anzahl der GPUs die Anzahl der GPUs aus.

    3. Wenn Ihr GPU-Modell NVIDIA RTX Virtual Workstations (vWS) für Grafikarbeitslasten unterstützt und Sie grafikintensive Arbeitslasten auf dieser VM ausführen möchten, wählen Sie Virtuelle Workstation (NVIDIA GRID) aktivieren

  5. Klicken Sie im Abschnitt Bootlaufwerk auf Ändern. Dadurch wird die Seite Konfiguration des Bootlaufwerks geöffnet.

  6. Führen Sie auf der Seite Bootlaufwerkkonfiguration die folgenden Schritte aus:

    1. Wählen Sie auf dem Tab Öffentliche Images ein unterstütztes Compute Engine-Image oder Deep Learning VM Images aus.
    2. Geben Sie eine Bootlaufwerkgröße von mindestens 40 GB an.
    3. Klicken Sie auf Auswählen, um die Bootlaufwerksoptionen zu bestätigen.

  7. Optional: Bereitstellungsmodell konfigurieren. Wenn Ihre Arbeitslast beispielsweise fehlertolerant ist und einer möglichen vorzeitigen VM-Beendigung standhält, können Sie Spot-VMs verwenden, um die Kosten für Ihre VMs und die angeschlossenen GPUs zu senken. Weitere Informationen finden Sie unter GPUs auf Spot-VMs. Dazu müssen Sie die folgenden Schritte ausführen:

    1. Wählen Sie im Abschnitt Verfügbarkeitsrichtlinien aus der Liste VM-Bereitstellungsmodell die Option Spot aus. Diese Einstellung deaktiviert die Optionen für den automatischen Neustart und die Hostwartung für die VM.
    2. Optional: Wählen Sie in der Liste Beim Beenden der VM aus, was passiert, wenn Compute Engine die VM vorzeitig beendet:
      • Wählen Sie Beenden (Standardeinstellung) aus, um die VM während des vorzeitigen Beendens zu stoppen.
      • Wählen Sie Löschen aus, um die VM während des vorzeitigen Beendens zu löschen.

  8. Klicken Sie zum Erstellen und Starten der VM auf Erstellen.

gcloud

Verwenden Sie zum Erstellen und Starten einer VM den Befehl gcloud compute instances create mit den folgenden Flags. VMs mit GPUs können nicht live migriert werden. Achten Sie darauf, das Flag --maintenance-policy=TERMINATE festzulegen.

Die folgenden optionalen Flags werden im Beispielbefehl gezeigt:

  • Das Flag --provisioning-model=SPOT, das Ihre VMs als Spot-VMs konfiguriert. Wenn Ihre Arbeitslast fehlertolerant ist und einer möglichen vorzeitigen VM-Beendigung standhält, können Sie Spot-VMs verwenden, um die Kosten für Ihre VMs und die angeschlossenen GPUs zu senken. Weitere Informationen finden Sie unter GPUs auf Spot-VMs. Bei Spot-VMs sind die Flags für den automatischen Neustart und die Hostwartung deaktiviert.
  • Das Flag --accelerator, um eine virtuelle Workstation anzugeben. Virtuelle NVIDIA RTX-Workstations (vWS) werden nur für G2-VMs unterstützt.
  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE \
      [--provisioning-model=SPOT] \
      [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]
Ersetzen Sie Folgendes:
  • VM_NAME: Der Name für die neue VM.
  • MACHINE_TYPE: Der ausgewählte Maschinentyp Wählen Sie eine der folgenden Optionen aus:
    • Ein A3-Maschinentyp.
    • Ein A2-Maschinentyp.
    • Ein G2-Maschinentyp. G2-Maschinentypen unterstützen auch benutzerdefinierten Arbeitsspeicher. Der Arbeitsspeicher muss ein Vielfaches von 1.024 MB sein und innerhalb des unterstützten Arbeitsspeicherbereichs liegen. Geben Sie beispielsweise --machine-type=g2-custom-4-19456 an, um eine VM mit 4 vCPUs und 19 GB Arbeitsspeicher zu erstellen.
  • ZONE: Die Zone für die VM. Diese Zone muss das ausgewählte GPU-Modell unterstützen.
  • DISK_SIZE: die Größe Ihres Bootlaufwerks in GB. Geben Sie eine Bootlaufwerkgröße von mindestens 40 GB an.
  • IMAGE: Ein Betriebssystem-Image, das GPUs unterstützt. Wenn Sie das neueste Image in einer Image-Familie verwenden möchten, ersetzen Sie das Flag --image durch das Flag --image-family und legen Sie dessen Wert auf eine Image-Familie fest, die GPUs unterstützt. Beispiel: --image-family=rocky-linux-8-optimized-gcp.
    Sie können auch ein benutzerdefiniertes Image oder Deep Learning VM Images angeben.
  • IMAGE_PROJECT: Das Compute Engine-Image-Projekt, zu dem das Betriebssystem-Image gehört. Wenn Sie ein benutzerdefiniertes Image oder Deep Learning VM Images verwenden, geben Sie das Projekt an, zu dem diese Images gehören.
  • VWS_ACCELERATOR_COUNT ist die Anzahl der benötigten virtuellen GPUs.

REST

Senden Sie eine POST-Anfrage an die Methode instances.insert. VMs mit GPUs können keine Live-Migration ausführen. Setzen Sie den Parameter onHostMaintenance auf TERMINATE.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
"machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
"disks":
[
  {
    "type": "PERSISTENT",
    "initializeParams":
    {
      "diskSizeGb": "DISK_SIZE",
      "sourceImage": "SOURCE_IMAGE_URI"
    },
    "boot": true
  }
],
"name": "VM_NAME",
"networkInterfaces":
[
  {
    "network": "projects/PROJECT_ID/global/networks/NETWORK"
  }
],
"scheduling":
{
  "onHostMaintenance": "terminate",
  ["automaticRestart": true]
},
}
Ersetzen Sie Folgendes:
  • VM_NAME: Der Name für die neue VM.
  • PROJECT_ID: Ihre Projekt-ID
  • ZONE: Die Zone für die VM. Diese Zone muss das ausgewählte GPU-Modell unterstützen.
  • MACHINE_TYPE: Der ausgewählte Maschinentyp Wählen Sie eine der folgenden Optionen aus:
    • Ein A3-Maschinentyp.
    • Ein A2-Maschinentyp.
    • Ein G2-Maschinentyp. G2-Maschinentypen unterstützen auch benutzerdefinierten Arbeitsspeicher. Der Arbeitsspeicher muss ein Vielfaches von 1.024 MB sein und innerhalb des unterstützten Arbeitsspeicherbereichs liegen. Geben Sie beispielsweise --machine-type=g2-custom-4-19456 an, um eine VM mit 4 vCPUs und 19 GB Arbeitsspeicher zu erstellen.
    SOURCE_IMAGE_URI: Der URI für das spezifische Image oder die Image-Familie, die Sie verwenden möchten. Beispiel:
    • Spezifisches Image: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
    • Imagefamilie: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp"
    Wenn Sie eine Image-Familie angeben, erstellt Compute Engine eine VM aus dem neuesten nicht verworfenen Betriebssystem-Image in dieser Familie. Weitere Informationen zur Verwendung von Image-Familien finden Sie unter Best Practices für Image-Familien.
  • DISK_SIZE: die Größe Ihres Bootlaufwerks in GB. Geben Sie eine Bootlaufwerkgröße von mindestens 40 GB an.
  • NETWORK: das VPC-Netzwerk, das Sie für die VM verwenden möchten. Sie können "Standard" angeben, um Ihr Standardnetzwerk zu verwenden.
Zusätzliche Einstellungen:
  • Wenn Ihre Arbeitslast fehlertolerant ist und einer möglichen vorzeitigen VM-Beendigung standhält, können Sie Spot-VMs verwenden, um die Kosten für Ihre VMs und die angeschlossenen GPUs zu senken. Weitere Informationen finden Sie unter GPUs auf Spot-VMs. Wenn Sie Spot-VMs angeben möchten, fügen Sie der Anfrage die Option "provisioningModel": "SPOT" hinzu. Bei Spot-VMs sind die Flags für die Optionen „Automatischer Neustart“ und „Hostwartung“ deaktiviert. 
    "scheduling":
  {
    "provisioningModel": "SPOT"
  }
  • Für G2-VMs werden virtuelle NVIDIA RTX-Workstations (vWS) unterstützt. Wenn Sie eine virtuelle Workstation angeben möchten, fügen Sie Ihrer Anfrage die Option „guestAccelerators“ hinzu. Ersetzen Sie VWS_ACCELERATOR_COUNT durch die Anzahl der benötigten virtuellen GPUs. 
    "guestAccelerators":
  [
    {
      "acceleratorCount": VWS_ACCELERATOR_COUNT,
      "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws"
    }
  ]

Beschränkungen

A3-VMs

Für VMs mit den Maschinentypen A3 Edge, A3 High und A3 Mega gelten die folgenden Einschränkungen:

  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für VMs, die A3-Maschinentypen verwenden.
  • Sie können die A3-Standard-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
  • Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die A3-Standard-Maschinentypen nutzen.
  • Die A3-Maschinenserie ist nur auf der Sapphire Rapids-Plattform verfügbar.
  • Wenn Ihre VM einen A3-Maschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie den Maschinentyp ändern müssen, müssen Sie eine neue VM erstellen.
  • Sie können den Maschinentyp einer VM nicht in einen A3-Maschinentyp ändern. Wenn Sie eine VM benötigen, die einen A3-Maschinentyp verwendet, müssen Sie eine neue VM erstellen.
  • A3-Maschinentypen unterstützen keine einzelnen Mandanten.
  • Sie können Windows-Betriebssysteme nicht auf A3-Maschinentypen ausführen.
  • A3-Maschinentypen können nur über bestimmte Reservierungen reserviert werden.
  • Für die Maschinentypen a3-highgpu-1g, a3-highgpu-2g und a3-highgpu-4g gelten die folgenden Einschränkungen:
    • Für diese Maschinentypen müssen Sie entweder Spot-VMs oder eine Funktion verwenden, die den Dynamic Workload Scheduler (DWS) nutzt, z. B. Anfragen zur Größenänderung in einer MIG. Eine ausführliche Anleitung zu beiden Optionen findest du hier:
    • Sie können Hyperdisk Balanced mit diesen Maschinentypen nicht verwenden.
    • Sie können keine Reservierungen erstellen.
    Wenn Sie versuchen, eine VM mithilfe der Standardbereitstellung zu erstellen oder eine Reservierung für diese Maschinentypen zu erstellen, erhalten Sie eine Fehlermeldung.

A2-Standard-VMs

  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für VMs, die G2-Standard-Maschinentypen verwenden.
  • Sie können die A2-Standard-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
  • Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die A2-Standard-Maschinentypen verwenden.
  • Die A2-Standardmaschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Wenn Ihre VM einen A2-Standardmaschinentyp verwendet, können Sie nur von einem A2-Standardmaschinentyp zu einem anderen A2-Standardmaschinentyp wechseln. Sie können keinen anderen Maschinentyp ändern. Weitere Informationen finden Sie unter Beschleunigeroptimierte VMs ändern.
  • Sie können das Windows-Betriebssystem nicht mit den Maschinentypen <codea2-megagpu-16g< code="" dir="ltr" translate="no"> A2 Standard verwenden. Wählen Sie einen anderen A2-Standard-Maschinentyp aus, wenn Sie Windows-Betriebssysteme verwenden.</codea2-megagpu-16g<>
  • Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-VMs verwenden, die A2-Standard-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und format fs=ntfs label=tmpfs angeben.
  • A2-Standardmaschinentypen unterstützen einzelne Mandanten nicht.

A2-Ultra-VMs

  • Sie erhalten weder kontinuierlichen Nutzungsrabatte noch flexible Rabatte für die zugesicherte Nutzung für VMs, die A2-Ultra-Maschinentypen verwenden.
  • Sie können die A2-Ultra-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
  • Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die A2-Ultra-Maschinentypen verwenden.
  • Die A2-Ultra-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Wenn Ihre VM einen A2-Ultra-Maschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie einen anderen A2-Ultra-Maschinentyp oder einen anderen Maschinentyp verwenden müssen, müssen Sie eine neue VM erstellen.
  • Sie können keinen anderen Maschinentyp in einen A2-Ultra-Maschinentyp ändern. Wenn Sie eine VM benötigen, die eine A2-Ultra-Maschinenfamilie verwendet, müssen Sie eine neue VM erstellen.
  • Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-VMs verwenden, die A2-Ultra-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und format fs=ntfs label=tmpfs angeben.

G2-VMs

  • Sie erhalten weder Rabatte für kontinuierliche Nutzung noch flexible Rabatte für zugesicherte Nutzung für VMs, die G2-Maschinentypen verwenden.
  • Sie können die G2-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
  • Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die G2-Maschinentypen verwenden.
  • Die G2-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Nichtflüchtige Standardspeicher (pd-standard) werden auf VMs, die G2-Standardmaschinentypen verwenden, nicht unterstützt. Informationen zu unterstützten Laufwerkstypen finden Sie unter Unterstützte Laufwerkstypen für G2.
  • Sie können keine GPUs mit mehreren Instanzen auf G2-Maschinentypen erstellen.
  • Wenn Sie den Maschinentyp einer G2-VM ändern müssen, lesen Sie die Informationen unter Beschleunigeroptimierte VMs ändern.
  • Sie können keine Deep Learning VM Images als Bootlaufwerke für VMs verwenden, die G2-Maschinentypen verwenden.
  • Der aktuelle Standardtreiber für Container-Optimized OS unterstützt keine L4-GPUs, die auf G2-Maschinentypen ausgeführt werden. Container-Optimized OS unterstützt auch nur bestimmte Treiber. Wenn Sie Container-Optimized OS auf G2-Maschinentypen verwenden möchten, lesen Sie die folgenden Hinweise:
    • Verwenden Sie eine Container-Optimized OS-Version, die die mindestens empfohlene NVIDIA-Treiberversion 525.60.13 oder höher unterstützt. Weitere Informationen finden Sie in den Versionshinweisen zu Container-Optimized OS.
    • Geben Sie bei der Installation des Treibers die neueste verfügbare Version an, die für die L4-GPUs funktioniert. Beispiel: sudo cos-extensions install gpu -- -version=525.60.13.
  • In den folgenden Szenarien müssen Sie über die Google Cloud CLI oder REST G2-VMs erstellen:
    • Sie möchten benutzerdefinierte Speicherwerte angeben.
    • Sie möchten die Anzahl der sichtbaren CPU-Kerne anpassen.

Treiber installieren

Damit die VM die GPU verwenden kann, müssen Sie den GPU-Treiber auf Ihrer VM installieren.

Beispiele

In diesen Beispielen werden die meisten VMs mithilfe der Google Cloud CLI erstellt. Alternativ können Sie zum Erstellen dieser VMs auch die Google Cloud Console oder REST verwenden.

Die folgenden Beispiele zeigen, wie VMs mit folgenden Images erstellt werden:

COS (A3 Edge/High)

Sie können entweder a3-edgegpu-8g- oder a3-highgpu-8g-VMs mit angehängten H100-GPUs mithilfe von COS-Images (Container-optimized) erstellen.

Eine ausführliche Anleitung zum Erstellen dieser a3-edgegpu-8g- oder a3-highgpu-8g-VMs mit Container-Optimized OS finden Sie unter A3-VM mit aktiviertem GPUDirect-TCPX erstellen.

Öffentliches Betriebssystem-Image (G2)

Sie können VMs mit angehängten GPUs erstellen, die entweder ein öffentliches Image verwenden, das in Compute Engine verfügbar ist, oder ein benutzerdefiniertes Image.

Um eine VM mit dem neuesten, nicht verworfenen Image aus der Rocky Linux 8-Image-Familie, die für die Google Cloud-Image-Familie optimiert ist zu erstellen, die den g2-standard-8-Maschinentyp und eine virtuelle NVIDIA RTX-Workstation nutzen, führen Sie die folgenden Schritte aus:

  1. Erstellen Sie die VM. In diesem Beispiel werden auch optionale Flags wie Bootlaufwerktyp und Größe angegeben.

    gcloud compute instances create VM_NAME \
    --project=PROJECT_ID \
    --zone=ZONE \
    --machine-type=g2-standard-8  \
    --maintenance-policy=TERMINATE --restart-on-failure \
    --network-interface=nic-type=GVNIC \
    --accelerator=type=nvidia-l4-vws,count=1 \
    --image-family=rocky-linux-8-optimized-gcp \
    --image-project=rocky-linux-cloud \
    --boot-disk-size=200GB \
    --boot-disk-type=pd-ssd

    Ersetzen Sie Folgendes:

    • VM_NAME: der Name Ihrer VM
    • PROJECT_ID: Ihre Projekt-ID
    • ZONE: Die Zone für die VM.

  2. Installieren Sie NVIDIA-Treiber und CUDA. Für NVIDIA L4-GPUs ist CUDA Version XX oder höher erforderlich.

DLVM-Image (A2)

Die Verwendung von DLVM-Images ist der einfachste Weg, da die Images bereits die NVIDIA-Treiber und CUDA-Bibliotheken enthalten.

Diese Images bieten auch Leistungsoptimierungen.

Folgende DLVM-Images werden für NVIDIA A100 unterstützt:

  • common-cu110: NVIDIA-Treiber und CUDA, vorinstalliert
  • tf-ent-1-15-cu110: NVIDIA-Treiber, CUDA, TensorFlow Enterprise 1.15.3. vorinstalliert
  • tf2-ent-2-1-cu110: NVIDIA-Treiber, CUDA, TensorFlow Enterprise 2.1.1, vorinstalliert
  • tf2-ent-2-3-cu110: NVIDIA-Treiber, CUDA, TensorFlow Enterprise 2.3.1, vorinstalliert
  • pytorch-1-6-cu110: NVIDIA-Treiber, CUDA, Pytorch 1.6

Weitere Informationen zu den verfügbaren DLVM-Images und den auf den Images installierten Paketen finden Sie in der Deep Learning VM-Dokumentation.

  1. Erstellen Sie eine VM mit dem tf2-ent-2-3-cu110-Image und dem Maschinentyp a2-highgpu-1g. In diesem Beispiel sind optionale Flags wie Größe und Bereich des Bootlaufwerks angegeben.

    gcloud compute instances create VM_NAME \
   --project PROJECT_ID \
   --zone ZONE \
   --machine-type a2-highgpu-1g \
   --maintenance-policy TERMINATE \
   --image-family tf2-ent-2-3-cu110 \
   --image-project deeplearning-platform-release \
   --boot-disk-size 200GB \
   --metadata "install-nvidia-driver=True,proxy-mode=project_editors" \
   --scopes https://www.googleapis.com/auth/cloud-platform

    Ersetzen Sie Folgendes:

    • VM_NAME: der Name Ihrer VM
    • PROJECT_ID: Ihre Projekt-ID
    • ZONE: Die Zone für die VM.

  2. Der vorherige Beispielbefehl generiert auch eine vom Nutzer verwaltete Notebook-Instanz von Vertex AI Workbench für die VM. Rufen Sie in der Google Cloud Console die Seite Vertex AI Workbench > Nutzerverwaltete Notebooks auf, um auf das Notebook zuzugreifen.

    Zur Seite "Nutzerverwaltete Notebooks"

GPUs mit mehreren Instanzen (nur A3- und A2-VMs)

Eine GPU mit mehreren Instanzen partitioniert eine einzelne NVIDIA-H100- oder A100-GPU innerhalb derselben VM in bis zu sieben unabhängige GPU-Instanzen. Sie werden gleichzeitig ausgeführt, jeder verfügt über einen eigenen Arbeitsspeicher, Cache und eigene Streaming-Multiprozessoren. Mit dieser Konfiguration kann die NVIDIA H100- oder A100-GPU eine garantierte Dienstqualität mit bis zu siebenmal höherer Leistung im Vergleich zu früheren GPU-Modellen bereitstellen.

Sie können bis zu sieben GPUs mit mehreren Instanzen erstellen. Bei A100-GPUs mit 40 GB wird jeder GPU mit mehreren Instanzen 5 GB Arbeitsspeicher zugewiesen. Mit den A100 80GB- und H100 80GB-GPUs verdoppelt sich der zugewiesene Arbeitsspeicher auf jeweils 10 GB.

Weitere Informationen zur Verwendung von GPUs mit mehreren Instanzen finden Sie im NVIDIA-Nutzerhandbuch für mehrere GPU-Instanzen.

Führen Sie folgende Schritte aus, um GPUs mit mehreren Instanzen zu erstellen:

  1. Erstellen Sie eine beschleunigungsoptimierte A3- oder A2-VM.

  2. Aktivieren Sie NVIDIA-GPU-Treiber.

  3. Aktivieren Sie GPUs mit mehreren Instanzen.

    sudo nvidia-smi -mig 1

  4. Prüfen Sie die verfügbaren GPU-Formen mit mehreren Instanzen.

    sudo nvidia-smi mig --list-gpu-instance-profiles

    Die Ausgabe sieht etwa so aus:

    +-----------------------------------------------------------------------------+
| GPU instance profiles:                                                      |
| GPU   Name             ID    Instances   Memory     P2P    SM    DEC   ENC  |
|                              Free/Total   GiB              CE    JPEG  OFA  |
|=============================================================================|
|   0  MIG 1g.10gb       19     7/7        9.62       No     16     1     0   |
|                                                             1     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.10gb+me    20     1/1        9.62       No     16     1     0   |
|                                                             1     1     1   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.20gb       15     4/4        19.50      No     26     1     0   |
|                                                             1     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 2g.20gb       14     3/3        19.50      No     32     2     0   |
|                                                             2     2     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 3g.40gb        9     2/2        39.25      No     60     3     0   |
|                                                             3     3     0   |
+-----------------------------------------------------------------------------+
.......

  5. Erstellen Sie die gewünschte Multi-Instance GPU (GI) und die zugehörigen Compute-Instanzen (CI). Sie können diese Instanzen erstellen, indem Sie entweder den vollständigen oder abgekürzten Profilnamen, die Profil-ID oder eine Kombination aus beiden angeben. Weitere Informationen finden Sie unter GPU-Instanzen erstellen.

    Im folgenden Beispiel werden zwei MIG 3g.20gb-GPU-Instanzen anhand der Profil-ID (9) erstellt.

    Weiter wird das Flag -C angegeben, das die zugehörigen Compute-Instanzen für das erforderliche Profil erstellt.

    sudo nvidia-smi mig -cgi 9,9 -C

  6. Prüfen Sie, ob die beiden Multi-Instanz-GPUs erstellt wurden:

    sudo nvidia-smi mig -lgi

  7. Prüfen Sie, ob die GIs und die entsprechenden CIs erstellt wurden.

    sudo nvidia-smi

    Die Ausgabe sieht in etwa so aus:

    +-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.125.06   Driver Version: 525.125.06   CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA H100 80G...  Off  | 00000000:04:00.0 Off |                   On |
| N/A   33C    P0    70W / 700W |     39MiB / 81559MiB |     N/A      Default |
|                               |                      |              Enabled |
+-------------------------------+----------------------+----------------------+
|   1  NVIDIA H100 80G...  Off  | 00000000:05:00.0 Off |                   On |
| N/A   32C    P0    69W / 700W |     39MiB / 81559MiB |     N/A      Default |
|                               |                      |              Enabled |
+-------------------------------+----------------------+----------------------+
......

+-----------------------------------------------------------------------------+
| MIG devices:                                                                |
+------------------+----------------------+-----------+-----------------------+
| GPU  GI  CI  MIG |         Memory-Usage |        Vol|         Shared        |
|      ID  ID  Dev |           BAR1-Usage | SM     Unc| CE  ENC  DEC  OFA  JPG|
|                  |                      |        ECC|                       |
|==================+======================+===========+=======================|
|  0    1   0   0  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
|                  |      0MiB / 65535MiB |           |                       |
+------------------+----------------------+-----------+-----------------------+
|  0    2   0   1  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
|                  |      0MiB / 65535MiB |           |                       |
+------------------+----------------------+-----------+-----------------------+
......

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

Nächste Schritte