Beschleunigungsoptimierte VM erstellen

In diesem Dokument wird erläutert, wie Sie eine VM erstellen, die eine beschleunigungsoptimierte Maschinenfamilie verwendet. Die Beschleunigeroptimierte Maschinenfamilie ist in den Maschinentypen A3 Standard, A2 Standard und Ultra sowie in den G2-Standardmaschinentypen verfügbar.

An jeden Beschleunigungsoptimierten Maschinentyp ist ein bestimmtes Modell von NVIDIA-GPUs angehängt.

  • Für A3-Beschleunigeroptimierte Maschinentypen sind NVIDIA H100-80-GB-GPUs angehängt.
  • Bei beschleunigungsoptimierten A2-Maschinentypen sind NVIDIA A100-GPUs angehängt. Diese sind in den Optionen A100 mit 40 GB sowie A100 mit 80 GB verfügbar.
  • Bei beschleunigungsoptimierten G2-Maschinentypen sind NVIDIA L4-GPUs angehängt.

Hinweise

  • Weitere erforderliche Schritte wie das Auswählen eines Betriebssystem-Images und das Prüfen von GPU-Kontingenten finden Sie im Dokument Übersicht.
  • Richten Sie die Authentifizierung ein, falls Sie dies noch nicht getan haben. Bei der Authentifizierung wird Ihre Identität für den Zugriff auf Google Cloud-Dienste und APIs überprüft. Zur Ausführung von Code oder Beispielen aus einer lokalen Entwicklungsumgebung können Sie sich so bei Compute Engine authentifizieren.

    Select the tab for how you plan to use the samples on this page:

    Console

    When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.

    gcloud

    1. Install the Google Cloud CLI, then initialize it by running the following command: 

      gcloud init
    2. Set a default region and zone.

      3. REST

      Verwenden Sie die von der gcloud CLI bereitgestellten Anmeldedaten, um die REST API-Beispiele auf dieser Seite in einer lokalen Entwicklungsumgebung zu verwenden.

        Install the Google Cloud CLI, then initialize it by running the following command: 

        gcloud init

      Weitere Informationen finden Sie unter Für die Verwendung von REST authentifizieren in der Dokumentation zur Google Cloud-Authentifizierung.

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie für die Erstellung von VMs benötigen, bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für das Projekt zu gewähren. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen von VMs erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Erstellen von VMs erforderlich:

  • compute.instances.create für das Projekt
  • So erstellen Sie die VM mit einem benutzerdefinierten Image: compute.images.useReadOnly für das Image
  • So erstellen Sie die VM mit einem Snapshot: compute.snapshots.useReadOnly für den Snapshot
  • So verwenden Sie eine Instanzvorlage zum Erstellen der VM: compute.instanceTemplates.useReadOnly für die Instanzvorlage
  • So weisen Sie der VM ein Legacy-Netzwerk zu: compute.networks.use für das Projekt
  • So geben Sie eine statische IP-Adresse für die VM an: compute.addresses.use für das Projekt
  • So weisen Sie der VM eine externe IP-Adresse zu, wenn Sie ein Legacy-Netzwerk verwenden: compute.networks.useExternalIp für das Projekt.
  • So geben Sie ein Subnetz für Ihre VM an: compute.subnetworks.use für das Projekt oder für das ausgewählte Subnetz
  • So weisen Sie der VM eine externe IP-Adresse zu, wenn Sie ein VPC-Netzwerk verwenden: compute.subnetworks.useExternalIp für das Projekt oder im ausgewählten Subnetz.
  • So legen Sie VM-Instanzmetadaten für die VM fest: compute.instances.setMetadata für das Projekt
  • Zum Festlegen von Tags für die VM: compute.instances.setTags auf der VM
  • So legen Sie Labels für die VM fest: compute.instances.setLabels für die VM
  • So legen Sie ein Dienstkonto für die VM fest: compute.instances.setServiceAccount für die VM
  • So erstellen Sie ein neues Laufwerk für die VM: compute.disks.create für das Projekt
  • So hängen Sie ein vorhandenes Laufwerk im Lese- oder Lese-/Schreibmodus an: compute.disks.use auf dem Laufwerk
  • So hängen Sie ein vorhandenes Laufwerk im Lesemodus an: compute.disks.useReadOnly auf dem Laufwerk

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

VM mit angehängten GPUs erstellen

Sie können eine A3-, A2- oder G2-Beschleunigeroptimierte VM erstellen, indem Sie entweder die Google Cloud Console, die Google Cloud CLI oder REST verwenden.

Für einige Anpassungen an Ihren G2-VMs müssen Sie möglicherweise die Google Cloud CLI oder REST verwenden. Siehe G2-Standardeinschränkungen.

Console

  1. Rufen Sie in der Google Cloud Console die Seite Instanz erstellen auf.

    Zur Seite „Instanz erstellen“

  2. Geben Sie einen Namen für Ihre VM an. Weitere Informationen finden Sie unter Konvention für Ressourcennamen.

  3. Wählen Sie eine Region und Zone aus, in denen GPUs verfügbar sind. Siehe dazu die Liste der verfügbaren GPU-Regionen und -Zonen.

  4. Wählen Sie im Abschnitt Maschinenkonfiguration die Maschinenfamilie GPUs aus und gehen Sie dann so vor:

    1. Wählen Sie in der Liste GPU-Typ Ihren GPU-Typ aus.

      • Wählen Sie für A3-Beschleunigeroptimierte VMs NVIDIA H100 80GB aus.
      • Wählen Sie für beschleunigungsoptimierte A2-VMs entweder NVIDIA A100 40GB oder NVIDIA A100 80GB aus.
      • Wählen Sie für beschleunigungsoptimierte G2-VMs NVIDIA L4 aus.

    2. Wählen Sie in der Liste Anzahl der GPUs die Anzahl der GPUs aus.

    3. Wenn Ihr GPU-Modell NVIDIA RTX Virtual Workstations (vWS) für Grafikarbeitslasten unterstützt und Sie grafikintensive Arbeitslasten auf dieser VM ausführen möchten, wählen Sie Virtuelle Workstation (NVIDIA GRID) aktivieren

  5. Klicken Sie im Abschnitt Bootlaufwerk auf Ändern. Dadurch wird die Seite Konfiguration des Bootlaufwerks geöffnet.

  6. Führen Sie auf der Seite Bootlaufwerkkonfiguration die folgenden Schritte aus:

    1. Wählen Sie auf dem Tab Öffentliche Images ein unterstütztes Compute Engine-Image oder Deep Learning VM Images aus.
    2. Geben Sie eine Bootlaufwerkgröße von mindestens 40 GB an.
    3. Klicken Sie auf Auswählen, um die Bootlaufwerksoptionen zu bestätigen.

  7. Konfigurieren Sie alle weiteren erforderlichen VM-Einstellungen. Sie können beispielsweise die Einstellungen für die Abrufbarkeit ändern, um Ihre VM als Instanz auf Abruf zu konfigurieren. Dadurch senken Sie die Kosten für die VM und die angehängten GPUs. Weitere Informationen finden Sie unter GPUs auf Instanzen auf Abruf.

  8. Klicken Sie zum Erstellen und Starten der VM auf Erstellen.

gcloud

Verwenden Sie zum Erstellen und Starten einer VM den Befehl gcloud compute instances create mit den folgenden Flags. VMs mit GPUs können nicht live migriert werden. Achten Sie darauf, das Flag --maintenance-policy=TERMINATE festzulegen.

Die folgenden optionalen Flags werden im Beispielbefehl gezeigt:

  • Das Flag --preemptible, das Ihre VM als VM-Instanz auf Abruf konfiguriert. Dadurch senken Sie die Kosten für Ihre Instanz und der angehängten GPUs. Weitere Informationen finden Sie unter GPUs auf Instanzen auf Abruf.
  • Das Flag --accelerator zur Angabe einer virtuellen Workstation. Virtuelle NVIDIA RTX-Workstations (vWS) werden nur für G2-VMs unterstützt.
  gcloud compute instances create VM_NAME \
      --machine-type=MACHINE_TYPE \
      --zone=ZONE \
      --boot-disk-size=DISK_SIZE \
      --image=IMAGE \
      --image-project=IMAGE_PROJECT \
      --maintenance-policy=TERMINATE --restart-on-failure \
      [--preemptible] \
      [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]
Dabei gilt:
  • VM_NAME: Der Name für die neue VM.
  • MACHINE_TYPE: Der ausgewählte Maschinentyp Wählen Sie eine der folgenden Optionen aus:
    • Ein A3-Maschinentyp.
    • Ein A2-Maschinentyp.
    • Ein G2-Maschinentyp. G2-Maschinentypen unterstützen auch benutzerdefinierten Arbeitsspeicher. Der Arbeitsspeicher muss ein Vielfaches von 1.024 MB sein und innerhalb des unterstützten Arbeitsspeicherbereichs liegen. Geben Sie beispielsweise --machine-type=g2-custom-4-19456 an, um eine VM mit 4 vCPUs und 19 GB Arbeitsspeicher zu erstellen.
  • ZONE: Die Zone für die VM. Diese Zone muss das ausgewählte GPU-Modell unterstützen.
  • DISK_SIZE: die Größe Ihres Bootlaufwerks in GB. Geben Sie eine Bootlaufwerkgröße von mindestens 40 GB an.
  • IMAGE: Ein Betriebssystem-Image, das GPUs unterstützt. Wenn Sie das neueste Image in einer Image-Familie verwenden möchten, ersetzen Sie das Flag --image durch das Flag --image-family und legen Sie dessen Wert auf eine Image-Familie fest, die GPUs unterstützt. Beispiel: --image-family=rocky-linux-8-optimized-gcp.
    Sie können auch ein benutzerdefiniertes Image oder Deep Learning VM Images angeben.
  • IMAGE_PROJECT: Das Compute Engine-Image-Projekt, zu dem das Betriebssystem-Image gehört. Wenn Sie ein benutzerdefiniertes Image oder Deep Learning VM Images verwenden, geben Sie das Projekt an, zu dem diese Images gehören.
  • VWS_ACCELERATOR_COUNT ist die Anzahl der benötigten virtuellen GPUs.

REST

Senden Sie eine POST-Anfrage an die Methode instances.insert. VMs mit GPUs können keine Live-Migration ausführen. Setzen Sie den Parameter onHostMaintenance auf TERMINATE.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
"machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
"disks":
[
  {
    "type": "PERSISTENT",
    "initializeParams":
    {
      "diskSizeGb": "DISK_SIZE",
      "sourceImage": "SOURCE_IMAGE_URI"
    },
    "boot": true
  }
],
"name": "VM_NAME",
"networkInterfaces":
[
  {
    "network": "projects/PROJECT_ID/global/networks/NETWORK"
  }
],
"scheduling":
{
  "onHostMaintenance": "terminate",
  "automaticRestart": true
},
}
Ersetzen Sie dabei Folgendes:
  • VM_NAME: Der Name für die neue VM.
  • PROJECT_ID: Ihre Projekt-ID
  • ZONE: Die Zone für die VM. Diese Zone muss das ausgewählte GPU-Modell unterstützen.
  • MACHINE_TYPE: Der ausgewählte Maschinentyp Wählen Sie eine der folgenden Optionen aus:
    • Ein A3-Maschinentyp.
    • Ein A2-Maschinentyp.
    • Ein G2-Maschinentyp. G2-Maschinentypen unterstützen auch benutzerdefinierten Arbeitsspeicher. Der Arbeitsspeicher muss ein Vielfaches von 1.024 MB sein und innerhalb des unterstützten Arbeitsspeicherbereichs liegen. Geben Sie beispielsweise --machine-type=g2-custom-4-19456 an, um eine VM mit 4 vCPUs und 19 GB Arbeitsspeicher zu erstellen.
    SOURCE_IMAGE_URI: Der URI für das spezifische Image oder die Image-Familie, die Sie verwenden möchten. Beispiel:
    • Spezifisches Image: "sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
    • Imagefamilie: "sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp"
    Wenn Sie eine Image-Familie angeben, erstellt Compute Engine eine VM aus dem neuesten nicht verworfenen Betriebssystem-Image in dieser Familie. Weitere Informationen zur Verwendung von Image-Familien finden Sie unter Best Practices für Image-Familien.
  • DISK_SIZE: die Größe Ihres Bootlaufwerks in GB. Geben Sie eine Bootlaufwerkgröße von mindestens 40 GB an.
  • NETWORK: das VPC-Netzwerk, das Sie für die VM verwenden möchten. Sie können "Standard" angeben, um Ihr Standardnetzwerk zu verwenden.
Zusätzliche Einstellungen:
  • Sie können die Kosten Ihrer VM und der angehängten GPUs mithilfe von VMs auf Abruf reduzieren. Weitere Informationen finden Sie unter GPUs auf Instanzen auf Abruf. Fügen Sie der Anfrage die Option "preemptible": true hinzu, um die VM auf Abruf festzulegen. 
    "scheduling":
  {
    "onHostMaintenance": "terminate",
    "automaticRestart": true,
    "preemptible": true
  }
  • Für G2-VMs werden virtuelle NVIDIA RTX-Workstations (vWS) unterstützt. Fügen Sie der Anfrage die Option "guestAccelerators" hinzu, um eine virtuelle Workstation anzugeben. Ersetzen Sie VWS_ACCELERATOR_COUNT durch die Anzahl der benötigten virtuellen GPUs. 
    "guestAccelerators":
  [
    {
      "acceleratorCount": VWS_ACCELERATOR_COUNT,
      "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws"
    }
  ]

Beschränkungen

A3-Standard

  • Sie erhalten keine Rabatte für kontinuierliche Nutzung und flexible Rabatte für zugesicherte Nutzung für VMs, die A3-Standardmaschinentypen verwenden.
  • Sie können die A3-Standard-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
  • Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die A3-Standard-Maschinentypen verwenden.
  • Der A3-Standardmaschinentyp ist nur auf der Sapphire-Rapids-Plattform verfügbar.
  • Wenn Ihre VM einen A3-Standardmaschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie einen anderen Maschinentyp verwenden müssen, müssen Sie eine neue VM erstellen.
  • Sie können keinen anderen Maschinentyp in einen A3-Standardmaschinentyp ändern. Wenn Sie eine VM erstellen müssen, die einen A3-Standardmaschinentyp verwendet, müssen Sie eine neue VM erstellen.
  • A3-Standardmaschinentypen unterstützen keine Mandantenfähigkeit.
  • Sie können keine A3-Standardmaschinentypen auf Windows-Betriebssystemen ausführen.

A2-Standard

  • Sie erhalten keine Rabatte für kontinuierliche Nutzung und flexible Rabatte für zugesicherte Nutzung für VMs, die A2-Standardmaschinentypen verwenden.
  • Sie können die A2-Standard-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
  • Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die A2-Standard-Maschinentypen verwenden.
  • Die A2-Standard-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Wenn Ihre VM einen A2-Standardmaschinentyp verwendet, können Sie nur von einem A2-Standardmaschinentyp zu einem anderen A2-Standardmaschinentyp wechseln. Sie können keinen anderen Maschinentyp ändern. Weitere Informationen finden Sie unter Beschleunigeroptimierte VMs ändern.
  • Unter Windows-Betriebssystemen können Sie den A2-Standard-Maschinentyp a2-megagpu-16g nicht verwenden. Wählen Sie einen anderen A2-Standard-Maschinentyp aus, wenn Sie Windows-Betriebssysteme verwenden.
  • Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-VMs verwenden, die A2-Standard-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und format fs=ntfs label=tmpfs angeben.
  • A2-Standardmaschinentypen unterstützen keine Mandantenfähigkeit.

A2-Ultra

  • Sie erhalten keine Rabatte für kontinuierliche Nutzung und flexible Rabatte für zugesicherte Nutzung für VMs, die A2-Ultra-Maschinentypen verwenden.
  • Sie können die A2-Ultra-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
  • Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die A2-Ultra-Maschinentypen verwenden.
  • Die A2-Ultra-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Wenn Ihre VM einen A2-Ultra-Maschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie einen anderen A2-Ultra-Maschinentyp oder einen anderen Maschinentyp verwenden müssen, müssen Sie eine neue VM erstellen.
  • Sie können keinen anderen Maschinentyp in einen A2-Ultra-Maschinentyp ändern. Wenn Sie eine VM erstellen müssen, die eine A2-Ultra-Maschinenfamilie verwendet, müssen Sie eine neue VM erstellen.
  • Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-VMs verwenden, die A2-Ultra-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und format fs=ntfs label=tmpfs angeben.

G2-Standard

  • Sie erhalten keine Rabatte für kontinuierliche Nutzung und flexible Rabatte für zugesicherte Nutzung für VMs, die G2-Standardmaschinentypen verwenden.
  • Sie können die G2-Standard-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
  • Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die G2-Standard-Maschinentypen verwenden.
  • Die G2-Standard-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
  • Nichtflüchtige Standardspeicher (pd-standard) werden auf VMs, die G2-Standardmaschinentypen verwenden, nicht unterstützt. Informationen zu unterstützten Laufwerkstypen finden Sie unter Unterstützte Laufwerkstypen für G2.
  • Sie können keine GPUs mit mehreren Instanzen auf G2-Standard-Maschinentypen erstellen.
  • Wenn Sie den Maschinentyp einer G2-VM ändern müssen, lesen Sie die Informationen unter Beschleunigeroptimierte VMs ändern.
  • Sie können keine Deep Learning VM Images als Bootlaufwerke für Ihre VMs verwenden, die G2-Standard-Maschinentypen verwenden.
  • Der aktuelle Standardtreiber für Container-Optimized OS unterstützt keine L4-GPUs, die auf G2-Maschinentypen ausgeführt werden. Container-Optimized OS unterstützt auch nur bestimmte Treiber. Wenn Sie Container-Optimized OS auf G2-Maschinentypen verwenden möchten, lesen Sie die folgenden Hinweise:
    • Verwenden Sie eine Container-Optimized OS-Version, die die mindestens empfohlene NVIDIA-Treiberversion 525.60.13 oder höher unterstützt. Weitere Informationen finden Sie in den Versionshinweisen zu Container-Optimized OS.
    • Geben Sie bei der Installation des Treibers die neueste verfügbare Version an, die für die L4-GPUs funktioniert. Beispiel: sudo cos-extensions install gpu -- -version=525.60.13.
  • In den folgenden Szenarien müssen Sie über die Google Cloud CLI oder REST G2-VMs erstellen:
    • Sie möchten benutzerdefinierte Speicherwerte angeben.
    • Sie möchten die Anzahl der sichtbaren CPU-Kerne anpassen.

Treiber installieren

Damit die VM die GPU verwenden kann, müssen Sie den GPU-Treiber auf Ihrer VM installieren.

Beispiele

In diesen Beispielen werden VMs mithilfe der Google Cloud CLI erstellt. Alternativ können Sie zum Erstellen dieser VMs auch die Google Cloud Console oder REST verwenden.

Die folgenden Beispiele zeigen, wie VMs mit folgenden Images erstellt werden:

Öffentliches Betriebssystem-Image (G2)

Sie können VMs mit angehängten GPUs erstellen, die entweder ein öffentliches Image verwenden, das in Compute Engine verfügbar ist, oder ein benutzerdefiniertes Image.

Um eine VM mit dem neuesten, nicht verworfenen Image aus der Rocky Linux 8-Image-Familie, die für die Google Cloud-Image-Familie optimiert ist zu erstellen, die den g2-standard-8-Maschinentyp und eine virtuelle NVIDIA RTX-Workstation nutzen, führen Sie die folgenden Schritte aus:

  1. Erstellen Sie die VM. In diesem Beispiel werden auch optionale Flags wie Bootlaufwerktyp und Größe angegeben.

    gcloud compute instances create VM_NAME \
    --project=PROJECT_ID \
    --zone=ZONE \
    --machine-type=g2-standard-8  \
    --maintenance-policy=TERMINATE --restart-on-failure \
    --network-interface=nic-type=GVNIC \
    --accelerator=type=nvidia-l4-vws,count=1 \
    --image-family=rocky-linux-8-optimized-gcp \
    --image-project=rocky-linux-cloud \
    --boot-disk-size=200GB \
    --boot-disk-type=pd-ssd

    Ersetzen Sie Folgendes:

    • VM_NAME: der Name Ihrer VM
    • PROJECT_ID: Ihre Projekt-ID
    • ZONE: Die Zone für die VM.

  2. Installieren Sie NVIDIA-Treiber und CUDA. Für NVIDIA L4-GPUs ist CUDA Version XX oder höher erforderlich.

DLVM-Image (A2)

Die Verwendung von DLVM-Images ist der einfachste Weg, da die Images bereits die NVIDIA-Treiber und CUDA-Bibliotheken enthalten.

Diese Images bieten auch Leistungsoptimierungen.

Folgende DLVM-Images werden für NVIDIA A100 unterstützt:

  • common-cu110: NVIDIA-Treiber und CUDA, vorinstalliert
  • tf-ent-1-15-cu110: NVIDIA-Treiber, CUDA, TensorFlow Enterprise 1.15.3. vorinstalliert
  • tf2-ent-2-1-cu110: NVIDIA-Treiber, CUDA, TensorFlow Enterprise 2.1.1, vorinstalliert
  • tf2-ent-2-3-cu110: NVIDIA-Treiber, CUDA, TensorFlow Enterprise 2.3.1, vorinstalliert
  • pytorch-1-6-cu110: NVIDIA-Treiber, CUDA, Pytorch 1.6

Weitere Informationen zu den verfügbaren DLVM-Images und den auf den Images installierten Paketen finden Sie in der Deep Learning VM-Dokumentation.

  1. Erstellen Sie eine VM mit dem tf2-ent-2-3-cu110-Image und dem Maschinentyp a2-highgpu-1g. In diesem Beispiel sind optionale Flags wie Größe und Bereich des Bootlaufwerks angegeben.

    gcloud compute instances create VM_NAME \
   --project PROJECT_ID \
   --zone ZONE \
   --machine-type a2-highgpu-1g \
   --maintenance-policy TERMINATE --restart-on-failure \
   --image-family tf2-ent-2-3-cu110 \
   --image-project deeplearning-platform-release \
   --boot-disk-size 200GB \
   --metadata "install-nvidia-driver=True,proxy-mode=project_editors" \
   --scopes https://www.googleapis.com/auth/cloud-platform

    Ersetzen Sie Folgendes:

    • VM_NAME: der Name Ihrer VM
    • PROJECT_ID: Ihre Projekt-ID
    • ZONE: Die Zone für die VM.

  2. Der vorherige Beispielbefehl generiert auch eine vom Nutzer verwaltete Notebook-Instanz von Vertex AI Workbench für die VM. Rufen Sie in der Google Cloud Console die Seite Vertex AI Workbench > Nutzerverwaltete Notebooks auf, um auf das Notebook zuzugreifen.

    Zur Seite "Nutzerverwaltete Notebooks"

COS (A3)

Sie können VMs mit angehängten H100 GPUs mithilfe von COS-Images (Container-optimized) erstellen.

Eine ausführliche Anleitung zum Einrichten von A3-VMs, die Container-Optimized OS verwenden, finden Sie unter Netzwerkleistung mit GPUDirect-TCPX verbessern.

GPU mit mehreren Instanzen (nur A3- und A2-VMs)

Eine GPU mit mehreren Instanzen partitioniert eine einzelne NVIDIA- H100- oder A100-GPU innerhalb derselben VM in bis zu sieben unabhängige GPU-Instanzen. Sie werden gleichzeitig ausgeführt, jeder verfügt über einen eigenen Arbeitsspeicher, Cache und eigene Streaming-Multiprozessoren. Mit dieser Konfiguration kann die NVIDIA H100- oder A100-GPU eine garantierte Dienstqualität mit bis zu siebenmal höherer Leistung im Vergleich zu früheren GPU-Modellen bereitstellen.

Sie können bis zu sieben GPUs mit mehreren Instanzen erstellen. Bei A100 40 GB-GPUs wird jeder Multi-Instanz-GPU 5 GB Arbeitsspeicher zugewiesen. Mit den A100 80GB- und H100 80GB-GPUs verdoppelt sich der zugewiesene Arbeitsspeicher auf jeweils 10 GB.

Weitere Informationen zur Verwendung von GPUs mit mehreren Instanzen finden Sie im NVIDIA-Nutzerhandbuch für mehrere GPU-Instanzen.

Führen Sie folgende Schritte aus, um GPUs mit mehreren Instanzen zu erstellen:

  1. Erstellen Sie eine A3- oder A2-Beschleunigeroptimierte VM.

  2. Aktivieren Sie NVIDIA-GPU-Treiber.

  3. GPUs mit mehreren Instanzen aktivieren

    sudo nvidia-smi -mig 1

  4. Prüfen Sie die verfügbaren GPU-Formen mit mehreren Instanzen.

    sudo nvidia-smi mig --list-gpu-instance-profiles

    Die Ausgabe sieht etwa so aus:

    +-----------------------------------------------------------------------------+
| GPU instance profiles:                                                      |
| GPU   Name             ID    Instances   Memory     P2P    SM    DEC   ENC  |
|                              Free/Total   GiB              CE    JPEG  OFA  |
|=============================================================================|
|   0  MIG 1g.10gb       19     7/7        9.62       No     16     1     0   |
|                                                             1     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.10gb+me    20     1/1        9.62       No     16     1     0   |
|                                                             1     1     1   |
+-----------------------------------------------------------------------------+
|   0  MIG 1g.20gb       15     4/4        19.50      No     26     1     0   |
|                                                             1     1     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 2g.20gb       14     3/3        19.50      No     32     2     0   |
|                                                             2     2     0   |
+-----------------------------------------------------------------------------+
|   0  MIG 3g.40gb        9     2/2        39.25      No     60     3     0   |
|                                                             3     3     0   |
+-----------------------------------------------------------------------------+
.......

  5. Erstellen Sie die gewünschte Multi-Instance GPU (GI) und die zugehörigen Compute-Instanzen (CI). Sie können diese Instanzen erstellen, indem Sie entweder den vollständigen oder abgekürzten Profilnamen, die Profil-ID oder eine Kombination aus beiden angeben. Weitere Informationen finden Sie unter GPU-Instanzen erstellen.

    Im folgenden Beispiel werden zwei MIG 3g.20gb-GPU-Instanzen anhand der Profil-ID (9) erstellt.

    Weiter wird das Flag -C angegeben, das die zugehörigen Compute-Instanzen für das erforderliche Profil erstellt.

    sudo nvidia-smi mig -cgi 9,9 -C

  6. Prüfen Sie, ob die beiden Multi-Instanz-GPUs erstellt wurden:

    sudo nvidia-smi mig -lgi

  7. Prüfen Sie, ob die GIs und die entsprechenden CIs erstellt wurden.

    sudo nvidia-smi

    Die Ausgabe sieht in etwa so aus:

    +-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.125.06   Driver Version: 525.125.06   CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  NVIDIA H100 80G...  Off  | 00000000:04:00.0 Off |                   On |
| N/A   33C    P0    70W / 700W |     39MiB / 81559MiB |     N/A      Default |
|                               |                      |              Enabled |
+-------------------------------+----------------------+----------------------+
|   1  NVIDIA H100 80G...  Off  | 00000000:05:00.0 Off |                   On |
| N/A   32C    P0    69W / 700W |     39MiB / 81559MiB |     N/A      Default |
|                               |                      |              Enabled |
+-------------------------------+----------------------+----------------------+
......

+-----------------------------------------------------------------------------+
| MIG devices:                                                                |
+------------------+----------------------+-----------+-----------------------+
| GPU  GI  CI  MIG |         Memory-Usage |        Vol|         Shared        |
|      ID  ID  Dev |           BAR1-Usage | SM     Unc| CE  ENC  DEC  OFA  JPG|
|                  |                      |        ECC|                       |
|==================+======================+===========+=======================|
|  0    1   0   0  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
|                  |      0MiB / 65535MiB |           |                       |
+------------------+----------------------+-----------+-----------------------+
|  0    2   0   1  |     19MiB / 40192MiB | 60      0 |  3   0    3    0    3 |
|                  |      0MiB / 65535MiB |           |                       |
+------------------+----------------------+-----------+-----------------------+
......

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

Nächste Schritte