Diese Seite wurde von der Cloud Translation API übersetzt.

A3 Ultra- oder A4-Instanz erstellen

In diesem Dokument wird beschrieben, wie Sie Instanzen mit angehängten GPUs aus den Maschinenserien A3 Ultra oder A4 erstellen. Weitere Informationen zum Erstellen von Instanzen mit angehängten GPUs finden Sie unter Instanz mit angehängten GPUs erstellen.

Hinweise

Informationen zu Einschränkungen und zusätzlichen erforderlichen Schritten zum Erstellen einer Instanz mit angehängten GPUs, z. B. zum Auswählen eines Betriebssystem-Images oder zum Prüfen des GPU-Kontingents, finden Sie unter Übersicht zum Erstellen einer Instanz mit angehängten GPUs.
Richten Sie die Authentifizierung ein, falls Sie dies noch nicht getan haben. Bei der Authentifizierung wird Ihre Identität für den Zugriff auf Google Cloud -Dienste und APIs überprüft. Zum Ausführen von Code oder Beispielen aus einer lokalen Entwicklungsumgebung können Sie sich so bei der Compute Engine authentifizieren:

Select the tab for how you plan to use the samples on this page:
Console

When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.
gcloud
1. Installieren Sie die Google Cloud CLI. Initialisieren Sie die Google Cloud CLI nach der Installation mit dem folgenden Befehl:
  gcloud init
  Wenn Sie einen externen Identitätsanbieter (IdP) verwenden, müssen Sie sich zuerst mit Ihrer föderierten Identität in der gcloud CLI anmelden.
  
  Hinweis:Wenn Sie die gcloud CLI bereits installiert haben, prüfen Sie, ob Sie die neueste Version haben, indem Sie gcloud components update ausführen.
2. Set a default region and zone.
REST

Wenn Sie die REST API-Beispiele auf dieser Seite in einer lokalen Entwicklungsumgebung verwenden möchten, verwenden Sie die Anmeldedaten, die Sie der gcloud CLI bereitstellen.
Weitere Informationen finden Sie in der Dokumentation zur Google Cloud -Authentifizierung unter Für die Verwendung von REST authentifizieren.

Erforderliche Rollen

Um die Berechtigungen zu erhalten, die Sie zum Erstellen von Instanzen benötigen, bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Compute Instance Admin (v1) (roles/compute.instanceAdmin.v1) für das Projekt zu gewähren. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen von Instanzen erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:

Erforderliche Berechtigungen

Die folgenden Berechtigungen sind zum Erstellen von Instanzen erforderlich:

compute.instances.create für das Projekt
So erstellen Sie die VM mit einem benutzerdefinierten Image: compute.images.useReadOnly für das Image
Um die VM mit einem Snapshot zu erstellen: compute.snapshots.useReadOnly für den Snapshot
So verwenden Sie eine Instanzvorlage zum Erstellen der VM: compute.instanceTemplates.useReadOnly für die Instanzvorlage
So weisen Sie der VM ein Legacy-Netzwerk zu: compute.networks.use für das Projekt
Um eine statische IP-Adresse für die VM festzulegen: compute.addresses.use für das Projekt
So weisen Sie der VM eine externe IP-Adresse zu, wenn Sie ein Legacy-Netzwerk verwenden: compute.networks.useExternalIp für das Projekt
So geben Sie ein Subnetz für Ihre VM an: compute.subnetworks.use für das Projekt oder für das ausgewählte Subnetz
So weisen Sie der VM eine externe IP-Adresse zu, wenn Sie ein VPC-Netzwerk verwenden: compute.subnetworks.useExternalIp für das Projekt oder für das ausgewählte Subnetz
Um Metadaten der VM-Instanz für die VM festzulegen: compute.instances.setMetadata für das Projekt
Zum Festlegen von Tags für die VM: compute.instances.setTags auf der VM
So legen Sie Labels für die VM fest: compute.instances.setLabels auf der VM
So legen Sie ein Dienstkonto für die VM fest: compute.instances.setServiceAccount auf der VM
Um ein neues Laufwerk für die VM zu erstellen: compute.disks.create für das Projekt
So hängen Sie ein vorhandenes Laufwerk im Lese- oder Lese-/Schreibmodus an: compute.disks.use für das Laufwerk
So hängen Sie ein vorhandenes Laufwerk im Lesemodus an: compute.disks.useReadOnly für das Laufwerk

Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.

Festlegen, wie A3-Ultra- oder A4-Instanzen erstellt werden

A3 Ultra- oder A4-Instanzen sind über die folgenden Erstellungsoptionen verfügbar, die jeweils unterschiedliche Erstellungsprozeduren, Ressourcenverfügbarkeit und Preise haben. Wählen Sie die Option aus, die für Ihre Arbeitslast am besten geeignet ist.

Wenn Sie KI- und ML-Arbeitslasten mit langer Laufzeit ausführen müssen, z. B. das Trainieren und die Inferenz großer Modelle, die die niedrigste Latenz erfordern, erstellen Sie VMs oder Cluster, die die von Cluster Director verfügbaren Funktionen und Dienste verwenden. Mit Cluster Director können Sie dicht zugewiesene Maschinen reservieren, die topologiebewusste Planung sowie erweitertes Monitoring und erweiterte Wartung bieten. Weitere Informationen zu Cluster Director finden Sie in der AI Hypercomputer-Dokumentation unter Cluster Director.

Eine Anleitung zum Erstellen von A3-Ultra- oder A4-Instanzen finden Sie in der AI Hypercomputer-Dokumentation unter Übersicht über das Erstellen von VMs und Clustern.
Wenn Sie KI- und ML-Arbeitslasten mit kürzerer Laufzeit benötigen, wählen Sie eine der folgenden Optionen aus:
- Wenn Ihre Arbeitslasten bis zu 90 Tage lang mit minimaler Netzwerklatenz ausgeführt werden müssen, können Sie dicht zugewiesene Maschinen für ein zukünftiges Datum reservieren, indem Sie Anfragen für vorausschauende Reservierungen im Kalendermodus verwenden. Zu Beginn des Reservierungszeitraums können Sie A3 Ultra- oder A4-Instanzen mit der reservierten Kapazität erstellen. Am Ende des Reservierungszeitraums löscht Compute Engine die Reservierung und alle VMs, die sie nutzen.
  
  Eine Anleitung zum Erstellen von A3 Ultra- oder A4-Instanzen, für die eine Reservierung verwendet wird, finden Sie in diesem Dokument unter A3 Ultra- oder A4-Instanz erstellen.
- Wenn Ihre Arbeitslasten jederzeit gestartet werden können und eine genaue Anzahl von VMs zum Starten benötigen, verwenden Sie Anfragen zur Größenänderung in einer verwalteten Instanzgruppe (Managed Instance Group, MIG). Mit Anfragen zur Größenanpassung von MIGs fordern Sie Compute Engine auf, Ihrer MIG gleichzeitig VMs hinzuzufügen, sobald Ressourcen verfügbar sind. Diese VMs können bis zu sieben Tage lang ausgeführt werden. Da Ressourcen aus einem gesicherten Pool bereitgestellt werden, haben Sie eine höhere Wahrscheinlichkeit, GPUs zu erhalten, als wenn Sie eine On-Demand-Anfrage stellen.
  
  Weitere Informationen zu Anfragen zur Größenänderung in einer MIG finden Sie unter Anfragen zur Größenänderung in einer MIG.
- Wenn Ihre Arbeitslasten Verfügbarkeitsunterbrechungen tolerieren, können Sie mit Spot-VMs erhebliche Rabatte erhalten. Sie können Spot-VMs nach Bedarf erstellen und löschen. Spot-VMs sind jedoch endliche Ressourcen und Compute Engine kann Spot-VMs jederzeit vorzeitig beenden oder löschen, um Kapazitäten zurückzugewinnen. Weitere Informationen zu Spot-VMs finden Sie unter Spot-VMs.
  
  Eine Anleitung zum Erstellen von A3-Ultra- oder A4-Instanzen mit Spot-VMs finden Sie in diesem Dokument unter A3-Ultra- oder A4-Instanz erstellen.

A3 Ultra- oder A4-Instanz erstellen

Führen Sie die folgenden Schritte aus, um eine A3 Ultra- oder A4-Instanz mit einer Reservierung oder Spot-VMs zu erstellen:

VPC-Netzwerke erstellen
Instanz erstellen
Instanz für die Verwendung vorbereiten

VPC-Netzwerke erstellen

Tipp:Wenn Sie einen Schnelltest einrichten, können Sie diesen Schritt überspringen und stattdessen eine einzelne NIC --network-interface=nic-type=GVNIC angeben.

Für den Maschinentyp „A4“ oder „A3 Ultra“ müssen Sie drei VPC-Netzwerke für die folgenden Netzwerkschnittstellen erstellen:

2 VPC-Netzwerke für die gVNIC-Netzwerkschnittstellen (NIC). Sie werden für die Host-zu-Host-Kommunikation verwendet.
Für die CX7-NICs ist ein VPC-Netzwerk mit dem RDMA-Netzwerkprofil erforderlich. Dieses Netzwerk muss acht Subnetze haben, ein Subnetz für jede CX7-NIC, und wird für die GPU-zu-GPU-Kommunikation verwendet.

Weitere Informationen zur NIC-Anordnung finden Sie unter Netzwerkbandbreite und NIC-Anordnung prüfen.

Sie können die Netzwerke entweder manuell einrichten, indem Sie der Anleitung folgen, oder automatisch mit dem bereitgestellten Skript.

Anleitungen

So erstellen Sie die Netzwerke:

Informationen zum Erstellen der VPC-Netzwerke für die gVNICs finden Sie unter VPC-Netzwerke erstellen und verwalten.
Informationen zum Erstellen des VPC-Netzwerks mit dem RDMA-Netzwerkprofil finden Sie unter VPC-Netzwerk für RDMA-NICs erstellen.

Für diese VPC-Netzwerke empfehlen wir, die maximale Übertragungseinheit (Maximum Transmission Unit, MTU) auf einen höheren Wert festzulegen. Für den Maschinentyp A4 oder A3 Ultra wird eine MTU von 8896 Byte empfohlen. Die empfohlenen MTU-Einstellungen für andere GPU-Maschinentypen finden Sie unter MTU-Einstellungen für GPU-Maschinentypen.

Skript

So erstellen Sie die Netzwerke:

Verwenden Sie dieses Skript, um das Netzwerk zu erstellen.

    #!/bin/bash

    # Create standard VPCs (network and subnets) for the gVNICs
    for N in $(seq 0 1); do
      gcloud compute networks create GVNIC_NAME_PREFIX-net-$N \
        --subnet-mode=custom \
        --mtu=8896

      gcloud compute networks subnets create GVNIC_NAME_PREFIX-sub-$N \
        --network=GVNIC_NAME_PREFIX-net-$N \
        --region=REGION \
        --range=10.$N.0.0/16

      gcloud compute firewall-rules create GVNIC_NAME_PREFIX-internal-$N \
        --network=GVNIC_NAME_PREFIX-net-$N \
        --action=ALLOW \
        --rules=tcp:0-65535,udp:0-65535,icmp \
        --source-ranges=10.0.0.0/8
    done

    # Create SSH firewall rules
    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-ssh \
      --network=GVNIC_NAME_PREFIX-net-0 \
      --action=ALLOW \
      --rules=tcp:22 \
      --source-ranges=IP_RANGE

    # Assumes that an external IP is only created for vNIC 0
    gcloud compute firewall-rules create GVNIC_NAME_PREFIX-allow-ping-net-0 \
      --network=GVNIC_NAME_PREFIX-net-0 \
      --action=ALLOW \
      --rules=icmp \
      --source-ranges=IP_RANGE

    # List and make sure network profiles exist in the machine type's zone
    gcloud compute network-profiles list --filter "location.name=ZONE"

    # Create network for CX-7
    gcloud compute networks create RDMA_NAME_PREFIX-mrdma \
      --network-profile=ZONE-vpc-roce \
      --subnet-mode custom \
      --mtu=8896

    # Create subnets
    for N in $(seq 0 7); do
      gcloud compute networks subnets create RDMA_NAME_PREFIX-mrdma-sub-$N \
        --network=RDMA_NAME_PREFIX-mrdma \
        --region=REGION \
        --range=10.$((N+2)).0.0/16 # offset to avoid overlap with gVNICs
    done

Ersetzen Sie Folgendes:

GVNIC_NAME_PREFIX: Das benutzerdefinierte Namenspräfix, das für die standardmäßigen VPC-Netzwerke und ‑Subnetze für die gVNICs verwendet werden soll.
RDMA_NAME_PREFIX: Das benutzerdefinierte Namenspräfix, das für das VPC-Netzwerk und die Subnetze mit dem RDMA-Netzwerkprofil für die CX7-NICs verwendet werden soll.
ZONE: Geben Sie eine Zone an, in der der Maschinentyp, den Sie verwenden möchten, verfügbar ist, z. B. us-central1-a. Informationen zu Regionen finden Sie unter GPU-Verfügbarkeit nach Regionen und Zonen.
REGION: die Region, in der Sie die Subnetze erstellen möchten. Diese Region muss der angegebenen Zone entsprechen. Wenn Ihre Zone beispielsweise us-central1-a ist, lautet Ihre Region us-central1.
IP_RANGE: Der IP-Bereich, der für die SSH-Firewallregeln verwendet werden soll.

Optional: Wenn Sie prüfen möchten, ob die VPC-Netzwerkressourcen erfolgreich erstellt wurden, sehen Sie sich die Netzwerkeinstellungen in der Google Cloud Console an:
1. Rufen Sie in der Google Cloud -Console die Seite VPC-Netzwerke auf.
  Zur Seite VPC-Netzwerke
2. Suchen Sie in der Liste nach den Netzwerken, die Sie im vorherigen Schritt erstellt haben.
3. Klicken Sie auf den Namen des Netzwerks, um die Subnetze, Firewallregeln und andere Netzwerkeinstellungen aufzurufen.

Die Instanz erstellen

Wählen Sie eine der folgenden Methoden aus, um eine A3 Ultra- oder A4-Instanz zu erstellen:

Instanz erstellen, die eine Reservierung nutzt
Spot-VM erstellen

Instanz erstellen, die eine Reservierung nutzt

Verwenden Sie eine der folgenden Optionen, um eine Instanz zu erstellen, für die eine Reservierung verwendet wird:

Console

Rufen Sie in der Google Cloud Console die Seite Instanz erstellen auf.

Zur Seite „Instanz erstellen“

Der Bildschirm Instanz erstellen wird angezeigt und enthält den Bereich Maschinenkonfiguration.
Führen Sie im Bereich Maschinenkonfiguration die folgenden Schritte aus:
1. Geben Sie unter Name einen Namen für Ihre Instanz an. Weitere Informationen finden Sie unter Konvention für Ressourcennamen.
2. Wählen Sie die Region und die Zone aus, in der Sie Kapazität reserviert haben.
3. Klicken Sie auf den Tab GPUs und führen Sie die folgenden Schritte aus:
  1. Wählen Sie in der Liste GPU-Typ Ihren GPU-Typ aus.
    - Wählen Sie für A4-Instanzen NVIDIA B200 aus.
    - Wählen Sie für A3 Ultra-Instanzen NVIDIA H200 141 GB aus.
  2. Wählen Sie in der Liste Anzahl der GPUs die Option 8 aus.
Klicken Sie im Navigationsmenü auf Betriebssystem und Speicher. Führen Sie im angezeigten Bereich Betriebssystem und Speicher die folgenden Schritte aus:
1. Klicken Sie auf Ändern. Der Bereich Konfiguration des Bootlaufwerks wird angezeigt.
2. Wählen Sie auf dem Tab Öffentliche Images ein empfohlenes Image aus. Eine Liste der empfohlenen Images finden Sie unter Betriebssysteme.
3. Klicken Sie auf Auswählen, um die Bootlaufwerksoptionen zu bestätigen.
Führen Sie die folgenden Schritte aus, um eine Instanz mit mehreren NICs zu erstellen. Andernfalls überspringen Sie diese Schritte, um eine Instanz mit einer einzelnen NIC zu erstellen.
- Klicken Sie im Navigationsmenü auf Netzwerk. Führen Sie im angezeigten Bereich Networking (Netzwerk) die folgenden Schritte aus:
  1. Führen Sie im Bereich Netzwerkschnittstellen die folgenden Schritte aus:
  2. Löschen Sie die Standardnetzwerkschnittstelle. Wenn Sie die Schnittstelle löschen möchten, klicken Sie auf Löschen.
  3. Klicken Sie auf Netzwerkschnittstelle hinzufügen. Mit dieser Option können Sie die gVNIC- und RDMA-Netzwerke hinzufügen, die Sie im vorherigen Abschnitt erstellt haben. Beachten Sie beim Hinzufügen der Netzwerke Folgendes:
    - Geben Sie Ihre Hostnetzwerke in den Listen Netzwerk und Subnetzwerk an und legen Sie die Liste Netzwerkkarte auf gVNIC fest.
    - Geben Sie Ihre GPU-Netzwerke in den Listen Netzwerk und Subnetzwerk an und legen Sie die Liste Netzwerkkarte für diese Netzwerke auf MRDMA fest.
Klicken Sie im Navigationsmenü auf Erweitert. Führen Sie im angezeigten Bereich Erweitert die folgenden Schritte aus:
1. Wählen Sie im Bereich Reservierungen die Option Reservierung auswählen und dann Reservierung auswählen aus. Dadurch wird ein Bereich mit einer Liste der verfügbaren Reservierungen in der ausgewählten Zone geöffnet. Führen Sie in der Reservierungsliste die folgenden Schritte aus:
  1. Wählen Sie die Reservierung aus, die Sie für die VM verwenden möchten. Sie können auch einen bestimmten Block innerhalb der Reservierung auswählen.
  2. Klicken Sie auf Auswählen.
2. Maximieren Sie im Abschnitt Bereitstellungsmodell den Abschnitt Erweiterte Einstellungen für das VM-Bereitstellungsmodell.
3. Wählen Sie in der Liste Bei VM-Beendigung die Option Beenden (Standardeinstellung) oder Löschen aus.
Klicken Sie zum Erstellen und Starten der Instanz auf Erstellen.

gcloud

Verwenden Sie zum Erstellen der VM den Befehl gcloud compute instances create.

gcloud compute instances create VM_NAME  \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
    --reservation-affinity=specific \
    --reservation=RESERVATION \
    --provisioning-model=RESERVATION_BOUND \
    --instance-termination-action=TERMINATION_ACTION \
    --maintenance-policy=TERMINATE

Ersetzen Sie Folgendes:

VM_NAME: der Name der VM.
MACHINE_TYPE ist der für die VM zu verwendende Maschinentyp. Geben Sie entweder einen A4- oder einen A3-Ultra-Maschinentyp an. Weitere Informationen finden Sie unter GPU-Maschinentypen.
IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste der unterstützten Betriebssysteme finden Sie unter Details zu Betriebssystemen.
IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
ZONE: die Zone, in der der Maschinentyp verfügbar ist, den Sie verwenden möchten. Informationen zu Regionen finden Sie unter GPU-Regionen und ‑Zonen.
DISK_SIZE: Die Größe des Bootlaufwerks in GB.
GVNIC_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der standardmäßigen VPC-Netzwerke und ‑Subnetze mit gVNICs angegeben haben.
RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und ‑Subnetze mit RDMA-NICs angegeben haben.
RESERVATION: entweder der Name der Reservierung oder ein bestimmter Block innerhalb einer Reservierung. Informationen zum Abrufen des Reservierungsnamens oder der verfügbaren Blöcke finden Sie unter Reservierte Kapazität ansehen. Wählen Sie je nach Ihren Anforderungen an die Platzierung der Instanz eine der folgenden Optionen aus:
- So erstellen Sie die Instanz in einem beliebigen Block:
```
projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
```
  Wenn Sie mehrere Instanzen im selben Block erstellen möchten, wenden Sie beim Erstellen jeder Instanz dieselbe Richtlinie für kompakte Platzierung an, die eine Block-Colocation (maxDistance=2) angibt. Compute Engine wendet die Richtlinie dann auf die Reservierung an und erstellt Instanzen im selben Block.
- So erstellen Sie die Instanz auf einem bestimmten Block:
```
projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
```
Tipp:Wenn die Reservierung im aktuellen Projekt vorhanden ist, können Sie projects/RESERVATION_OWNER_PROJECT_ID/reservations/ aus dem Reservierungswert weglassen.
TERMINATION_ACTION: Gibt an, ob Compute Engine die VM am Ende des Reservierungszeitraums beendet (STOP) oder löscht (DELETE).

REST

Senden Sie zum Erstellen der VM eine POST-Anfrage an die Methode instances.insert.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
  "machineType":"projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
  "name":"VM_NAME",
  "disks":[
    {
      "boot":true,
      "initializeParams":{
        "diskSizeGb":"DISK_SIZE",
        "diskType":"hyperdisk-balanced",
        "sourceImage":"projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
      },
      "mode":"READ_WRITE",
      "type":"PERSISTENT"
    }
  ],
  "networkInterfaces": [
    {
      "accessConfigs": [
        {
          "name": "external-nat",
          "type": "ONE_TO_ONE_NAT"
        }
      ],
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
    }
  ],
  "reservationAffinity":{
    "consumeReservationType":"SPECIFIC_RESERVATION",
    "key":"compute.googleapis.com/reservation-name",
    "values":[
      "RESERVATION"
    ]
  },
"scheduling":{
    "provisioningModel":"RESERVATION_BOUND",
    "instanceTerminationAction":"TERMINATION_ACTION",
    "onHostMaintenance": "TERMINATE",
    "automaticRestart":true
  }
}

Ersetzen Sie Folgendes:

PROJECT_ID: Die Projekt-ID des Projekts, in dem Sie die VM erstellen möchten.
ZONE: die Zone, in der der Maschinentyp verfügbar ist, den Sie verwenden möchten. Informationen zu Regionen finden Sie unter GPU-Regionen und ‑Zonen.
MACHINE_TYPE ist der für die VM zu verwendende Maschinentyp. Geben Sie entweder einen A4- oder einen A3-Ultra-Maschinentyp an. Weitere Informationen finden Sie unter GPU-Maschinentypen.
VM_NAME: der Name der VM.
DISK_SIZE: Die Größe des Bootlaufwerks in GB.
IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste der unterstützten Betriebssysteme finden Sie unter Details zu Betriebssystemen.
NETWORK_PROJECT_ID: die Projekt-ID des Netzwerks.
GVNIC_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der standardmäßigen VPC-Netzwerke und ‑Subnetze mit gVNICs angegeben haben.
REGION: die Region des Subnetzwerks.
RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und ‑Subnetze mit RDMA-NICs angegeben haben.
RESERVATION: entweder der Name der Reservierung oder ein bestimmter Block innerhalb einer Reservierung. Informationen zum Abrufen des Reservierungsnamens oder der verfügbaren Blöcke finden Sie unter Reservierte Kapazität ansehen. Wählen Sie je nach Ihren Anforderungen an die Platzierung der Instanz eine der folgenden Optionen aus:
- So erstellen Sie die Instanz in einem beliebigen Block:
```
projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME
```
  Wenn Sie mehrere Instanzen im selben Block erstellen möchten, wenden Sie beim Erstellen jeder Instanz dieselbe Richtlinie für kompakte Platzierung an, die eine Block-Colocation (maxDistance=2) angibt. Compute Engine wendet die Richtlinie dann auf die Reservierung an und erstellt Instanzen im selben Block.
- So erstellen Sie die Instanz auf einem bestimmten Block:
```
projects/RESERVATION_OWNER_PROJECT_ID/reservations/RESERVATION_NAME/reservationBlocks/RESERVATION_BLOCK_NAME
```
Tipp:Wenn die Reservierung im aktuellen Projekt vorhanden ist, können Sie projects/RESERVATION_OWNER_PROJECT_ID/reservations/ aus dem Reservierungswert weglassen.
TERMINATION_ACTION: Gibt an, ob Compute Engine die VM am Ende des Reservierungszeitraums beendet (STOP) oder löscht (DELETE).

Spot-VM erstellen

Verwenden Sie eine der folgenden Optionen, um die Spot-VM zu erstellen:

Console

Rufen Sie in der Google Cloud Console die Seite Instanz erstellen auf.

Zur Seite „Instanz erstellen“

Der Bildschirm Instanz erstellen wird angezeigt und enthält den Bereich Maschinenkonfiguration.
Führen Sie im Bereich Maschinenkonfiguration die folgenden Schritte aus:
1. Geben Sie unter Name einen Namen für Ihre Instanz an. Weitere Informationen finden Sie unter Konvention für Ressourcennamen.
2. Wählen Sie die Region und Zone aus, in der Sie eine VM erstellen möchten. Informationen dazu, in welchen Regionen und Zonen GPUs verfügbar sind, finden Sie unter GPU-Regionen und -Zonen.
3. Klicken Sie auf den Tab GPUs und führen Sie die folgenden Schritte aus:
  1. Wählen Sie in der Liste GPU-Typ Ihren GPU-Typ aus.
    - Wählen Sie für A4-Instanzen NVIDIA B200 aus.
    - Wählen Sie für A3 Ultra-Instanzen NVIDIA H200 141 GB aus.
  2. Wählen Sie in der Liste Anzahl der GPUs die Option 8 aus.
Klicken Sie im Navigationsmenü auf Betriebssystem und Speicher. Führen Sie im angezeigten Bereich Betriebssystem und Speicher die folgenden Schritte aus:
1. Klicken Sie auf Ändern. Der Bereich Konfiguration des Bootlaufwerks wird angezeigt.
2. Wählen Sie auf dem Tab Öffentliche Images ein empfohlenes Image aus. Eine Liste der empfohlenen Images finden Sie unter Betriebssysteme.
3. Klicken Sie auf Auswählen, um die Bootlaufwerksoptionen zu bestätigen.
Führen Sie die folgenden Schritte aus, um eine Instanz mit mehreren NICs zu erstellen. Andernfalls überspringen Sie diese Schritte, um eine Instanz mit einer einzelnen NIC zu erstellen.
- Klicken Sie im Navigationsmenü auf Netzwerk. Führen Sie im angezeigten Bereich Networking (Netzwerk) die folgenden Schritte aus:
  1. Führen Sie im Bereich Netzwerkschnittstellen die folgenden Schritte aus:
  2. Löschen Sie die Standardnetzwerkschnittstelle. Wenn Sie die Schnittstelle löschen möchten, klicken Sie auf Löschen.
  3. Klicken Sie auf Netzwerkschnittstelle hinzufügen. Mit dieser Option können Sie die gVNIC- und RDMA-Netzwerke hinzufügen, die Sie im vorherigen Abschnitt erstellt haben. Wenn Sie die Netzwerke hinzufügen, müssen Sie Folgendes tun:
    - Geben Sie Ihre Hostnetzwerke in den Listen Netzwerk und Subnetzwerk an und legen Sie die Liste Netzwerkkarte auf gVNIC fest.
    - Geben Sie Ihre GPU-Netzwerke in den Listen Netzwerk und Subnetzwerk an und legen Sie die Liste Netzwerkkarte für diese Netzwerke auf MRDMA fest.
Klicken Sie im Navigationsmenü auf Erweitert. Führen Sie im angezeigten Bereich Erweitert die folgenden Schritte aus:
1. Wählen Sie im Abschnitt Bereitstellungsmodell in der Liste VM-Bereitstellungsmodell die Option Spot aus.
2. Optional: So geben Sie die Aktion an, die ausgeführt werden soll, wenn Compute Engine die Instanz vorzeitig beendet:
  1. Maximieren Sie den Abschnitt Erweiterte Einstellungen für das VM-Bereitstellungsmodell.
  2. Wählen Sie in der Liste Bei VM-Beendigung die Option Beenden oder Löschen aus.
Klicken Sie zum Erstellen und Starten der Instanz auf Erstellen.

gcloud

Verwenden Sie zum Erstellen der VM den Befehl gcloud compute instances create.

gcloud compute instances create VM_NAME  \
    --machine-type=MACHINE_TYPE \
    --image-family=IMAGE_FAMILY \
    --image-project=IMAGE_PROJECT \
    --zone=ZONE \
    --boot-disk-type=hyperdisk-balanced \
    --boot-disk-size=DISK_SIZE \
    --scopes=cloud-platform \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-0,subnet=GVNIC_NAME_PREFIX-sub-0 \
    --network-interface=nic-type=GVNIC,network=GVNIC_NAME_PREFIX-net-1,subnet=GVNIC_NAME_PREFIX-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-0,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-1,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-2,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-3,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-4,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-5,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-6,no-address \
    --network-interface=nic-type=MRDMA,network=RDMA_NAME_PREFIX-mrdma,subnet=RDMA_NAME_PREFIX-mrdma-sub-7,no-address \
    --provisioning-model=SPOT \
    --instance-termination-action=TERMINATION_ACTION

Ersetzen Sie Folgendes:

VM_NAME: der Name der VM.
MACHINE_TYPE ist der für die VM zu verwendende Maschinentyp. Geben Sie entweder einen A4- oder einen A3-Ultra-Maschinentyp an. Weitere Informationen finden Sie unter GPU-Maschinentypen.
IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste der unterstützten Betriebssysteme finden Sie unter Details zu Betriebssystemen.
IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
ZONE: die Zone, in der der Maschinentyp verfügbar ist, den Sie verwenden möchten. Informationen zu Regionen finden Sie unter GPU-Regionen und ‑Zonen.
DISK_SIZE: Die Größe des Bootlaufwerks in GB.
GVNIC_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der standardmäßigen VPC-Netzwerke und ‑Subnetze mit gVNICs angegeben haben.
RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und ‑Subnetze mit RDMA-NICs angegeben haben.
TERMINATION_ACTION: Die Aktion, die ausgeführt werden soll, wenn Compute Engine die Instanz vorzeitig beendet, entweder STOP (Standard) oder DELETE.

Wichtig:Ihre Anwendung muss Unterbrechungen verarbeiten können. Wir empfehlen beispielsweise, die Präemption zu verarbeiten, indem Sie beim Erstellen der Instanz ein Shutdown-Skript angeben. Informationen zum Verwalten des vorzeitigen Beendens mit einem Shutdown-Skript

REST

Senden Sie zum Erstellen der VM eine POST-Anfrage an die Methode instances.insert.

POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances
{
  "machineType":"projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE",
  "name":"VM_NAME",
  "disks":[
    {
      "boot":true,
      "initializeParams":{
        "diskSizeGb":"DISK_SIZE",
        "diskType":"hyperdisk-balanced",
        "sourceImage":"projects/IMAGE_PROJECT/global/images/family/IMAGE_FAMILY"
      },
      "mode":"READ_WRITE",
      "type":"PERSISTENT"
    }
  ],
  "networkInterfaces": [
    {
      "accessConfigs": [
        {
          "name": "external-nat",
          "type": "ONE_TO_ONE_NAT"
        }
      ],
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-0",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/GVNIC_NAME_PREFIX-net-1",
      "nicType": "GVNIC",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/GVNIC_NAME_PREFIX-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-0"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-1"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-2"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-3"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-4"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-5"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-6"
    },
    {
      "network": "projects/NETWORK_PROJECT_ID/global/networks/RDMA_NAME_PREFIX-mrdma",
      "nicType": "MRDMA",
      "subnetwork": "projects/NETWORK_PROJECT_ID/region/REGION/subnetworks/RDMA_NAME_PREFIX-mrdma-sub-7"
    }
  ],
  "scheduling":
  {
    "provisioningModel": "SPOT",
    "instanceTerminationAction": "TERMINATION_ACTION"
  }
}

Ersetzen Sie Folgendes:

PROJECT_ID: Die Projekt-ID des Projekts, in dem Sie die VM erstellen möchten.
ZONE: die Zone, in der der Maschinentyp verfügbar ist, den Sie verwenden möchten. Informationen zu Regionen finden Sie unter GPU-Regionen und ‑Zonen.
MACHINE_TYPE ist der für die VM zu verwendende Maschinentyp. Geben Sie entweder einen A4- oder einen A3-Ultra-Maschinentyp an. Weitere Informationen finden Sie unter GPU-Maschinentypen.
VM_NAME: der Name der VM.
DISK_SIZE: Die Größe des Bootlaufwerks in GB.
IMAGE_PROJECT: die Projekt-ID des Betriebssystem-Images.
IMAGE_FAMILY: die Image-Familie des Betriebssystem-Images, das Sie verwenden möchten. Eine Liste der unterstützten Betriebssysteme finden Sie unter Details zu Betriebssystemen.
NETWORK_PROJECT_ID: die Projekt-ID des Netzwerks.
GVNIC_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der standardmäßigen VPC-Netzwerke und ‑Subnetze mit gVNICs angegeben haben.
REGION: die Region des Subnetzwerks.
RDMA_NAME_PREFIX: Das Namenspräfix, das Sie beim Erstellen der VPC-Netzwerke und ‑Subnetze mit RDMA-NICs angegeben haben.
TERMINATION_ACTION: Die Aktion, die ausgeführt werden soll, wenn Compute Engine die Instanz vorzeitig beendet, entweder STOP (Standard) oder DELETE.

Wichtig:Ihre Anwendung muss Unterbrechungen verarbeiten können. Wir empfehlen beispielsweise, die Präemption zu verarbeiten, indem Sie beim Erstellen der Instanz ein Shutdown-Skript angeben. Informationen zum Verwalten des vorzeitigen Beendens mit einem Shutdown-Skript

Instanz für die Verwendung vorbereiten

Führen Sie die folgenden Schritte aus, um eine Instanz mit angehängten GPUs für die Verwendung vorzubereiten:

Damit eine A4- oder A3-Ultra-Instanz die angehängten GPUs verwenden kann, müssen auf der Instanz GPU-Treiber installiert sein. Sofern das Image in der Instanz nicht bereits die erforderlichen GPU-Treiber enthält, installieren Sie GPU-Treiber.
Wenn Sie im vorherigen Abschnitt eine Spot-VM erstellt haben, führen Sie die folgenden Schritte aus:
- Informationen zum Vorbereiten Ihrer Spot-VM auf ein potenzielles vorzeitiges Beenden finden Sie unter Vorzeitiges Beenden von Spot-VMs verwalten.
- Optional: Best Practices für Spot-VMs

Nächste Schritte

Informationen zum Überwachen der GPU-Leistung finden Sie unter GPU-Leistung überwachen.
Informationen zur Fehlerbehebung bei GPU-Instanzen finden Sie unter Fehlerbehebung bei GPU-VMs.
Weitere Informationen zu GPU-Plattformen

A3 Ultra- oder A4-Instanz erstellen Mit Sammlungen den Überblick behalten Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.

Hinweise

Console

gcloud

REST

Erforderliche Rollen

Erforderliche Berechtigungen

Festlegen, wie A3-Ultra- oder A4-Instanzen erstellt werden

A3 Ultra- oder A4-Instanz erstellen

VPC-Netzwerke erstellen

Anleitungen

Skript

Die Instanz erstellen

Instanz erstellen, die eine Reservierung nutzt

Console

gcloud

REST

Spot-VM erstellen

Console

gcloud

REST

Instanz für die Verwendung vorbereiten

Nächste Schritte

A3 Ultra- oder A4-Instanz erstellen