In diesem Dokument wird erläutert, wie Sie eine VM erstellen, die eine beschleunigungsoptimierte Maschinenfamilie verwendet. Die Beschleunigeroptimierte Maschinenfamilie ist in den Maschinentypen A3 Standard, A2 Standard und Ultra sowie in den G2-Standardmaschinentypen verfügbar.
An jeden Beschleunigungsoptimierten Maschinentyp ist ein bestimmtes Modell von NVIDIA-GPUs angehängt.
- Für A3-Beschleunigeroptimierte Maschinentypen sind NVIDIA H100-80-GB-GPUs angehängt.
- Bei beschleunigungsoptimierten A2-Maschinentypen sind NVIDIA A100-GPUs angehängt. Diese sind in den Optionen A100 mit 40 GB sowie A100 mit 80 GB verfügbar.
- Bei beschleunigungsoptimierten G2-Maschinentypen sind NVIDIA L4-GPUs angehängt.
Hinweise
- Weitere erforderliche Schritte wie das Auswählen eines Betriebssystem-Images und das Prüfen von GPU-Kontingenten finden Sie im Dokument Übersicht.
-
Richten Sie die Authentifizierung ein, falls Sie dies noch nicht getan haben.
Bei der Authentifizierung wird Ihre Identität für den Zugriff auf Google Cloud-Dienste und APIs überprüft.
Zur Ausführung von Code oder Beispielen aus einer lokalen Entwicklungsumgebung können Sie sich so bei Compute Engine authentifizieren.
Select the tab for how you plan to use the samples on this page:
Console
When you use the Google Cloud console to access Google Cloud services and APIs, you don't need to set up authentication.
gcloud
-
Install the Google Cloud CLI, then initialize it by running the following command:
gcloud init
- Set a default region and zone.
-
compute.instances.create
für das Projekt -
So erstellen Sie die VM mit einem benutzerdefinierten Image:
compute.images.useReadOnly
für das Image -
So erstellen Sie die VM mit einem Snapshot:
compute.snapshots.useReadOnly
für den Snapshot -
So verwenden Sie eine Instanzvorlage zum Erstellen der VM:
compute.instanceTemplates.useReadOnly
für die Instanzvorlage -
So weisen Sie der VM ein Legacy-Netzwerk zu:
compute.networks.use
für das Projekt -
So geben Sie eine statische IP-Adresse für die VM an:
compute.addresses.use
für das Projekt -
So weisen Sie der VM eine externe IP-Adresse zu, wenn Sie ein Legacy-Netzwerk verwenden:
compute.networks.useExternalIp
für das Projekt. -
So geben Sie ein Subnetz für Ihre VM an:
compute.subnetworks.use
für das Projekt oder für das ausgewählte Subnetz -
So weisen Sie der VM eine externe IP-Adresse zu, wenn Sie ein VPC-Netzwerk verwenden:
compute.subnetworks.useExternalIp
für das Projekt oder im ausgewählten Subnetz. -
So legen Sie VM-Instanzmetadaten für die VM fest:
compute.instances.setMetadata
für das Projekt -
Zum Festlegen von Tags für die VM:
compute.instances.setTags
auf der VM -
So legen Sie Labels für die VM fest:
compute.instances.setLabels
für die VM -
So legen Sie ein Dienstkonto für die VM fest:
compute.instances.setServiceAccount
für die VM -
So erstellen Sie ein neues Laufwerk für die VM:
compute.disks.create
für das Projekt -
So hängen Sie ein vorhandenes Laufwerk im Lese- oder Lese-/Schreibmodus an:
compute.disks.use
auf dem Laufwerk -
So hängen Sie ein vorhandenes Laufwerk im Lesemodus an:
compute.disks.useReadOnly
auf dem Laufwerk Rufen Sie in der Google Cloud Console die Seite Instanz erstellen auf.
Geben Sie einen Namen für Ihre VM an. Weitere Informationen finden Sie unter Konvention für Ressourcennamen.
Wählen Sie eine Region und Zone aus, in denen GPUs verfügbar sind. Siehe dazu die Liste der verfügbaren GPU-Regionen und -Zonen.
Wählen Sie im Abschnitt Maschinenkonfiguration die Maschinenfamilie GPUs aus und gehen Sie dann so vor:
Wählen Sie in der Liste GPU-Typ Ihren GPU-Typ aus.
- Wählen Sie für A3-Beschleunigeroptimierte VMs
NVIDIA H100 80GB
aus. - Wählen Sie für beschleunigungsoptimierte A2-VMs entweder
NVIDIA A100 40GB
oderNVIDIA A100 80GB
aus. - Wählen Sie für beschleunigungsoptimierte G2-VMs
NVIDIA L4
aus.
- Wählen Sie für A3-Beschleunigeroptimierte VMs
Wählen Sie in der Liste Anzahl der GPUs die Anzahl der GPUs aus.
Wenn Ihr GPU-Modell NVIDIA RTX Virtual Workstations (vWS) für Grafikarbeitslasten unterstützt und Sie grafikintensive Arbeitslasten auf dieser VM ausführen möchten, wählen Sie Virtuelle Workstation (NVIDIA GRID) aktivieren
Klicken Sie im Abschnitt Bootlaufwerk auf Ändern. Dadurch wird die Seite Konfiguration des Bootlaufwerks geöffnet.
Führen Sie auf der Seite Bootlaufwerkkonfiguration die folgenden Schritte aus:
- Wählen Sie auf dem Tab Öffentliche Images ein unterstütztes Compute Engine-Image oder Deep Learning VM Images aus.
- Geben Sie eine Bootlaufwerkgröße von mindestens 40 GB an.
- Klicken Sie auf Auswählen, um die Bootlaufwerksoptionen zu bestätigen.
Konfigurieren Sie alle weiteren erforderlichen VM-Einstellungen. Sie können beispielsweise die Einstellungen für die Abrufbarkeit ändern, um Ihre VM als Instanz auf Abruf zu konfigurieren. Dadurch senken Sie die Kosten für die VM und die angehängten GPUs. Weitere Informationen finden Sie unter GPUs auf Instanzen auf Abruf.
Klicken Sie zum Erstellen und Starten der VM auf Erstellen.
- Das Flag
--preemptible
, das Ihre VM als VM-Instanz auf Abruf konfiguriert. Dadurch senken Sie die Kosten für Ihre Instanz und der angehängten GPUs. Weitere Informationen finden Sie unter GPUs auf Instanzen auf Abruf. - Das Flag
--accelerator
zur Angabe einer virtuellen Workstation. Virtuelle NVIDIA RTX-Workstations (vWS) werden nur für G2-VMs unterstützt. VM_NAME
: Der Name für die neue VM.MACHINE_TYPE
: Der ausgewählte Maschinentyp Wählen Sie eine der folgenden Optionen aus:- Ein A3-Maschinentyp.
- Ein A2-Maschinentyp.
- Ein G2-Maschinentyp.
G2-Maschinentypen unterstützen auch benutzerdefinierten Arbeitsspeicher. Der Arbeitsspeicher muss ein Vielfaches von 1.024 MB sein und innerhalb des unterstützten Arbeitsspeicherbereichs liegen. Geben Sie beispielsweise
--machine-type=g2-custom-4-19456
an, um eine VM mit 4 vCPUs und 19 GB Arbeitsspeicher zu erstellen.
ZONE
: Die Zone für die VM. Diese Zone muss das ausgewählte GPU-Modell unterstützen.DISK_SIZE
: die Größe Ihres Bootlaufwerks in GB. Geben Sie eine Bootlaufwerkgröße von mindestens 40 GB an.IMAGE
: Ein Betriebssystem-Image, das GPUs unterstützt. Wenn Sie das neueste Image in einer Image-Familie verwenden möchten, ersetzen Sie das Flag--image
durch das Flag--image-family
und legen Sie dessen Wert auf eine Image-Familie fest, die GPUs unterstützt. Beispiel:--image-family=rocky-linux-8-optimized-gcp
.
Sie können auch ein benutzerdefiniertes Image oder Deep Learning VM Images angeben.IMAGE_PROJECT
: Das Compute Engine-Image-Projekt, zu dem das Betriebssystem-Image gehört. Wenn Sie ein benutzerdefiniertes Image oder Deep Learning VM Images verwenden, geben Sie das Projekt an, zu dem diese Images gehören.VWS_ACCELERATOR_COUNT
ist die Anzahl der benötigten virtuellen GPUs.VM_NAME
: Der Name für die neue VM.PROJECT_ID
: Ihre Projekt-IDZONE
: Die Zone für die VM. Diese Zone muss das ausgewählte GPU-Modell unterstützen.MACHINE_TYPE
: Der ausgewählte Maschinentyp Wählen Sie eine der folgenden Optionen aus:- Ein A3-Maschinentyp.
- Ein A2-Maschinentyp.
- Ein G2-Maschinentyp.
G2-Maschinentypen unterstützen auch benutzerdefinierten Arbeitsspeicher. Der Arbeitsspeicher muss ein Vielfaches von 1.024 MB sein und innerhalb des unterstützten Arbeitsspeicherbereichs liegen. Geben Sie beispielsweise
--machine-type=g2-custom-4-19456
an, um eine VM mit 4 vCPUs und 19 GB Arbeitsspeicher zu erstellen.
SOURCE_IMAGE_URI
: Der URI für das spezifische Image oder die Image-Familie, die Sie verwenden möchten. Beispiel:- Spezifisches Image:
"sourceImage": "projects/rocky-linux-cloud/global/images/rocky-linux-8-optimized-gcp-v20220719"
- Imagefamilie:
"sourceImage": "projects/rocky-linux-cloud/global/images/family/rocky-linux-8-optimized-gcp"
DISK_SIZE
: die Größe Ihres Bootlaufwerks in GB. Geben Sie eine Bootlaufwerkgröße von mindestens 40 GB an.NETWORK
: das VPC-Netzwerk, das Sie für die VM verwenden möchten. Sie können "Standard" angeben, um Ihr Standardnetzwerk zu verwenden.- Sie können die Kosten Ihrer VM und der angehängten GPUs mithilfe von VMs auf Abruf reduzieren. Weitere Informationen finden Sie unter GPUs auf Instanzen auf Abruf.
Fügen Sie der Anfrage die Option
"preemptible": true
hinzu, um die VM auf Abruf festzulegen."scheduling": { "onHostMaintenance": "terminate", "automaticRestart": true, "preemptible": true }
- Für G2-VMs werden virtuelle NVIDIA RTX-Workstations (vWS) unterstützt. Fügen Sie der Anfrage die Option "guestAccelerators" hinzu, um eine virtuelle Workstation anzugeben.
Ersetzen Sie
VWS_ACCELERATOR_COUNT
durch die Anzahl der benötigten virtuellen GPUs."guestAccelerators": [ { "acceleratorCount": VWS_ACCELERATOR_COUNT, "acceleratorType": "projects/PROJECT_ID/zones/ZONEacceleratorTypes/nvidia-l4-vws" } ]
- Sie erhalten keine Rabatte für kontinuierliche Nutzung und flexible Rabatte für zugesicherte Nutzung für VMs, die A3-Standardmaschinentypen verwenden.
- Sie können die A3-Standard-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
- Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die A3-Standard-Maschinentypen verwenden.
- Der A3-Standardmaschinentyp ist nur auf der Sapphire-Rapids-Plattform verfügbar.
- Wenn Ihre VM einen A3-Standardmaschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie einen anderen Maschinentyp verwenden müssen, müssen Sie eine neue VM erstellen.
- Sie können keinen anderen Maschinentyp in einen A3-Standardmaschinentyp ändern. Wenn Sie eine VM erstellen müssen, die einen A3-Standardmaschinentyp verwendet, müssen Sie eine neue VM erstellen.
- A3-Standardmaschinentypen unterstützen keine Mandantenfähigkeit.
- Sie können keine A3-Standardmaschinentypen auf Windows-Betriebssystemen ausführen.
- Sie erhalten keine Rabatte für kontinuierliche Nutzung und flexible Rabatte für zugesicherte Nutzung für VMs, die A2-Standardmaschinentypen verwenden.
- Sie können die A2-Standard-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
- Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die A2-Standard-Maschinentypen verwenden.
- Die A2-Standard-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
- Wenn Ihre VM einen A2-Standardmaschinentyp verwendet, können Sie nur von einem A2-Standardmaschinentyp zu einem anderen A2-Standardmaschinentyp wechseln. Sie können keinen anderen Maschinentyp ändern. Weitere Informationen finden Sie unter Beschleunigeroptimierte VMs ändern.
- Unter Windows-Betriebssystemen können Sie den A2-Standard-Maschinentyp
a2-megagpu-16g
nicht verwenden. Wählen Sie einen anderen A2-Standard-Maschinentyp aus, wenn Sie Windows-Betriebssysteme verwenden. - Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-VMs verwenden, die A2-Standard-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und
format fs=ntfs label=tmpfs
angeben. - A2-Standardmaschinentypen unterstützen keine Mandantenfähigkeit.
- Sie erhalten keine Rabatte für kontinuierliche Nutzung und flexible Rabatte für zugesicherte Nutzung für VMs, die A2-Ultra-Maschinentypen verwenden.
- Sie können die A2-Ultra-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
- Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die A2-Ultra-Maschinentypen verwenden.
- Die A2-Ultra-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
- Wenn Ihre VM einen A2-Ultra-Maschinentyp verwendet, können Sie den Maschinentyp nicht ändern. Wenn Sie einen anderen A2-Ultra-Maschinentyp oder einen anderen Maschinentyp verwenden müssen, müssen Sie eine neue VM erstellen.
- Sie können keinen anderen Maschinentyp in einen A2-Ultra-Maschinentyp ändern. Wenn Sie eine VM erstellen müssen, die eine A2-Ultra-Maschinenfamilie verwendet, müssen Sie eine neue VM erstellen.
- Sie können die schnelle Formatierung der angehängten lokalen SSDs nicht auf Windows-VMs verwenden, die A2-Ultra-Maschinentypen verwenden. Um diese lokalen SSDs zu formatieren, müssen Sie eine vollständige Formatierung mit dem diskpart-Dienstprogramm durchführen und
format fs=ntfs label=tmpfs
angeben. - Sie erhalten keine Rabatte für kontinuierliche Nutzung und flexible Rabatte für zugesicherte Nutzung für VMs, die G2-Standardmaschinentypen verwenden.
- Sie können die G2-Standard-Maschinentypen nur in bestimmten Regionen und Zonen verwenden.
- Sie können regionale nichtflüchtige Speicher nicht auf VMs verwenden, die G2-Standard-Maschinentypen verwenden.
- Die G2-Standard-Maschinentypen sind nur auf der Cascade Lake-Plattform verfügbar.
- Nichtflüchtige Standardspeicher (
pd-standard
) werden auf VMs, die G2-Standardmaschinentypen verwenden, nicht unterstützt. Informationen zu unterstützten Laufwerkstypen finden Sie unter Unterstützte Laufwerkstypen für G2. - Sie können keine GPUs mit mehreren Instanzen auf G2-Standard-Maschinentypen erstellen.
- Wenn Sie den Maschinentyp einer G2-VM ändern müssen, lesen Sie die Informationen unter Beschleunigeroptimierte VMs ändern.
- Sie können keine Deep Learning VM Images als Bootlaufwerke für Ihre VMs verwenden, die G2-Standard-Maschinentypen verwenden.
- Der aktuelle Standardtreiber für Container-Optimized OS unterstützt keine L4-GPUs, die auf G2-Maschinentypen ausgeführt werden. Container-Optimized OS unterstützt auch nur bestimmte Treiber.
Wenn Sie Container-Optimized OS auf G2-Maschinentypen verwenden möchten, lesen Sie die folgenden Hinweise:
- Verwenden Sie eine Container-Optimized OS-Version, die die mindestens empfohlene NVIDIA-Treiberversion
525.60.13
oder höher unterstützt. Weitere Informationen finden Sie in den Versionshinweisen zu Container-Optimized OS. - Geben Sie bei der Installation des Treibers die neueste verfügbare Version an, die für die L4-GPUs funktioniert.
Beispiel:
sudo cos-extensions install gpu -- -version=525.60.13
.
- Verwenden Sie eine Container-Optimized OS-Version, die die mindestens empfohlene NVIDIA-Treiberversion
- In den folgenden Szenarien müssen Sie über die Google Cloud CLI oder REST G2-VMs erstellen:
- Sie möchten benutzerdefinierte Speicherwerte angeben.
- Sie möchten die Anzahl der sichtbaren CPU-Kerne anpassen.
- Öffentliches oder benutzerdefiniertes Image. In diesem Beispiel wird eine G2-VM verwendet.
- Deep Learning VM Images. In diesem Beispiel wird eine A2-VM verwendet.
COS-Image (Container-optimized). In diesem Beispiel wird eine A3-VM verwendet.
Erstellen Sie die VM. In diesem Beispiel werden auch optionale Flags wie Bootlaufwerktyp und Größe angegeben.
gcloud compute instances create VM_NAME \ --project=PROJECT_ID \ --zone=ZONE \ --machine-type=g2-standard-8 \ --maintenance-policy=TERMINATE --restart-on-failure \ --network-interface=nic-type=GVNIC \ --accelerator=type=nvidia-l4-vws,count=1 \ --image-family=rocky-linux-8-optimized-gcp \ --image-project=rocky-linux-cloud \ --boot-disk-size=200GB \ --boot-disk-type=pd-ssd
Ersetzen Sie Folgendes:
VM_NAME
: der Name Ihrer VMPROJECT_ID
: Ihre Projekt-IDZONE
: Die Zone für die VM.
Installieren Sie NVIDIA-Treiber und CUDA. Für NVIDIA L4-GPUs ist CUDA Version XX oder höher erforderlich.
common-cu110
: NVIDIA-Treiber und CUDA, vorinstallierttf-ent-1-15-cu110
: NVIDIA-Treiber, CUDA, TensorFlow Enterprise 1.15.3. vorinstallierttf2-ent-2-1-cu110
: NVIDIA-Treiber, CUDA, TensorFlow Enterprise 2.1.1, vorinstallierttf2-ent-2-3-cu110
: NVIDIA-Treiber, CUDA, TensorFlow Enterprise 2.3.1, vorinstalliertpytorch-1-6-cu110
: NVIDIA-Treiber, CUDA, Pytorch 1.6Erstellen Sie eine VM mit dem
tf2-ent-2-3-cu110
-Image und dem Maschinentypa2-highgpu-1g
. In diesem Beispiel sind optionale Flags wie Größe und Bereich des Bootlaufwerks angegeben.gcloud compute instances create VM_NAME \ --project PROJECT_ID \ --zone ZONE \ --machine-type a2-highgpu-1g \ --maintenance-policy TERMINATE --restart-on-failure \ --image-family tf2-ent-2-3-cu110 \ --image-project deeplearning-platform-release \ --boot-disk-size 200GB \ --metadata "install-nvidia-driver=True,proxy-mode=project_editors" \ --scopes https://www.googleapis.com/auth/cloud-platform
Ersetzen Sie Folgendes:
VM_NAME
: der Name Ihrer VMPROJECT_ID
: Ihre Projekt-IDZONE
: Die Zone für die VM.
Der vorherige Beispielbefehl generiert auch eine vom Nutzer verwaltete Notebook-Instanz von Vertex AI Workbench für die VM. Rufen Sie in der Google Cloud Console die Seite Vertex AI Workbench > Nutzerverwaltete Notebooks auf, um auf das Notebook zuzugreifen.
Erstellen Sie eine A3- oder A2-Beschleunigeroptimierte VM.
Aktivieren Sie NVIDIA-GPU-Treiber.
GPUs mit mehreren Instanzen aktivieren
sudo nvidia-smi -mig 1
Prüfen Sie die verfügbaren GPU-Formen mit mehreren Instanzen.
sudo nvidia-smi mig --list-gpu-instance-profiles
Die Ausgabe sieht etwa so aus:
+-----------------------------------------------------------------------------+ | GPU instance profiles: | | GPU Name ID Instances Memory P2P SM DEC ENC | | Free/Total GiB CE JPEG OFA | |=============================================================================| | 0 MIG 1g.10gb 19 7/7 9.62 No 16 1 0 | | 1 1 0 | +-----------------------------------------------------------------------------+ | 0 MIG 1g.10gb+me 20 1/1 9.62 No 16 1 0 | | 1 1 1 | +-----------------------------------------------------------------------------+ | 0 MIG 1g.20gb 15 4/4 19.50 No 26 1 0 | | 1 1 0 | +-----------------------------------------------------------------------------+ | 0 MIG 2g.20gb 14 3/3 19.50 No 32 2 0 | | 2 2 0 | +-----------------------------------------------------------------------------+ | 0 MIG 3g.40gb 9 2/2 39.25 No 60 3 0 | | 3 3 0 | +-----------------------------------------------------------------------------+ .......
Erstellen Sie die gewünschte Multi-Instance GPU (GI) und die zugehörigen Compute-Instanzen (CI). Sie können diese Instanzen erstellen, indem Sie entweder den vollständigen oder abgekürzten Profilnamen, die Profil-ID oder eine Kombination aus beiden angeben. Weitere Informationen finden Sie unter GPU-Instanzen erstellen.
Im folgenden Beispiel werden zwei
MIG 3g.20gb
-GPU-Instanzen anhand der Profil-ID (9
) erstellt.Weiter wird das Flag
-C
angegeben, das die zugehörigen Compute-Instanzen für das erforderliche Profil erstellt.sudo nvidia-smi mig -cgi 9,9 -C
Prüfen Sie, ob die beiden Multi-Instanz-GPUs erstellt wurden:
sudo nvidia-smi mig -lgi
Prüfen Sie, ob die GIs und die entsprechenden CIs erstellt wurden.
sudo nvidia-smi
Die Ausgabe sieht in etwa so aus:
+-----------------------------------------------------------------------------+ | NVIDIA-SMI 525.125.06 Driver Version: 525.125.06 CUDA Version: 12.0 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |===============================+======================+======================| | 0 NVIDIA H100 80G... Off | 00000000:04:00.0 Off | On | | N/A 33C P0 70W / 700W | 39MiB / 81559MiB | N/A Default | | | | Enabled | +-------------------------------+----------------------+----------------------+ | 1 NVIDIA H100 80G... Off | 00000000:05:00.0 Off | On | | N/A 32C P0 69W / 700W | 39MiB / 81559MiB | N/A Default | | | | Enabled | +-------------------------------+----------------------+----------------------+ ...... +-----------------------------------------------------------------------------+ | MIG devices: | +------------------+----------------------+-----------+-----------------------+ | GPU GI CI MIG | Memory-Usage | Vol| Shared | | ID ID Dev | BAR1-Usage | SM Unc| CE ENC DEC OFA JPG| | | | ECC| | |==================+======================+===========+=======================| | 0 1 0 0 | 19MiB / 40192MiB | 60 0 | 3 0 3 0 3 | | | 0MiB / 65535MiB | | | +------------------+----------------------+-----------+-----------------------+ | 0 2 0 1 | 19MiB / 40192MiB | 60 0 | 3 0 3 0 3 | | | 0MiB / 65535MiB | | | +------------------+----------------------+-----------+-----------------------+ ...... +-----------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=============================================================================| | No running processes found | +-----------------------------------------------------------------------------+
- Weitere Informationen zu GPU-Plattformen
- Lokale SSDs zu Instanzen hinzufügen Lokale SSDs arbeiten gut mit GPUs zusammen, wenn Ihre Anwendungen Hochleistungsspeicher benötigen
- Installieren Sie die GPU-Treiber.
- Wenn Sie die virtuelle NVIDIA RTX-Workstation aktiviert haben, installieren Sie einen Treiber für die virtuelle Workstation.
- GPU-Hostwartungen
REST
Verwenden Sie die von der gcloud CLI bereitgestellten Anmeldedaten, um die REST API-Beispiele auf dieser Seite in einer lokalen Entwicklungsumgebung zu verwenden.
Install the Google Cloud CLI, then initialize it by running the following command:
gcloud init
Weitere Informationen finden Sie unter Für die Verwendung von REST authentifizieren in der Dokumentation zur Google Cloud-Authentifizierung.
Erforderliche Rollen
Um die Berechtigungen zu erhalten, die Sie für die Erstellung von VMs benötigen, bitten Sie Ihren Administrator, Ihnen die IAM-Rolle Compute Instance Admin (v1) (
roles/compute.instanceAdmin.v1
) für das Projekt zu gewähren. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff verwalten.Diese vordefinierte Rolle enthält die Berechtigungen, die zum Erstellen von VMs erforderlich sind. Erweitern Sie den Abschnitt Erforderliche Berechtigungen, um die erforderlichen Berechtigungen anzuzeigen:
Erforderliche Berechtigungen
Die folgenden Berechtigungen sind zum Erstellen von VMs erforderlich:
Sie können diese Berechtigungen auch mit benutzerdefinierten Rollen oder anderen vordefinierten Rollen erhalten.
VM mit angehängten GPUs erstellen
Sie können eine A3-, A2- oder G2-Beschleunigeroptimierte VM erstellen, indem Sie entweder die Google Cloud Console, die Google Cloud CLI oder REST verwenden.
Für einige Anpassungen an Ihren G2-VMs müssen Sie möglicherweise die Google Cloud CLI oder REST verwenden. Siehe G2-Standardeinschränkungen.
Console
gcloud
Verwenden Sie zum Erstellen und Starten einer VM den Befehl
gcloud compute instances create
mit den folgenden Flags. VMs mit GPUs können nicht live migriert werden. Achten Sie darauf, das Flag--maintenance-policy=TERMINATE
festzulegen.Die folgenden optionalen Flags werden im Beispielbefehl gezeigt:
gcloud compute instances create VM_NAME \ --machine-type=MACHINE_TYPE \ --zone=ZONE \ --boot-disk-size=DISK_SIZE \ --image=IMAGE \ --image-project=IMAGE_PROJECT \ --maintenance-policy=TERMINATE --restart-on-failure \ [--preemptible] \ [--accelerator=type=nvidia-l4-vws,count=VWS_ACCELERATOR_COUNT]
Dabei gilt:REST
Senden Sie eine POST-Anfrage an die Methode
instances.insert
. VMs mit GPUs können keine Live-Migration ausführen. Setzen Sie den ParameteronHostMaintenance
aufTERMINATE
.POST https://compute.googleapis.com/compute/v1/projects/PROJECT_ID/zones/ZONE/instances { "machineType": "projects/PROJECT_ID/zones/ZONE/machineTypes/MACHINE_TYPE", "disks": [ { "type": "PERSISTENT", "initializeParams": { "diskSizeGb": "DISK_SIZE", "sourceImage": "SOURCE_IMAGE_URI" }, "boot": true } ], "name": "VM_NAME", "networkInterfaces": [ { "network": "projects/PROJECT_ID/global/networks/NETWORK" } ], "scheduling": { "onHostMaintenance": "terminate", "automaticRestart": true }, }
Ersetzen Sie dabei Folgendes:Beschränkungen
A3-Standard
A2-Standard
A2-Ultra
G2-Standard
Treiber installieren
Damit die VM die GPU verwenden kann, müssen Sie den GPU-Treiber auf Ihrer VM installieren.
Beispiele
In diesen Beispielen werden VMs mithilfe der Google Cloud CLI erstellt. Alternativ können Sie zum Erstellen dieser VMs auch die Google Cloud Console oder REST verwenden.
Die folgenden Beispiele zeigen, wie VMs mit folgenden Images erstellt werden:
Öffentliches Betriebssystem-Image (G2)
Sie können VMs mit angehängten GPUs erstellen, die entweder ein öffentliches Image verwenden, das in Compute Engine verfügbar ist, oder ein benutzerdefiniertes Image.
Um eine VM mit dem neuesten, nicht verworfenen Image aus der Rocky Linux 8-Image-Familie, die für die Google Cloud-Image-Familie optimiert ist zu erstellen, die den
g2-standard-8
-Maschinentyp und eine virtuelle NVIDIA RTX-Workstation nutzen, führen Sie die folgenden Schritte aus:DLVM-Image (A2)
Die Verwendung von DLVM-Images ist der einfachste Weg, da die Images bereits die NVIDIA-Treiber und CUDA-Bibliotheken enthalten.
Diese Images bieten auch Leistungsoptimierungen.
Folgende DLVM-Images werden für NVIDIA A100 unterstützt:
Weitere Informationen zu den verfügbaren DLVM-Images und den auf den Images installierten Paketen finden Sie in der Deep Learning VM-Dokumentation.
COS (A3)
Sie können VMs mit angehängten H100 GPUs mithilfe von COS-Images (Container-optimized) erstellen.
Eine ausführliche Anleitung zum Einrichten von A3-VMs, die Container-Optimized OS verwenden, finden Sie unter Netzwerkleistung mit GPUDirect-TCPX verbessern.
GPU mit mehreren Instanzen (nur A3- und A2-VMs)
Eine GPU mit mehreren Instanzen partitioniert eine einzelne NVIDIA- H100- oder A100-GPU innerhalb derselben VM in bis zu sieben unabhängige GPU-Instanzen. Sie werden gleichzeitig ausgeführt, jeder verfügt über einen eigenen Arbeitsspeicher, Cache und eigene Streaming-Multiprozessoren. Mit dieser Konfiguration kann die NVIDIA H100- oder A100-GPU eine garantierte Dienstqualität mit bis zu siebenmal höherer Leistung im Vergleich zu früheren GPU-Modellen bereitstellen.
Sie können bis zu sieben GPUs mit mehreren Instanzen erstellen. Bei A100 40 GB-GPUs wird jeder Multi-Instanz-GPU 5 GB Arbeitsspeicher zugewiesen. Mit den A100 80GB- und H100 80GB-GPUs verdoppelt sich der zugewiesene Arbeitsspeicher auf jeweils 10 GB.
Weitere Informationen zur Verwendung von GPUs mit mehreren Instanzen finden Sie im NVIDIA-Nutzerhandbuch für mehrere GPU-Instanzen.
Führen Sie folgende Schritte aus, um GPUs mit mehreren Instanzen zu erstellen:
Nächste Schritte
Sofern nicht anders angegeben, sind die Inhalte dieser Seite unter der Creative Commons Attribution 4.0 License und Codebeispiele unter der Apache 2.0 License lizenziert. Weitere Informationen finden Sie in den Websiterichtlinien von Google Developers. Java ist eine eingetragene Marke von Oracle und/oder seinen Partnern.
Zuletzt aktualisiert: 2024-08-21 (UTC).
[{ "type": "thumb-down", "id": "hardToUnderstand", "label":"Hard to understand" },{ "type": "thumb-down", "id": "incorrectInformationOrSampleCode", "label":"Incorrect information or sample code" },{ "type": "thumb-down", "id": "missingTheInformationSamplesINeed", "label":"Missing the information/samples I need" },{ "type": "thumb-down", "id": "translationIssue", "label":"Problem mit der Übersetzung" },{ "type": "thumb-down", "id": "otherDown", "label":"Sonstiges" }] [{ "type": "thumb-up", "id": "easyToUnderstand", "label":"Leicht verständlich" },{ "type": "thumb-up", "id": "solvedMyProblem", "label":"Mein Problem wurde gelöst" },{ "type": "thumb-up", "id": "otherUp", "label":"Sonstiges" }] -