Gruppen von GPU-VMs mit Instanzvorlagen erstellen

Mit Instanzvorlagen können Sie verwaltete Instanzgruppen erstellen und dabei jeder Instanz GPUs hinzufügen. Verwaltete Instanzgruppen verwenden die Vorlage, um mehrere identische Instanzen zu erstellen. Die Anzahl der Instanzen in der Gruppe können Sie entsprechend Ihrer Arbeitslast skalieren.

Da für die erstellten Instanzen das CUDA-Toolkit und der NVIDIA-Treiber installiert sein müssen, lautet der Prozess zum Erstellen einer Instanzvorlage für GPU-Instanzen:

  1. Erstellen Sie eine Instanz mit angehängten GPUs.
  2. Installieren Sie einen GPU-Treiber für die Instanz.
  3. Erstellen Sie ein Image von dem Laufwerk, das mit der VM-Instanz verknüpft ist, auf der die GPUs und Treiber installiert sind.
  4. Verwenden Sie das Image, um eine Instanzvorlage zu erstellen.
  5. Verwenden Sie die Vorlage, um eine Instanzgruppe zu erstellen.

Hinweise

  • Richten Sie die Authentifizierung ein, falls Sie dies noch nicht getan haben. Bei der Authentifizierung wird Ihre Identität für den Zugriff auf Google Cloud-Dienste und APIs überprüft. Zur Ausführung von Code oder Beispielen aus einer lokalen Entwicklungsumgebung können Sie sich so bei Compute Engine authentifizieren.

    Wählen Sie den Tab für die Verwendung der Beispiele auf dieser Seite aus:

    Console

    Wenn Sie über die Google Cloud Console auf Google Cloud-Dienste und -APIs zugreifen, müssen Sie die Authentifizierung nicht einrichten.

    gcloud

    1. Installieren Sie die Google Cloud CLI und initialisieren Sie sie mit folgendem Befehl: 

      gcloud init
    2. Legen Sie eine Standardregion und -zone fest.

    Terraform

    Wenn Sie die Terraform-Beispiele auf dieser Seite aus einer lokalen Entwicklungsumgebung heraus verwenden möchten, installieren und initialisieren Sie die gcloud CLI und richten dann die Standardanmeldedaten für Anwendungen mit Ihren Nutzeranmeldedaten ein.

    1. Installieren Sie die Google Cloud CLI.

    2. Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren: 

      gcloud init

    3. Erstellen Sie lokale Anmeldedaten zur Authentifizierung für Ihr Google-Konto: 

      gcloud auth application-default login

    Weitere Informationen: Authentifizierung für eine lokale Entwicklungsumgebung einrichten.

Instanzvorlage erstellen

Sie können eine globale oder regionale Instanzvorlage erstellen. Wenn Sie eine regionale Instanzvorlage erstellen möchten, müssen Sie eine Region auswählen, in der mindestens eine Zone das gewünschte GPU-Modell unterstützt.

Schritte zum Erstellen einer Instanzvorlage finden Sie unter Instanzvorlagen erstellen.

Console

Damit Sie die Instanzvorlage mithilfe der Console erstellen können, müssen Sie die folgenden Anpassungen vornehmen:

  • Geben Sie den Maschinentyp an.
  • Geben Sie den Namen und die Familie Ihres benutzerdefinierten Images mit den angehängten GPUs und Treibern an.

Weitere Informationen zur Verwendung benutzerdefinierter Images finden Sie unter Verwendung benutzerdefinierter und öffentlicher Images in Ihren Instanzvorlagen.

gcloud

Fügen Sie die Flags --accelerators und --maintenance-policy TERMINATE ein, um die Instanzvorlage mithilfe des Befehls gcloud compute instance-templates create zu erstellen. Wenn Sie eine regionale Instanzvorlage erstellen möchten, müssen Sie mit dem Flag --instance-template-region die Region der Vorlage angeben.

Im folgenden Beispiel wird eine globale Instanzvorlage mit 2 vCPUs, einem Bootlaufwerk mit 250 GB, das auf Ihrem Image (mit installierten Treibern) beruht, sowie einer NVIDIA T4-GPU erstellt. Ersetzen Sie my-image und my-project durch das Image und den Projektnamen für das Image mit den angehängten GPUs und Treibern.

gcloud compute instance-templates create gpu-template \
    --machine-type n1-standard-2 \
    --boot-disk-size 250GB \
    --accelerator type=nvidia-tesla-t4,count=1 \
    --image-family my-image \
    --image-project my-project \
    --maintenance-policy TERMINATE \
    --restart-on-failure

Terraform

In den folgenden Beispielen wird eine globale Instanzvorlage mit 2 vCPUs, einem Bootlaufwerk mit 250 GB, das auf einem Image (mit installierten Treibern) beruht, sowie einer NVIDIA T4-GPU erstellt. Weitere Informationen zu der im Beispiel verwendeten Ressource finden Sie unter google_compute_instance_template-Ressource.

Verwenden Sie zum Erstellen einer regionalen Instanzvorlage die Ressource google_compute_region_instance_template.

compute/instance_template_with_gpu/main.tf 
resource "google_compute_instance_template" "default" {
  name         = "gpu-template"
  machine_type = "n1-standard-2"

  disk {
    source_image = "debian-cloud/debian-11"
  }

  network_interface {
    network = "default"
  }

  guest_accelerator {
    type  = "nvidia-tesla-t4"
    count = 1
  }

  scheduling {
    on_host_maintenance = "TERMINATE"
  }
}

Informationen zum Anwenden oder Entfernen einer Terraform-Konfiguration finden Sie unter Grundlegende Terraform-Befehle.

Instanzgruppe erstellen

Verwenden Sie die neue Vorlage, um eine Instanzgruppe zu erstellen. Jedes Mal, wenn Sie der Gruppe eine Instanz hinzufügen, wird die Instanz mit den Einstellungen in der Instanzvorlage hochgefahren.

Wenn Sie eine regional verwaltete Instanzgruppe erstellen, müssen Sie Zonen auswählen, die das gewünschte GPU-Modell unterstützen. Eine Liste der GPU-Modelle und verfügbaren Zonen finden Sie unter GPUs in Compute Engine. Im folgenden Beispiel wird eine regional verwaltete Instanzgruppe über zwei Zonen erstellt, die das Modell nvidia-tesla-t4 unterstützen.

gcloud compute instance-groups managed create example-rmig \
    --template gpu-template --base-instance-name example-instances \
    --size 30 --zones us-east1-c,us-east1-d

Nächste Schritte