Deep Learning-VM-Instanz mit PyTorch erstellen

Auf dieser Seite wird beschrieben, wie Sie eine Deep Learning-VM-Imagesinstanz mit vorinstalliertem PyTorch und anderen Tools erstellen. Sie können eine PyTorch-Instanz über Cloud Marketplace in der Google Cloud Console oder über die Befehlszeile erstellen.

Vorbereitung

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Wenn Sie mit der Deep Learning-VM GPUs verwenden, prüfen Sie auf der Seite "Kontingente", ob die Anzahl der im Projekt verfügbaren GPUs ausreicht. Wenn auf der Seite "Kontingente" keine GPUs aufgeführt sind oder Sie zusätzliche GPU-Kontingente benötigen, können Sie eine Erhöhung des Kontingents beantragen.

Deep Learning-VM-Instanz mit PyTorch in Google Cloud Marketplace erstellen

Führen Sie die folgenden Schritte aus, um über Cloud Marketplace eine Deep Learning-VM-Instanz mit PyTorch zu erstellen:

  1. Rufen Sie in der Google Cloud Console die Seite "Deep Learning VM Cloud Marketplace" auf.

    Zur Seite "Deep Learning VM Cloud Marketplace"

  2. Klicken Sie auf Jetzt starten.

  3. Geben Sie einen Bereitstellungsnamen ein, der zum Stamm für Ihren VM-Namen wird. Compute Engine fügt bei der Benennung der Instanz das Suffix -vm an.

  4. Zone auswählen

  5. Wählen Sie unter Maschinentyp die gewünschten Spezifikationen für die VM aus Weitere Informationen zu Maschinentypen.

  6. Wählen Sie unter GPUs den GPU-Typ und die Anzahl der GPUs aus. Wenn Sie keine GPUs verwenden möchten, klicken Sie auf die Schaltfläche GPU löschen und fahren Sie mit Schritt 7 fort. Weitere Informationen zu GPUs.

    1. Wählen Sie einen GPU-Typ aus. Nicht alle GPU-Typen sind in allen Zonen verfügbar. Kombinationen finden, die unterstützt werden
    2. Wählen Sie die Anzahl der GPUs aus. Jede GPU unterstützt eine unterschiedliche Anzahl von GPUs. Kombinationen finden, die unterstützt werden

  7. Wählen Sie unter Framework die Option PyTorch 1.8 + fast.ai 2.1 (CUDA 11.0) aus.

  8. Wenn Sie GPUs verwenden, ist ein NVIDIA-Treiber erforderlich. Sie können den Treiber selbst installieren oder die Option NVIDIA GPU-Treiber bei Start-up automatisch installieren auswählen.

  9. Sie können die Option Zugriff auf JupyterLab über URL statt SSH aktivieren (Beta) auswählen. Wenn Sie diese Betafunktion aktivieren, können Sie über eine URL auf Ihre JupyterLab-Instanz zugreifen. Alle, die in Ihrem Google Cloud-Projekt die Rollen Bearbeiter oder Inhaber haben, können auf diese URL zugreifen. Derzeit funktioniert diese Funktion nur in den USA, der Europäischen Union und Asien.

  10. Wählen Sie einen Typ für das Bootlaufwerk und die Größe des Bootlaufwerks aus.

  11. Wählen Sie die gewünschten Netzwerkeinstellungen aus.

  12. Klicken Sie auf Deploy.

Wenn Sie sich für das Installieren von NVIDIA-Treibern entschieden haben, dauert die Installation drei bis fünf Minuten.

Nach dem Bereitstellen der VM wird die Seite mit einer Anleitung für den Zugriff auf die Instanz aktualisiert.

Deep Learning-VM-Instanz mit PyTorch über die Befehlszeile erstellen

Wenn Sie die Google Cloud CLI zum Erstellen einer neuen Deep-Learning-VM-Instanz verwenden möchten, müssen Sie zuerst die Google Cloud CLI installieren und initialisieren:

  1. Laden Sie die Google Cloud-CLI herunter und installieren Sie sie. Folgen Sie dabei der Anleitung unter Google Cloud CLI installieren.
  2. Initialisieren Sie das SDK gemäß der Anleitung in Cloud SDK initialisieren.

Wenn Sie gcloud in Cloud Shell verwenden möchten, aktivieren Sie zuerst Cloud Shell. Folgen Sie dazu der Anleitung unter Cloud Shell starten.

Ohne GPUs

Geben Sie in der Befehlszeile den folgenden Befehl ein, um eine Deep Learning-VM-Instanz mit der neuesten PyTorch-Image-Familie und einer CPU zu erstellen:

export IMAGE_FAMILY="pytorch-latest-cpu"
export ZONE="us-west1-b"
export INSTANCE_NAME="my-instance"

gcloud compute instances create $INSTANCE_NAME \
  --zone=$ZONE \
  --image-family=$IMAGE_FAMILY \
  --image-project=deeplearning-platform-release

Optionen:

  • --image-family muss entweder pytorch-latest-cpu oder pytorch-VERSION-cpu sein, z. B. pytorch-1-13-cpu.

  • --image-project muss deeplearning-platform-release lauten.

Mit einer oder mehreren GPUs

In Compute Engine können Sie Ihren VM-Instanzen eine oder mehrere GPUs hinzufügen. GPUs ermöglichen bei vielen komplexen Aufgaben in den Bereichen Daten und maschinelles Lernen eine schnellere Verarbeitung. Weitere Informationen zu GPUs finden Sie unter GPUs in Compute Engine.

Geben Sie in der Befehlszeile den folgenden Befehl ein, um eine Deep Learning-VM-Instanz mit der neuesten PyTorch-Image-Familie und einer oder mehreren angehängten GPUs zu erstellen:

export IMAGE_FAMILY="pytorch-latest-gpu"
export ZONE="us-west1-b"
export INSTANCE_NAME="my-instance"

gcloud compute instances create $INSTANCE_NAME \
  --zone=$ZONE \
  --image-family=$IMAGE_FAMILY \
  --image-project=deeplearning-platform-release \
  --maintenance-policy=TERMINATE \
  --accelerator="type=nvidia-tesla-v100,count=1" \
  --metadata="install-nvidia-driver=True"

Optionen:

  • --image-family muss entweder pytorch-latest-gpu oder pytorch-VERSION-CUDA-VERSION sein, z. B. pytorch-1-10-cu110.

  • --image-project muss deeplearning-platform-release lauten.

  • --maintenance-policy muss TERMINATE lauten. Weitere Informationen finden Sie unter GPU-Einschränkungen.

  • --accelerator gibt den zu verwendenden GPU-Typ an. Dieser muss im Format --accelerator="type=TYPE,count=COUNT" angegeben werden. Beispiel: --accelerator="type=nvidia-tesla-p100,count=2" Eine Liste der verfügbaren GPU-Typen und -Anzahl finden Sie in der Tabelle der GPU-Modelle.

    Nicht alle GPU-Typen werden in allen Regionen unterstützt. Weitere Informationen finden Sie unter Verfügbarkeit von GPU-Regionen und -Zonen.

  • Mit --metadata wird angegeben, dass der NVIDIA-Treiber für Sie installiert werden soll. Der Wert ist install-nvidia-driver=True. Ist er angegeben, lädt Compute Engine beim ersten Start den aktuellen stabilen Treiber und führt die erforderlichen Schritte aus (einschließlich eines abschließenden Neustarts zum Aktivieren des Treibers).

Wenn Sie sich für das Installieren von NVIDIA-Treibern entschieden haben, dauert die Installation drei bis fünf Minuten.

Die vollständige Bereitstellung der VM kann bis zu fünf Minuten dauern. In diesem Zeitraum können Sie keine SSH-Verbindung mit dem Computer herstellen. Nach Abschluss der Installation können Sie prüfen, ob die Treiber erfolgreich installiert wurden. Dazu stellen Sie eine SSH-Verbindung her und führen nvidia-smi aus.

Wenn Sie das Image konfiguriert haben, können Sie einen Snapshot des Image speichern. Sie können davon abgeleitete Instanzen erstellen, ohne dass Sie abwarten müssen, bis die Treiber installiert wurden.

Instanz auf Abruf erstellen

Sie können eine Deep Learning-VM-Instanz auf Abruf erstellen. Eine Instanz auf Abruf kann zu einem wesentlich günstigeren Preis als normale Instanzen erstellt und ausgeführt werden. Compute Engine kann diese Instanzen jedoch (auf Abruf) beenden, wenn für andere Aufgaben Zugriff auf diese Ressourcen benötigt wird. Instanzen auf Abruf werden immer nach 24 Stunden beendet. Weitere Informationen zu Instanzen auf Abruf finden Sie unter VM-Instanzen auf Abruf.

So erstellen Sie eine Deep Learning-VM-Instanz auf Abruf:

  • Befolgen Sie die obige Anleitung und erstellen Sie eine neue Instanz über die Befehlszeile. An den Befehl gcloud compute instances create fügen Sie Folgendes an:

      --preemptible

Nächste Schritte

Eine Anleitung zum Herstellen einer Verbindung mit Ihrer neuen Deep Learning-VM-Instanz über die GCP Console oder die Befehlszeile finden Sie unter Verbindung zu Instanzen herstellen. Als Name der Instanz gilt der von Ihnen angegebene Bereitstellungsname mit dem Suffix -vm.