NVIDIA-GPUs verwenden

Auf dieser Seite wird beschrieben, wie Sie mithilfe von Knotenpools mit den Hardwarebeschleunigern des NVIDIA-Grafikprozessors (Graphics Processing Unit, GPU) Deep-Learning-Aufgaben wie Bilderkennung, Natural Language Processing sowie andere rechenintensive Aufgaben durchführen, um die nötige Rechenleistung für Ihre Cloud Run for Anthos-Container-Instanz zu haben.

Knotenpool mit GPUs einem GKE-Cluster hinzufügen

Ein Administrator soll einen Knotenpool mit GPUs erstellen:

1. Fügen Sie Ihrem GKE-Cluster einen GPU-fähigen Knotenpool hinzu.

2. Installieren Sie die NVIDIA-Gerätetreiber auf den Knoten.

Dienst für die Nutzung von GPUs einrichten

Sie können ein Ressourcenlimit für die Nutzung von GPUs für Ihren Dienst über die Google Cloud Console oder die Google Cloud CLI angeben, wenn Sie einen neuen Dienst bereitstellen, einen vorhandenen Dienst aktualisieren oder eine Überarbeitung bereitstellen:

Console

1. Zu Cloud Run for Anthos

2. Klicken Sie auf Dienst erstellen, um das Formular Dienst erstellen aufzurufen.

3. Führen Sie im Abschnitt Diensteinstellungen Folgendes aus:

   1. Wählen Sie den GKE-Cluster mit dem GPU-fähigen Knotenpool aus.
   2. Geben Sie den Namen an, den Sie dem Dienst geben möchten.
   3. Klicken Sie auf Weiter, um mit dem nächsten Abschnitt fortzufahren.

4. Gehen Sie im Abschnitt Erste Überarbeitung des Dienstes konfigurieren so vor:

   

   1. Fügen Sie eine Container-Image-URL hinzu.
   2. Klicken Sie auf Erweiterte Einstellungen und wählen Sie im Menü Zugewiesene GPU die Anzahl der GPUs aus, die Sie Ihrem Dienst zuweisen möchten.

5. Klicken Sie auf Weiter, um mit dem nächsten Abschnitt fortzufahren.

6. Wählen Sie im Abschnitt Konfigurieren, wie dieser Dienst ausgelöst wird die Verbindung aus, die Sie zum Auslösen des Dienstes verwenden möchten.

7. Klicken Sie auf Erstellen, um das Image in Cloud Run for Anthos bereitzustellen. Warten Sie dann, bis die Bereitstellung abgeschlossen ist.

Befehlszeile

Achtung: Durch die Bereitstellung von Konfigurationsänderungen mithilfe von YAML-Dateien wird die Konfiguration Ihrer vorhandenen Dienste ersetzt. Da eine YAML-Datei alle Konfigurationen vollständig überschreibt, sollten Sie nicht mehrere Methoden zum Ändern Ihrer Dienste verwenden. Verwenden Sie z. B. keine YAML-Dateien in Verbindung mit der Google Cloud Console oder mit gcloud-Befehlen.

Sie können die Konfiguration eines vorhandenen Dienstes in eine YAML-Datei herunterladen – mit dem gcloud run services describe-Befehl mithilfe des Flags --format=export. Sie können diese YAML-Datei dann ändern und diese Änderungen mit dem Befehl gcloud beta run services replace bereitstellen. Sie müssen sicherstellen, dass Sie nur die angegebenen Attribute ändern.

1. Laden Sie die Konfiguration des Dienstes in eine Datei mit dem Namen service.yaml im lokalen Arbeitsbereich herunter:

   gcloud run services describe SERVICE --format export > service.yaml

   SERVICE durch den Namen Ihres Cloud Run for Anthos-Dienstes.

2. Aktualisieren Sie in Ihrer lokalen Datei das Attribut nvidia.com/gpu:

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
   name: SERVICE_NAME
   spec:
   template:
    spec:
      containers:
      – image: IMAGE_URL
        resources:
          limits:
           nvidia.com/gpu: "GPU_UNITS"
   

   Ersetzen Sie GPU_UNITS durch den gewünschten GPU-Wert in Kubernetes-GPU-Einheiten. Geben Sie beispielsweise 1 für 1 GPU an.

3. Stellen Sie die YAML-Datei bereit und ersetzen Sie den Dienst durch die neue Konfiguration, indem Sie den folgenden Befehl ausführen:

   gcloud beta run services replace service.yaml

Weitere Informationen zu GPU-Leistung und -Kosten finden Sie unter GPUs.