NVIDIA-GPUs verwenden

Auf dieser Seite wird beschrieben, wie Sie mit Knotenpools mit Hardwarebeschleunigern der NVIDIA-Grafikverarbeitung (GPU) die Rechenleistung Ihrer Knative Serving-Containerinstanz für Deep-Learning-Aufgaben wie Bilderkennung, Natural Language Processing und andere rechenintensive Aufgaben steigern.

Knotenpool mit GPUs einem GKE-Cluster hinzufügen

Ein Administrator soll einen Knotenpool mit GPUs erstellen:

1. Fügen Sie Ihrem GKE-Cluster einen GPU-fähigen Knotenpool hinzu.

2. Installieren Sie die NVIDIA-Gerätetreiber auf den Knoten.

Dienst für die Nutzung von GPUs einrichten

Sie können ein Ressourcenlimit für die Nutzung von GPUs für Ihren Dienst über die Google Cloud Console oder die Google Cloud CLI angeben, wenn Sie einen neuen Dienst bereitstellen, einen vorhandenen Dienst aktualisieren oder eine Überarbeitung bereitstellen:

Console

1. Knative Serving aufrufen

2. Klicken Sie auf Dienst erstellen, um das Formular Dienst erstellen aufzurufen.

3. Führen Sie im Abschnitt Diensteinstellungen Folgendes aus:

   1. Wählen Sie den GKE-Cluster mit dem GPU-fähigen Knotenpool aus.
   2. Geben Sie den Namen an, den Sie dem Dienst geben möchten.
   3. Klicken Sie auf Weiter, um mit dem nächsten Abschnitt fortzufahren.

4. Gehen Sie im Abschnitt Erste Überarbeitung des Dienstes konfigurieren so vor:

   

   1. Fügen Sie eine Container-Image-URL hinzu.
   2. Klicken Sie auf Erweiterte Einstellungen und wählen Sie im Menü Zugewiesene GPU die Anzahl der GPUs aus, die Sie Ihrem Dienst zuweisen möchten.

5. Klicken Sie auf Weiter, um mit dem nächsten Abschnitt fortzufahren.

6. Wählen Sie im Abschnitt Konfigurieren, wie dieser Dienst ausgelöst wird die Verbindung aus, die Sie zum Auslösen des Dienstes verwenden möchten.

7. Klicken Sie auf Erstellen, um das Image in Knative Serving bereitzustellen. Warten Sie, bis die Bereitstellung abgeschlossen ist.

Befehlszeile

Achtung: Durch die Bereitstellung von Konfigurationsänderungen mithilfe von YAML-Dateien wird die Konfiguration Ihrer vorhandenen Dienste ersetzt. Da eine YAML-Datei alle Konfigurationen vollständig überschreibt, sollten Sie nicht mehrere Methoden zum Ändern Ihrer Dienste verwenden. Verwenden Sie z. B. keine YAML-Dateien in Verbindung mit der Google Cloud Console oder mit gcloud-Befehlen.

Sie können die Konfiguration eines vorhandenen Dienstes in eine YAML-Datei herunterladen – mit dem gcloud run services describe-Befehl mithilfe des Flags --format=export. Sie können diese YAML-Datei dann ändern und diese Änderungen mit dem Befehl gcloud run services replace bereitstellen. Sie müssen sicherstellen, dass Sie nur die angegebenen Attribute ändern.

1. Laden Sie die Konfiguration des Dienstes in eine Datei mit dem Namen service.yaml im lokalen Arbeitsbereich herunter:

   gcloud run services describe SERVICE --format export > service.yaml

   Ersetzen Sie SERVICE durch den Namen Ihres Knative-Serving-Dienstes.

2. Aktualisieren Sie in Ihrer lokalen Datei das Attribut nvidia.com/gpu:

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
   name: SERVICE_NAME
   spec:
   template:
    spec:
      containers:
      – image: IMAGE_URL
        resources:
          limits:
           nvidia.com/gpu: "GPU_UNITS"
   

   Ersetzen Sie GPU_UNITS durch den gewünschten GPU-Wert in Kubernetes-GPU-Einheiten. Geben Sie beispielsweise 1 für 1 GPU an.

3. Stellen Sie die YAML-Datei bereit und ersetzen Sie den Dienst durch die neue Konfiguration, indem Sie den folgenden Befehl ausführen:

   gcloud run services replace service.yaml

Weitere Informationen zu GPU-Leistung und -Kosten finden Sie unter GPUs.