Diese Seite enthält Hintergrundinformationen zur Funktionsweise von GPUs mit Dataflow, einschließlich Informationen zu den Voraussetzungen und unterstützten GPU-Typen.
Mit GPUs in Dataflow-Jobs können Sie einige Datenverarbeitungsaufgaben beschleunigen. GPUs können bestimmte Berechnungen schneller ausführen als CPUs. Diese Berechnungen sind in der Regel numerisch oder lineare Algebra, die häufig in Anwendungsfällen im Bereich Bildverarbeitung und maschinelles Lernen verwendet wird. Der Umfang der Leistungsverbesserungen hängt vom Anwendungsfall, der Art der Berechnung und der verarbeiteten Datenmenge ab.
Voraussetzungen für die Verwendung von GPUs in Dataflow
- Zur Verwendung von GPUs mit Ihrem Dataflow-Job müssen Sie Runner v2 verwenden.
- Dataflow führt Nutzercode in Worker-VMs in einem Docker-Container aus.
Auf diesen Worker-VMs wird Container-Optimized OS ausgeführt.
Damit Dataflow-Jobs GPUs verwenden können, müssen folgende Voraussetzungen erfüllt sein:
- GPU-Treiber werden auf Worker-VMs installiert und sind für den Docker-Container zugänglich. Weitere Informationen finden Sie unter GPU-Treiber installieren.
- Die von Ihrer Pipeline erforderlichen GPU-Bibliotheken wie NVIDIA CUDA-X-Bibliotheken oder NVIDIA CUDA-Toolkit sind im benutzerdefinierten Container-Image installiert. Weitere Informationen finden Sie unter Container-Image konfigurieren.
- Da GPU-Container in der Regel groß sind, sollten Sie die Standardgröße des Bootlaufwerks auf mindestens 50 Gigabyte erhöhen, um zu vermeiden, dass irgendwann kein Speicherplatz mehr verfügbar ist.
Preise
Für Jobs, die GPUs verwenden, fallen Gebühren an, wie unter Preise für Dataflow beschrieben.
Verfügbarkeit
Die folgenden GPU-Typen werden mit Dataflow unterstützt:
| GPU-Typ | worker_accelerator String |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 40 GB | nvidia-tesla-a100 |
| NVIDIA® A100 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
Weitere Informationen zu den einzelnen GPU-Typen, einschließlich Leistungsdaten, finden Sie unter Compute Engine-GPU-Plattformen.
Informationen zu verfügbaren Regionen und Zonen für GPUs finden Sie in der Compute Engine-Dokumentation unter Verfügbarkeit: GPU-Regionen und -Zonen.
Empfohlene Arbeitslasten
Die folgende Tabelle enthält Empfehlungen zur Verwendung des GPU-Typs für verschiedene Arbeitslasten. Die Beispiele in der Tabelle sind nur Vorschläge. Sie müssen sie in Ihrer eigenen Umgebung testen, um den geeigneten GPU-Typ für Ihre Arbeitslast zu ermitteln.
Ausführlichere Informationen zur GPU-Arbeitsspeichergröße, zur Feature-Verfügbarkeit und zu den idealen Arbeitslasttypen für verschiedene GPU-Modelle finden Sie in der allgemeinen Vergleichstabelle auf der Seite "GPU-Plattformen".
| Arbeitslast | A100 | L4 | T4 |
|---|---|---|---|
| Modellabstimmung | Empfohlen | ||
| Inferenz für große Modelle | Empfohlen | Empfohlen | |
| Mittlere Modellinferenz | Empfohlen | Empfohlen | |
| Kleine Modellinferenz | Empfohlen | Empfohlen |
Nächste Schritte
- Beispiel für einen Entwickler-Workflow zum Erstellen von Pipelines, die GPUs verwenden
- Apache Beam-Pipeline in Dataflow mit GPUs ausführen
- Landsat-Satellitenbilder mit GPUs verarbeiten