Hochverfügbare Dataflow-Arbeitslasten
Wenn Sie mit Grid-Computing mit hohem Volumen arbeiten, können Sie mit Dataflow hochparallele HPC-Arbeitslasten in einem vollständig verwalteten System ausführen. Mit Dataflow können Sie Ihre hochparallelen Arbeitslasten in einer einzigen Pipeline ausführen, wodurch die Effizienz verbessert und Ihr Workflow einfacher wird. Die Daten verbleiben sowohl für die Vor- als auch für die Nachbearbeitung und für die Aufgabenverarbeitung in einem System. Dataflow verwaltet automatisch die Anforderungen an Leistung, Skalierbarkeit, Verfügbarkeit und Sicherheit.
Anleitung für benutzerdefinierte Container
In dieser Anleitung finden Sie ein End-to-End-Beispiel für eine hochparallele HPC-Pipeline, die benutzerdefinierte Container mit C++-Bibliotheken verwendet.
HPC: Best Practices für parallele Ausführung
Best Practices, die Sie beim Entwerfen Ihrer hochparallelen HPC-Pipeline berücksichtigen sollten.
Ressourcen
GPUs verwenden
Die Verwendung von GPUs in Dataflow-Jobs kann die Aufgaben zur Verarbeitung von Bildern und zur Verarbeitung von maschinellem Lernen beschleunigen.
Fallstudie
HSBC nutzte einen hochgradig parallelen Dataflow-HPC-Workflow, um die Rechenkapazität und -geschwindigkeit zu erhöhen und gleichzeitig die Kosten zu senken.
Beispiele auf GitHub ansehen
Das hoch parallele Dataflow-Beispiel für HPC und der entsprechende Quellcode sind auf GitHub verfügbar.