Was ist Hochleistungs-Computing?

Hochleistungs-Computing besteht aus drei Hauptkomponenten:

• Computing
• Netzwerk
• Speicher

Grundsätzlich sind die Knoten (Computing) des HPC-Systems mit anderen Knoten verbunden, um Algorithmen und Software gleichzeitig auszuführen, und dann mit Datenservern (Speicher) verbunden (Netzwerk), um die Ausgabe zu erfassen. Da HPC-Projekte in der Regel groß und komplex sind, müssen die Knoten des Systems in der Regel die Ergebnisse ihrer Berechnungen untereinander austauschen. Das bedeutet, dass schnelle Laufwerke, Hochgeschwindigkeitsarbeitsspeicher und Netzwerke mit niedriger Latenz und hoher Bandbreite zwischen den Knoten und Speichersysteme erforderlich sind.

HPC lässt sich in der Regel in zwei allgemeine Designtypen unterteilen: Cluster-Computing und verteiltes Computing.

Paralleles Computing erfolgt mithilfe einer Sammlung von Computern (Clustern), die zusammenarbeiten, z. B. einer verbundenen Gruppe von Servern, die sowohl physisch als auch in Netzwerktopologie nahe beieinander platziert sind, um die Latenz zwischen den Knoten zu minimieren.

Das Modell für verteiltes Computing verbindet die Rechenleistung mehrerer Computer in einem Netzwerk, das sich entweder an einem einzigen Standort (häufig lokal) oder über mehrere Standorte verteilt, was z. B. lokale Hardware und Cloud-Ressourcen enthalten kann.

Darüber hinaus lassen sich HPC-Cluster zwischen homogenen und heterogenen Hardwaremodellen unterscheiden. In homogenen Clustern haben alle Maschinen eine ähnliche Leistung und Konfiguration und werden oft als identisch und austauschbar behandelt. In heterogenen Clustern gibt es eine Sammlung von Hardware mit unterschiedlichen Eigenschaften (hohe CPU-Kernzahl, GPU-beschleunigt usw.). Das System eignet sich am besten, wenn Knoten Aufgaben zugewiesen werden, um ihre besonderen Vorteile bestmöglich zu nutzen.

In einer HPC-Umgebung gibt es in der Regel zwei verschiedene Arten von Arbeitslasten: lose gekoppelt und eng gekoppelt.

Lose gekoppelte Arbeitslasten (oft als parallele Jobs oder Jobs mit hohem Durchsatz bezeichnet) bestehen aus unabhängigen Aufgaben, die zur selben Zeit im gesamten System ausgeführt werden können. Die Aufgaben können sich einen gemeinsamen Speicherplatz teilen, sind jedoch nicht kontextabhängig und müssen daher nach Abschluss der Aufgaben nicht miteinander kommunizieren. Ein Beispiel für eine lose gekoppelte Arbeitslast wäre das Rendern von computergenerierten Bildern (CGI) in einem Spielfilm. Dabei wird jeder Frame des Videos unabhängig von den anderen Frames gerendert, obwohl sie dieselben Eingabedaten wie Hintergründe und 3D-Modelle verwenden.

Eng gekoppelte Arbeitslasten bestehen aus vielen kleinen Prozessen, die jeweils von verschiedenen Knoten in einem Cluster verarbeitet werden und bei der Ausführung der Gesamtaufgabe voneinander abhängig sind. Eng gekoppelte Arbeitslasten erfordern in der Regel ein Netzwerk mit niedriger Latenz zwischen Knoten und schnellen Zugriff auf gemeinsamen Arbeitsspeicher und sonstigen Speicher. Die Interprozesskommunikation für diese Arbeitslasten erfolgt über ein Message Passing Interface (MPI) unter Verwendung von Software wie OpenMPI und Intel MPI. Ein Beispiel für eine eng gekoppelte Arbeitslast wäre die Wettervorhersage. Dabei handelt es sich um eine physikbasierte Simulation dynamischer und voneinander abhängiger Systeme in Bezug auf Temperatur, Wind, Druck, Niederschlag und mehr. Hier kann jeder Clusterknoten Teillösungen für verschiedene Wetterfaktoren berechnen und so zur Gesamtprognose beitragen.

HPC kann lokal mit dedizierten Geräten, in der Cloud oder mit einem Hybridansatz aus beiden durchgeführt werden.

HPC in der Cloud bietet den Vorteil von Flexibilität und Skalierbarkeit, ohne teure dedizierte Supercomputer kaufen und warten zu müssen. HPC in der Cloud bietet die gesamte erforderliche Infrastruktur für große, komplexe Aufgaben wie Datenspeicherung, Netzwerklösungen, spezialisierte Rechenressourcen, Sicherheits- und KI-Anwendungen. Arbeitslasten können on demand ausgeführt werden. Das bedeutet, dass Unternehmen Geld bei Geräten und Zeit bei Rechenzyklen sparen können und nur die Ressourcen nutzen, die sie benötigen, wenn sie sie benötigen.

Einige häufige Überlegungen bei der Entscheidung, HPC in der Cloud auszuführen sind:

Latenz und Bandbreite : Angesichts der Datenmenge, die in HPC-Arbeitslasten ausgeführt wird, müssen Cloud-Anbieter robuste Netzwerkfunktionen (> 100 GB/s) mit niedriger Latenz bereitstellen.

Leistung: HPC in der Cloud funktioniert am besten mit Anbietern, die Systeme zur Leistungsoptimierung ständig aktualisieren, insbesondere bei Computerprozessoren, Speicherlösungen und Netzwerkfunktionen.

Nachhaltigkeit:HPC ist eine ressourcenintensive Form des Computings, die viel mehr Strom als normale Arbeitslasten benötigt. Lokale Hochleistungscomputer können pro Jahr Millionen von Dollar an Stromkosten kosten. Öffentliche Clouds, die den Schwerpunkt auf erneuerbare Energien legen – wie Google Cloud – können die Auswirkungen von HPC auf den Energieverbrauch mindern.

Speicher:Angesichts der Größe der meisten HPC-Aufgaben ist der skalierbare Datenspeicher beim Ausführen von HPC-Arbeitslasten ein wichtiger Aspekt. Cloud-Anbieter, die große Datenmengen einfach speichern und verwalten können (z. B. über Cloud Storage Filestore High Scale oder DDN EXAScaler), haben bei HPC einen Vorteil.

Sicherheit : Ein Cloud-Anbieter mit einer privat verwalteten globalen Infrastruktur sorgt dafür, dass Daten und Anwendungen am wenigsten dem öffentliche Internet ausgesetzt sind. VPC-Netzwerke (Virtual Private Cloud) ermöglichen eine Verbindung zwischen Knoten und können Firewalls für HPC-Anwendungen konfigurieren. Die Funktionen von Confidential Computing ermöglichen die Verschlüsselung während der Verwendung sowie die Verschlüsselung ruhender Daten und von In-Flight-Daten.

Schnell und leistungsfähig

Hochleistungs-Computing kann Daten und Aufgaben viel schneller verarbeiten als ein einzelner Server oder Computer. Aufgaben, die in einem normalen Computersystem Wochen oder Monate dauern könnten, können in HPC Stunden in Anspruch nehmen.

Flexibilität und Effizienz

Mit HPC in der Cloud können Arbeitslasten je nach Bedarf hoch- oder herunterskaliert werden. Über eine stabile Internetverbindung kann von überall auf der Welt auf HPC zugegriffen werden.

Kosteneinsparungen

Durch die Geschwindigkeit, Flexibilität und Effizienz von HPC in der Cloud können Unternehmen Zeit und Geld bei Rechenressourcen und Arbeitsstunden sparen.

Fehlertoleranz

Wenn ein Knoten eines HPC-Clusters ausfällt, ist das System robust genug, dass der Rest des Systems nicht abstürzt. Angesichts der umfangreichen und komplexen Aufgaben, die von HPC ausgeführt werden, ist Fehlertoleranz ein großer Vorteil.

Beschleunigte Forschung und Entwicklung

HPC bietet Unternehmen, die Forschung und Entwicklung betreiben, einen Vorteil, da die Ergebnisse datenintensiver Projekte wie pharmazeutische Modellierung, die Entwicklung neuer Maschinen und Teile oder die Simulation von Tests zur Reduzierung physischer Tests beschleunigt werden.

Anfängliche Kosten

Lokale HPC-Cluster und Supercomputer haben hohe Anschaffungskosten. Ein lokales HPC wäre für die meisten Organisationen nicht erreichbar, wenn man die Kosten für Ausrüstung, Arbeit, Software und Konfiguration berücksichtigen würde.

Energieverbrauch

Die Energiekosten von Supercomputer-Installationen vor Ort können hoch sein. Für umweltfreundliche und kostenbewusste Unternehmen kann der HPC-Energieverbrauch durch die Ausführung von HPC in der saubersten Cloud der Welt nachhaltig sein.

Wartung

HPC läuft am besten mit der neuesten Hardware-Generation und optimierter Software. Einen lokalen HPC-Cluster oder Supercomputer auf dem neuesten Stand zu halten, um eine optimale Leistung zu gewährleisten, kann schnell zu einem großen und anhaltenden Aufwand werden.

Das moderne Ökosystem wird von Daten und rechenintensiven Tools, um sie zu analysieren, überschwemmt. HPC ermöglicht es Unternehmen und Organisationen, alle diese Daten zeitnah zu verarbeiten, was neue Erkenntnisse, Innovationen und wissenschaftliche Entdeckungen ermöglicht. So können Unternehmen Geschäftsszenarien vorhersagen, Marktschwankungen vorhersagen und Empfehlungen geben. Der medizinische Bereich verändert sich durch den einfachen Zugriff auf HPC in der Cloud. So lassen sich potenzielle Ausbrüche modellieren, das Genom von Krebszellen decodieren und nachvollziehen, wie sich Krankheiten entwickeln.

Kurz gesagt: HPC beschleunigt die Geschwindigkeit, mit der wissenschaftliche, technologische und geschäftliche Fortschritte erzielt werden, und hilft der Menschheit, eine florierende Zukunft zu gestalten.