Was ist Hochleistungs-Computing?

Hochleistungs-Computing besteht aus drei Hauptkomponenten:

• Computing
• Netzwerk
• Speicher

Im Grunde sind die Knoten (Computing) des HPC-Systems mit anderen Knoten verbunden, um Algorithmen und Software gleichzeitig auszuführen, und dann (Netzwerk) mit Datenservern (Speicher) verbunden, um die Ausgabe zu erfassen. Da HPC-Projekte in der Regel groß und komplex sind, müssen die Knoten des Systems in der Regel die Ergebnisse ihrer Berechnungen untereinander austauschen. Das bedeutet, dass schnelle Laufwerke, Hochgeschwindigkeitsarbeitsspeicher und Netzwerke mit niedriger Latenz und hoher Bandbreite zwischen den Knoten und Speichersysteme erforderlich sind.

HPC lässt sich in der Regel in zwei allgemeine Designtypen unterteilen: Cluster-Computing und verteiltes Computing.

Paralleles Computing erfolgt durch eine Reihe von Computern (Clustern), die zusammenarbeiten, z. B. eine Gruppe von Servern, die sowohl physisch als auch in der Netzwerktopologie eng beieinander aufgestellt sind, um die Latenz zwischen den Knoten zu minimieren.

Das Modell für verteiltes Computing verbindet die Rechenleistung mehrerer Computer in einem Netzwerk, das sich entweder an einem einzigen Standort (häufig lokal) oder über mehrere Standorte verteilt, was z. B. lokale Hardware und Cloud-Ressourcen enthalten kann.

Darüber hinaus lassen sich HPC-Cluster zwischen homogenen und heterogenen Hardwaremodellen unterscheiden. In homogenen Clustern haben alle Maschinen eine ähnliche Leistung und Konfiguration und werden oft als identisch und austauschbar behandelt. In heterogenen Clustern gibt es eine Sammlung von Hardware mit unterschiedlichen Eigenschaften (hohe CPU-Kernzahl, GPU-beschleunigt usw.). Das System eignet sich am besten, wenn Knoten Aufgaben zugewiesen werden, um ihre besonderen Vorteile bestmöglich zu nutzen.

Arbeitslasten in einer HPC-Umgebung gibt es in der Regel in zwei verschiedenen Typen: lose und eng gekoppelt.

Lose gekoppelte Arbeitslasten (oft als parallele Jobs oder Jobs mit hohem Durchsatz bezeichnet) bestehen aus unabhängigen Aufgaben, die gleichzeitig im gesamten System ausgeführt werden können. Die Aufgaben teilen sich möglicherweise einen gemeinsamen Speicher, sind jedoch nicht kontextabhängig und müssen daher die Ergebnisse nicht miteinander kommunizieren, wenn sie abgeschlossen sind. Ein Beispiel für eine lose gekoppelte Arbeitslast wäre das Rendern von computergenerierten Bildern (CGI) in einem Spielfilm, bei dem jeder Frame des Videos unabhängig von den anderen Frames gerendert wird, obwohl sie dieselben Eingabedaten wie Hintergründe und 3D-Modelle verwenden.

Eng gekoppelte Arbeitslasten bestehen aus vielen kleinen Prozessen, die jeweils von verschiedenen Knoten in einem Cluster verarbeitet werden, die bei der Ausführung der Gesamtaufgabe voneinander abhängig sind. Eng gekoppelte Arbeitslasten erfordern normalerweise ein Netzwerk mit niedriger Latenz zwischen den Knoten sowie einen schnellen Zugriff auf gemeinsam genutzten Arbeitsspeicher und Speicher. Die Interprozesskommunikation für diese Arbeitslasten erfolgt über ein Message Passing Interface (MPI) mit Software wie OpenMPI und Intel MPI. Ein Beispiel für eine eng gekoppelte Arbeitslast sind Wettervorhersagen, die eine physikbasierte Simulation dynamischer und voneinander abhängiger Systeme umfassen, darunter Temperatur, Wind, Druck und Niederschlag. Hier kann jeder Clusterknoten Teillösungen für verschiedene Wetterfaktoren berechnen und so zur Gesamtprognose beitragen.

HPC kann lokal mit dedizierten Geräten, in der Cloud oder in einem Hybridmodell aus diesen Bereichen ausgeführt werden.

HPC in der Cloud bietet Flexibilität und Skalierbarkeit, ohne teure dedizierte Supercomputer kaufen und warten zu müssen. HPC in der Cloud stellt die gesamte erforderliche Infrastruktur bereit, die für umfangreiche, komplexe Aufgaben wie Datenspeicherung, Netzwerklösungen, spezialisierte Rechenressourcen, Sicherheit und Anwendungen mit künstlicher Intelligenz erforderlich ist. Arbeitslasten können on demand ausgeführt werden. Das bedeutet, dass Unternehmen Geld bei Geräten und Zeit bei Rechenzyklen sparen können und nur die Ressourcen nutzen, die sie benötigen, wenn sie sie benötigen.

Einige häufige Überlegungen bei der Entscheidung, HPC in der Cloud auszuführen sind:

Latenz und Bandbreite : Angesichts der Datenmenge, die in HPC-Arbeitslasten ausgeführt wird, müssen Cloud-Anbieter robuste Netzwerkfunktionen (> 100 GB/s) mit niedriger Latenz bereitstellen.

Leistung: HPC in der Cloud funktioniert am besten mit Anbietern, die ihre Systeme ständig aktualisieren, um die Leistung zu optimieren, insbesondere bei Computerprozessoren, Speicherlösungen und Netzwerkfunktionen.

Nachhaltigkeit:HPC ist eine ressourcenintensive Form des Computings, die viel mehr Strom benötigt als normale Arbeitslasten. Lokale Hochleistungscomputer können pro Jahr Millionen von Dollar an Stromkosten kosten. Öffentliche Clouds, in denen erneuerbare Energien priorisiert werden, wie Google Cloud, können die Auswirkungen von HPC auf den Energieverbrauch minimieren. 

Speicher: Angesichts der Größe der meisten HPC-Aufgaben ist der skalierbare Datenspeicher ein wichtiger Faktor bei der Ausführung von HPC-Arbeitslasten. Cloud-Anbieter, die große Datenmengen einfach speichern und verwalten können (z. B. über Cloud Storage Filestore High Scale oder DDN EXAScaler), haben einen Vorteil bei HPC.

Sicherheit : Ein Cloud-Anbieter mit einer privat verwalteten globalen Infrastruktur sorgt dafür, dass Daten und Anwendungen am wenigsten dem öffentliche Internet ausgesetzt sind. VPC-Netzwerke (Virtual Private Cloud) ermöglichen die Verbindung zwischen Knoten und können Firewalls für HPC-Anwendungen konfigurieren. Die Funktionen von Confidential Computing ermöglichen die Verschlüsselung während der Verwendung sowie die Verschlüsselung ruhender Daten und von In-Flight-Daten.

Schnell und leistungsfähig

Hochleistungs-Computing kann Daten und Aufgaben viel schneller verarbeiten als ein einzelner Server oder Computer. Aufgaben, die auf einem regulären Computersystem Wochen oder Monate dauern könnten, können in HPC Stunden dauern.

Flexibilität und Effizienz

Mit HPC in der Cloud können Arbeitslasten je nach Bedarf hoch- oder herunterskaliert werden. Dank einer stabilen Internetverbindung kann von überall auf der Welt auf HPC zugegriffen werden. 

Kosteneinsparungen

Aufgrund der Geschwindigkeit, Flexibilität und Effizienz von HPC in der Cloud können Unternehmen Zeit und Geld bei Rechenressourcen und Arbeitsstunden sparen.

Fehlertoleranz

Wenn ein Knoten eines HPC-Clusters ausfällt, ist das System robust genug, dass der Rest des Systems nicht abstürzt. Angesichts der großen und komplexen Aufgaben, die von HPC ausgeführt werden, ist Fehlertoleranz ein großer Vorteil. 

Beschleunigte Forschung und Entwicklung

HPC bietet Unternehmen, die Forschung und Entwicklung betreiben, einen Vorteil, da die Ergebnisse datenintensiver Projekte wie pharmazeutische Modellierungen, die Konstruktion neuer Maschinen und Teile oder die Simulation von Experimenten beschleunigt werden, um physische Tests zu reduzieren.

Anfangskosten

Für lokale HPC-Cluster und Supercomputer fallen hohe Anfangskosten an. Ein lokales HPC wäre für die meisten Unternehmen nach Berücksichtigung der Kosten für Ausrüstung, Arbeit, Software und Konfiguration für die meisten Unternehmen unerreichbar.

Energieverbrauch

Die Energiekosten von lokalen Supercomputern können hoch sein. Für umwelt- und kostenbewusste Unternehmen kann der HPC-Energieverbrauch nachhaltig sein, wenn HPC in der nachhaltigsten Cloud der Welt ausgeführt wird. 

Wartung

HPC läuft am besten mit der neuesten Generation von Hardware und optimierter Software. Ein lokaler HPC-Cluster oder ein Supercomputer auf dem neuesten Stand zu halten, um für optimale Leistung zu sorgen, kann schnell zu einem hohen und fortlaufenden Kosten werden.

Die moderne Umgebung ist voll von Daten und rechenintensiven Tools zu ihrer Analyse. HPC ermöglicht es Unternehmen und Organisationen, alle diese Daten zeitnah zu verarbeiten, was neue Erkenntnisse, Innovationen und wissenschaftliche Entdeckungen ermöglicht. So können Unternehmen Geschäftsszenarien prognostizieren, Marktschwankungen vorhersagen und Empfehlungen aussprechen. In der Zwischenzeit wird das medizinische Feld durch den einfachen Zugriff auf HPC in der Cloud transformiert. Dies trägt dazu bei, potenzielle Ausbrüche zu modellieren, das Genom von Krebszellen zu decodieren und die Entwicklung von Krankheiten zu verstehen.

Kurz gesagt: HPC beschleunigt wissenschaftliche, technologische und wirtschaftliche Fortschritte und hilft der Menschheit dabei, eine florierendere Zukunft zu gestalten.