Dataflow HPC の高度な並列ワークロード

大容量のグリッド コンピューティングを利用している場合は、Dataflow を使用して HPC の高度な並列ワークロードをフルマネージド システムで実行します。Dataflow を使用すると、高度に並列化されたワークロードを単一のパイプラインで実行できるため、効率が向上し、ワークフローの管理が容易になります。データは、前処理と後処理、タスク処理の両方で 1 つのシステムに保存されます。Dataflow は、パフォーマンス、スケーラビリティ、可用性、セキュリティのニーズを自動的に管理します。
このチュートリアルでは、C++ ライブラリでカスタム コンテナを使用する HPC 高並列パイプラインのエンドツーエンドの例を確認します。
HPC の高度な並列パイプラインを設計する際に考慮すべきベスト プラクティスについて説明します。

リソース

Dataflow ジョブで GPU を使用すると、画像処理タスクと ML 処理タスクを高速化できます。
HSBC は、Dataflow HPC の高度な並列ワークフローを使用して、費用を削減しながら計算能力と速度を向上させました。
Dataflow HPC の高度な並列パイプラインの例と対応するソースコードは GitHub で入手できます。