Dataflow HPC 高度并行工作负载

使用大量网格计算时,请使用 Dataflow 在全代管式系统中运行 HPC 高度并行工作负载。使用 Dataflow,您可以在单个流水线中运行高度并行的工作负载,从而提高效率并使工作流更易于管理。对于预处理和后处理,以及任务处理,数据都保存在同一个系统中。Dataflow 会自动管理性能、可扩缩性、可用性和安全性需求。
按照本教程查看将自定义容器与 C++ 库搭配使用的 HPC 高度并行流水线的端到端示例。
了解设计 HPC 高度并行流水线时可考虑的最佳做法。

资源

在 Dataflow 作业中使用 GPU 可以加快图片处理和机器学习处理任务的速度。
HSBC 使用 Dataflow HPC 高度并行工作流程,提高了计算能力和速度,同时降低了费用。
GitHub 上提供了 Dataflow HPC 高度并行流水线示例和相应的源代码。