将 GPU 与 Dataflow 搭配使用
Dataflow GPU 直接为流处理或批处理数据处理流水线带来了加速优势。使用 Dataflow 可以简化将数据传入 GPU 的过程并利用数据存放区域。同时,您可以享受全代管式 Dataflow 系统的所有优势:主机预配、自动扩缩、容错等。
使用 GPU 运行 Dataflow 作业
请按照本教程学习如何构建自定义容器映像并运行具有 GPU 的 Dataflow 流水线。
使用 GPU 运行简单的 PyTorch 流水线
请按照本教程构建 PyTorch 流水线,并在具有 GPU 的 Dataflow 上运行流水线。
使用 NVIDIA L4 GPU 运行流水线
L4 GPU 类型适合运行机器学习推理流水线。
使用 GPU 运行简单的 TensorFlow 流水线
请按照本教程构建 TensorFlow 流水线,并使用 GPU 在 Dataflow 上运行该流水线。
资源
开发者最佳做法
请参阅使用 GPU 构建流水线的开发者工作流示例。
适配
与批量作业搭配使用,以自定义工作器资源并降低费用。
排查使用 GPU 的作业的问题
如果您在使用 GPU 运行 Dataflow 作业时遇到问题,请遵循以下问题排查步骤。