将 GPU 与 Dataflow 搭配使用
Dataflow GPU 直接为流处理或批处理数据处理流水线带来了加速优势。使用 Dataflow 可以简化将数据传送到 GPU 的过程,并充分利用数据本地性。同时,您还可以获享全代管式 Dataflow 系统的所有优势:主机预配、自动扩缩、容错等。
使用 GPU 运行 Dataflow 作业
请按照本教程了解如何构建自定义容器映像并使用 GPU 运行 Dataflow 流水线。
使用 GPU 运行简单的 PyTorch 流水线
按照本教程构建 PyTorch 流水线,并使用 GPU 在 Dataflow 上运行该流水线。
使用 NVIDIA L4 GPU 运行流水线
L4 GPU 类型适合运行机器学习推理流水线。
使用 GPU 运行简单的 TensorFlow 流水线
按照本教程构建 TensorFlow 流水线,并使用 GPU 在 Dataflow 上运行该流水线。
资源
开发者最佳做法
查看使用 GPU 构建流水线的开发者工作流示例。
适配
与批量作业搭配使用,以自定义工作器资源并降低费用。
排查使用 GPU 的作业的问题
如果您在使用 GPU 运行 Dataflow 作业时遇到问题,请遵循以下问题排查步骤。