GPU 的 Dataflow 支持

本页面提供有关 GPU 如何与 Dataflow 搭配使用的背景信息,包括有关前提条件和支持的 GPU 类型的信息。

在 Dataflow 作业中使用 GPU 可以加快某些数据处理任务的速度。GPU 可以比 CPU 更快地执行某些计算。这些计算通常是数值或线性代数,通常用于图片处理和机器学习应用场景。性能提高的程度因用例、计算类型和处理的数据量而异。

在 Dataflow 中使用 GPU 的前提条件

  • 如需将 GPU 与 Dataflow 作业搭配使用,您必须使用 Runner v2。
  • Dataflow 会在 Docker 容器内的工作器虚拟机中运行用户代码。这些工作器虚拟机运行 Container-Optimized OS。 为了让 Dataflow 作业使用 GPU,您需要满足以下前提条件:
  • 由于 GPU 容器通常很大,为避免耗尽磁盘空间,请将默认启动磁盘大小增加到 50 GB 或更多。

价格

使用 GPU 的作业按 Dataflow 价格页面中指定的费用收费。

可用性

Dataflow 支持以下 GPU 类型:

GPU 类型 worker_accelerator 字符串
NVIDIA® L4 nvidia-l4
NVIDIA® A100 40 GB nvidia-tesla-a100
NVIDIA® A100 80 GB nvidia-a100-80gb
NVIDIA® Tesla® T4 nvidia-tesla-t4
NVIDIA® Tesla® P4 nvidia-tesla-p4
NVIDIA® Tesla® V100 nvidia-tesla-v100
NVIDIA® Tesla® P100 nvidia-tesla-p100

如需详细了解每种 GPU 类型(包括性能数据),请参阅 Compute Engine GPU 平台

如需了解 GPU 的可用区域和可用区,请参阅 Compute Engine 文档中的 GPU 区域和可用区可用性

推荐的工作负载

下表提供了有关不同工作负载使用哪种 GPU 类型的建议。表中的示例仅为建议,您需要在自己的环境中进行测试以确定适合您的工作负载的 GPU 类型。

如需详细了解不同 GPU 型号的 GPU 内存大小、功能可用性和理想的工作负载类型,请参阅 GPU 平台页面上的常规比较图表

工作负载 A100 L4 T4
模型微调 推荐
大型模型推理 推荐 推荐
中等模型推理 推荐 推荐
小型模型推理 推荐 推荐

后续步骤