GPU 的 Dataflow 支持

本页面提供有关 GPU 如何与 Dataflow 配合使用的背景信息,包括有关前提条件和支持的 GPU 类型的信息。

在 Dataflow 作业中使用 GPU 可以加快某些数据处理任务的速度。GPU 执行某些计算的速度比 CPU 更快。这些计算通常是数字或线性代数,通常用于图像处理和机器学习用例。性能提高的程度因用例、计算类型和处理的数据量而异。

在 Dataflow 中使用 GPU 的前提条件

  • 如需将 GPU 与 Dataflow 作业搭配使用,您必须使用 Runner v2。
  • Dataflow 会在 Docker 容器内的工作器虚拟机中运行用户代码。这些工作器虚拟机运行 Container-Optimized OS。 要让 Dataflow 作业使用 GPU,您需要满足以下前提条件:
  • 由于 GPU 容器通常很大,为避免耗尽磁盘空间,请将默认启动磁盘大小增加到 50 GB 或更多。

价格

使用 GPU 的作业按 Dataflow 价格页面中指定的费用收费。

是否空闲

Dataflow 支持以下 GPU 类型:

GPU 类型 worker_accelerator 字符串
NVIDIA® L4 nvidia-l4
NVIDIA® A100 40 GB nvidia-tesla-a100
NVIDIA® A100 80 GB nvidia-a100-80gb
NVIDIA® Tesla® T4 nvidia-tesla-t4
NVIDIA® Tesla® P4 nvidia-tesla-p4
NVIDIA® Tesla® V100 nvidia-tesla-v100
NVIDIA® Tesla® P100 nvidia-tesla-p100
NVIDIA® Tesla® K80 nvidia-tesla-k80

如需详细了解每种 GPU 类型(包括性能数据),请参阅 Compute Engine GPU 平台

如需了解 GPU 的可用区域和可用区,请参阅 Compute Engine 文档中的 GPU 区域和可用区可用性

后续步骤