在 Dataflow 上使用 Arm 虚拟机

本页面介绍了如何将 Arm 虚拟机用作工作器来处理批量和流式 Dataflow 作业。

您可以使用 Arm 处理器的 Tau T2A 机器系列C4A 机器系列预览版)运行 Dataflow 作业。由于 Arm 架构经过优化,更加节能,因此,对于某些工作负载,使用这些虚拟机可获得更高的性价比。如需详细了解 Arm 虚拟机,请参阅 Compute 上的 Arm 虚拟机

使用要求

  • 以下 Apache Beam SDK 支持 Arm VM:
    • Apache Beam Java SDK 2.50.0 版或更高版本
    • Apache Beam Python SDK 2.50.0 版或更高版本
    • Apache Beam Go SDK 2.50.0 或更高版本
  • 选择提供 Tau T2A 或 C4A 机器的区域。如需了解详情,请参阅可用区域和可用区
  • 使用 Runner v2 运行作业。
  • 流式作业必须使用 Streaming Engine

限制

使用 Arm 虚拟机运行作业

如需使用 Arm 虚拟机,请设置以下流水线选项。

Java

设置 workerMachineType 流水线选项,并指定 ARM 机器类型

如需详细了解如何设置流水线选项,请参阅设置 Dataflow 流水线选项

Python

设置 machine_type 流水线选项,并指定 ARM 机器类型

如需详细了解如何设置流水线选项,请参阅设置 Dataflow 流水线选项

Go

设置 worker_machine_type 流水线选项,并指定 ARM 机器类型

如需详细了解如何设置流水线选项,请参阅设置 Dataflow 流水线选项

使用多架构容器映像

如果您在 Dataflow 中使用自定义容器,则该容器必须与工作器虚拟机的架构匹配。如果您打算在 ARM 虚拟机上使用自定义容器,建议您构建多架构映像。如需了解详情,请参阅构建多架构容器映像

价格

您需要为 Dataflow 计算资源付费。Dataflow 的价格与机器类型系列无关。如需了解详情,请参阅 Dataflow 价格

后续步骤