本页面介绍了如何将 Arm 虚拟机用作工作器来处理批量和流式 Dataflow 作业。
您可以使用 Arm 处理器的 Tau T2A 机器系列和 C4A 机器系列(预览版)运行 Dataflow 作业。由于 Arm 架构经过优化,更加节能,因此,对于某些工作负载,使用这些虚拟机可获得更高的性价比。如需详细了解 Arm 虚拟机,请参阅 Compute 上的 Arm 虚拟机。
使用要求
- 以下 Apache Beam SDK 支持 Arm VM:
- Apache Beam Java SDK 2.50.0 版或更高版本
- Apache Beam Python SDK 2.50.0 版或更高版本
- Apache Beam Go SDK 2.50.0 或更高版本
- 选择提供 Tau T2A 或 C4A 机器的区域。如需了解详情,请参阅可用区域和可用区。
- 使用 Runner v2 运行作业。
- 流式作业必须使用 Streaming Engine。
限制
- 需遵守所有 Tau T2A 限制和 C4A 限制。
- 不支持 GPU。
- 不支持 Cloud Profiler。
- 不支持 Dataflow Prime。
- 不支持从 Cloud Monitoring 接收工作器虚拟机指标。
- 不支持容器映像预构建。
使用 Arm 虚拟机运行作业
如需使用 Arm 虚拟机,请设置以下流水线选项。
Java
设置 workerMachineType
流水线选项,并指定 ARM 机器类型。
如需详细了解如何设置流水线选项,请参阅设置 Dataflow 流水线选项。
Python
设置 machine_type
流水线选项,并指定 ARM 机器类型。
如需详细了解如何设置流水线选项,请参阅设置 Dataflow 流水线选项。
Go
设置 worker_machine_type
流水线选项,并指定 ARM 机器类型。
如需详细了解如何设置流水线选项,请参阅设置 Dataflow 流水线选项。
使用多架构容器映像
如果您在 Dataflow 中使用自定义容器,则该容器必须与工作器虚拟机的架构匹配。如果您打算在 ARM 虚拟机上使用自定义容器,建议您构建多架构映像。如需了解详情,请参阅构建多架构容器映像。
价格
您需要为 Dataflow 计算资源付费。Dataflow 的价格与机器类型系列无关。如需了解详情,请参阅 Dataflow 价格。