Nesta página, explicamos como usar VMs ARM como workers para jobs em lote e de streaming do Dataflow.
É possível usar a série de máquinas Tau T2A de processadores ARM para execução de jobs do Dataflow. Como a arquitetura ARM é otimizada para ter eficiência energética, essas VMs proporcionam a melhor relação entre preço e desempenho para algumas cargas de trabalho. Para mais informações sobre VMs ARM, consulte VMs ARM no Compute.
Requisitos
- Os seguintes SDKs do Apache Beam são compatíveis com VMs ARM:
- SDK do Apache Beam para Java versão 2.50.0 ou mais recente
- SDK do Apache Beam para Python versão 2.50.0 ou mais recente
- SDK do Apache Beam para Go versão 2.50.0 ou mais recente
- Selecione uma região em que as máquinas Tau T2A estejam disponíveis. Para mais informações, consulte Regiões e zonas disponíveis.
- Use o Runner v2 para executar o job.
- Os jobs de streaming precisam usar o Streaming Engine.
Limitações
- Todas as limitações da Tau T2A se aplicam.
- GPUs não são compatíveis.
- O Cloud Profiler não é compatível.
- O Dataflow Prime não é compatível.
- O recebimento de métricas de VM de worker do Cloud Monitoring não é compatível.
- A pré-criação da imagem de contêiner não é compatível.
Executar um job usando VMs ARM
Para usar VMs ARM, defina a opção de pipeline a seguir.
Java
Defina a opção de pipeline workerMachineType e especifique um tipo de máquina Tau T2A.
Para mais informações sobre como definir opções de pipeline, consulte Definir opções de pipeline do Dataflow.
Python
Defina a opção de pipeline machine_type e especifique um tipo de máquina Tau T2A.
Para mais informações sobre como definir opções de pipeline, consulte Definir opções de pipeline do Dataflow.
Go
Defina a opção de pipeline worker_machine_type e especifique um tipo de máquina Tau T2A.
Para mais informações sobre como definir opções de pipeline, consulte Definir opções de pipeline do Dataflow.
Usar imagens de contêiner de multiarquitetura
Se você usar um contêiner personalizado no Dataflow, ele precisará corresponder à arquitetura das VMs de worker. Se você planeja usar um contêiner personalizado em VMs ARM, recomendamos criar uma imagem de multiarquitetura. Para mais informações, consulte Criar uma imagem de contêiner de várias arquiteturas.
Preços
Os recursos de computação do Dataflow são cobrados. Os preços do Dataflow são independentes da família de tipos de máquina. Para mais informações, consulte Preços do Dataflow.