Nesta página, explicamos como usar VMs ARM como workers para jobs em lote e de streaming do Dataflow.
É possível usar a série de máquinas Tau T2A e a série de máquinas C4A (pré-lançamento) de processadores Arm para executar jobs do Dataflow. Como a arquitetura ARM é otimizada para ter eficiência energética, essas VMs proporcionam a melhor relação entre preço e desempenho para algumas cargas de trabalho. Para mais informações sobre VMs ARM, consulte VMs ARM no Compute.
Requisitos
- Os seguintes SDKs do Apache Beam são compatíveis com VMs ARM:
- SDK do Apache Beam para Java versão 2.50.0 ou mais recente
- SDK do Apache Beam para Python versão 2.50.0 ou mais recente
- SDK do Apache Beam para Go versões 2.50.0 ou mais recentes
- Selecione uma região onde as máquinas Tau T2A ou C4A estão disponíveis. Para mais informações, consulte Regiões e zonas disponíveis.
- Use o Runner v2 para executar o job.
- Os jobs de streaming precisam usar o Streaming Engine.
Limitações
- Todas as limitações da Tau T2A e limitações da C4A se aplicam.
- GPUs não são compatíveis.
- O Cloud Profiler não é compatível.
- O Dataflow Prime não é compatível.
- O recebimento de métricas de VM de worker do Cloud Monitoring não é compatível.
- A pré-criação da imagem de contêiner não é compatível.
Executar um job usando VMs ARM
Para usar VMs ARM, defina a opção de pipeline a seguir.
Java
Defina a opção de pipeline workerMachineType e especifique um
tipo de máquina ARM.
Para mais informações sobre como definir opções de pipeline, consulte Definir opções de pipeline do Dataflow.
Python
Defina a opção de pipeline machine_type e especifique um
tipo de máquina ARM.
Para mais informações sobre como definir opções de pipeline, consulte Definir opções de pipeline do Dataflow.
Go
Defina a opção de pipeline worker_machine_type e especifique um
tipo de máquina ARM.
Para mais informações sobre como definir opções de pipeline, consulte Definir opções de pipeline do Dataflow.
Usar imagens de contêiner de multiarquitetura
Se você usar um contêiner personalizado no Dataflow, ele precisará corresponder à arquitetura das VMs de worker. Se você planeja usar um contêiner personalizado em VMs ARM, recomendamos criar uma imagem de multiarquitetura. Para mais informações, consulte Criar uma imagem de contêiner de várias arquiteturas.
Preços
Você vai receber cobranças pelos recursos de computação do Dataflow. O preço do Dataflow não depende da família de tipo de máquina. Para mais informações, consulte Preços do Dataflow.