Cargas de trabalho altamente paralelas de HPC do Dataflow

Quando você estiver trabalhando com computação em grade de alto volume, use o Dataflow para executar cargas de trabalho altamente paralelas de HPC em um sistema totalmente gerenciado. Com o Dataflow, é possível executar cargas de trabalho altamente paralelas em um único pipeline, melhorando a eficiência e facilitando o gerenciamento do fluxo de trabalho. Os dados permanecem em um sistema para pré e pós-processamento e para o processamento de tarefas. O Dataflow gerencia automaticamente o desempenho, a escalonabilidade, a disponibilidade e as necessidades de segurança.
Siga este tutorial para ver um exemplo completo de um pipeline de paralelização embaraçosa do HPC que usa contêineres personalizados com bibliotecas C++.
Saiba mais sobre as práticas recomendadas a serem consideradas ao projetar o pipeline altamente paralelo do HPC.

Recursos

O uso de GPUs em jobs do Dataflow acelera o processamento de imagens e de tarefas de machine learning.
O HSBC usou um fluxo de trabalho altamente paralelo ao HPC do Dataflow para aumentar a capacidade e a velocidade de cálculo e reduzir os custos.
O exemplo de pipeline altamente paralelo do HPC do Dataflow e o código-fonte correspondente estão disponíveis no GitHub.