Workload HPC altamente paralleli di Dataflow

Quando utilizzi il calcolo distribuito su larga scala, utilizza Dataflow per eseguire carichi di lavoro HPC altamente paralleli in un sistema completamente gestito. Con Dataflow, puoi eseguire i carichi di lavoro altamente paralleli in un'unica pipeline, migliorando l'efficienza e semplificando la gestione del flusso di lavoro. I dati rimangono in un unico sistema sia per il pre- e il post-trattamento sia per l'elaborazione delle attività. Dataflow gestisce automaticamente le esigenze in termini di prestazioni, scalabilità, disponibilità e sicurezza.
Segui questo tutorial per vedere un esempio end-to-end di una pipeline HPC altamente parallela che utilizza contenitori personalizzati con librerie C++.
Scopri le best practice da tenere presenti durante la progettazione della pipeline HPC altamente parallela.

Risorse

L'utilizzo di GPU nei job Dataflow può accelerare le attività di elaborazione delle immagini e del machine learning.
HSBC ha utilizzato un flusso di lavoro HPC (High-Performance Computing) di Dataflow altamente parallelo per aumentare la capacità di calcolo e la velocità, riducendo al contempo i costi.
L'esempio di pipeline ad alta parallelismo HPC di Dataflow e il codice sorgente corrispondente sono disponibili su GitHub.