Carichi di lavoro HPC a parallelismo elevato

Quando lavori con il calcolo di rete a volumi elevati, utilizza Dataflow per eseguire carichi di lavoro HPC altamente paralleli in un sistema completamente gestito. Con Dataflow, puoi eseguire i tuoi carichi di lavoro altamente paralleli in un'unica pipeline, migliorando l'efficienza e semplificando la gestione del flusso di lavoro. I dati rimangono in un unico sistema sia per la pre-elaborazione che per la post-elaborazione e per l'elaborazione delle attività. Dataflow gestisce automaticamente le esigenze di prestazioni, scalabilità, disponibilità e sicurezza.
Segui questo tutorial per vedere un esempio end-to-end di una pipeline HPC altamente parallela che utilizza container personalizzati con librerie C++.
Scopri le best practice da considerare quando progetti la tua pipeline HPC a parallelismo elevato.

Risorse

L'utilizzo delle GPU nei job Dataflow può accelerare le attività di elaborazione delle immagini e del machine learning.
HSBC ha utilizzato un flusso di lavoro HPC altamente parallelo per aumentare la capacità di calcolo e la velocità riducendo i costi.
L'esempio di pipeline HPC altamente parallelo di Dataflow e il codice sorgente corrispondente sono disponibili su GitHub.