Introduzione
I carichi di lavoro di calcolo ad alte prestazioni (HPC) fortemente accoppiati utilizzano spesso la Message Passing Interface (MPI) per comunicare tra i processi e le istanze di macchine virtuali (VM). Tuttavia, la creazione di un'immagine VM ottimizzata per le prestazioni ottimali di MPI richiede competenze di sistema, conoscenza di Google Cloud e tempo extra per la manutenzione. Per creare rapidamente istanze VM per i tuoi carichi di lavoro HPC, puoi utilizzare l'immagine VM HPC. In alternativa, puoi creare VM utilizzando la serie di macchine H3.
L'immagine VM HPC è un'immagine VM basata su CentOS 7.9 o Rocky Linux 8 ottimizzata per i carichi di lavoro HPC ad accoppiamento stretto. Include i parametri di ottimizzazione del kernel e della rete preconfigurati necessari per creare istanze VM che raggiungono prestazioni MPI ottimali su Google Cloud.
Puoi creare una VM pronta per l'HPC utilizzando le seguenti opzioni:
- Google Cloud CLI
- Console Google Cloud. Nella console, l'immagine è disponibile tramite Cloud Marketplace.
- Il gestore dei carichi di lavoro Slurm di SchedMD, che utilizza l'immagine VM HPC per impostazione predefinita.
- Omnibond CloudyCluster, che utilizza l'immagine VM HPC per impostazione predefinita.
Vantaggi
L'immagine VM HPC offre i seguenti vantaggi:
- VM pronte per l'HPC out-of-the-box. Non è necessario ottimizzare manualmente le prestazioni, gestire i riavvii delle VM o rimanere al passo con gli ultimi aggiornamenti di Google Cloud per i carichi di lavoro HPC fortemente accoppiati.
- Ottimizzazioni di rete per carichi di lavoro fortemente accoppiati. Sono incluse ottimizzazioni che riducono la latenza per i messaggi di piccole dimensioni, a vantaggio delle applicazioni che dipendono molto dalle comunicazioni collettive e point-to-point.
- Ottimizzazioni di calcolo per i carichi di lavoro HPC. Sono incluse ottimizzazioni che riducono il jitter del sistema, il che rende più prevedibile il rendimento elevato a singolo nodo.
- Rendimento coerente e riproducibile. La standardizzazione delle immagini VM offre prestazioni a livello di applicazione coerenti e riproducibili.
- Maggiore compatibilità delle applicazioni. L'allineamento ai requisiti a livello di nodo della specifica della piattaforma HPC di Intel consente un elevato grado di interoperabilità tra i sistemi.
Funzionalità
Disattivare gli aggiornamenti automatici
Gli aggiornamenti automatici possono avere un impatto negativo sul rendimento delle applicazioni HPC. Gli aggiornamenti automatici possono essere disattivati quando si utilizzano le immagini VM HPC impostando la voce di metadati google_disable_automatic_updates
su TRUE
durante la creazione di una VM. La modalità di impostazione dei metadati durante la creazione della VM dipende dallo strumento utilizzato per creare la VM.
Ad esempio, quando utilizzi il comando
gcloud compute instances create
per creare
una VM, fornisci l'argomento
--metadata
. Per ulteriori informazioni, consulta Informazioni sui metadati della VM.
Ottimizzazioni collettive di Intel MPI
L'immagine VM HPC include le ottimizzazioni collettive di Intel MPI eseguite su istanze c2-standard-60
e c2d-standard-112
utilizzando i criteri di posizionamento compatti.
RPM preinstallati
L'immagine VM HPC è dotata dei seguenti pacchetti RPM preinstallati:
daos-client
gcc-gfortran
gcc-toolset-12
Lmod
dkms
htop
hwloc
hwloc-devel
kernel-devel
libfabric
libXt
ltrace
nfs-utils
numactl
numactl-devel
papi
pciutils
pdsh
perf
redhat-lsb-core
redhat-lsb-cxx
rsh
screen
strace
wget
zsh
- Gruppo di pacchetti "Strumenti di sviluppo"
Guide rapide
Prima di iniziare
- Per utilizzare Google Cloud CLI per questa guida rapida, devi prima installare e inizializzare Google Cloud CLI:
- Nella console Google Cloud, nella pagina del selettore di progetti, seleziona o crea un progetto Google Cloud.
Crea un'istanza VM HPC
crea la VM
Ti consigliamo vivamente di scegliere un tipo di macchina ottimizzato per il calcolo, ad esempio C2, C2D o H3. Queste VM hanno una mappatura dei core virtuali a quelli fisici fissa ed espongono l'architettura delle celle NUMA all'OS guest, entrambi elementi fondamentali per le prestazioni delle applicazioni HPC fortemente accoppiate.
Console
Nella console Google Cloud, vai alla pagina del marketplace Cloud VM HPC. Vai alla pagina Cloud Marketplace delle VM HPC
Fai clic su Launch .
Nella pagina di deployment della VM HPC, inserisci un nome del deployment. Questo nome diventa la radice del nome della VM. Compute Engine aggiunge
-vm
a questo nome quando assegni il nome all'istanza.Scegli una Zona e un Tipo di macchina. Per questa guida rapida, puoi lasciare invariate tutte le impostazioni o modificarle. Ti consigliamo vivamente di scegliere un tipo di macchina ottimizzato per il calcolo, ad esempio C2, C2D o H3.
Lascia le impostazioni predefinite per Tipo di disco di avvio, Dimensione disco di avvio e Interfaccia di rete.
Fai clic su Esegui il deployment.
Al termine della creazione dell'istanza VM, si apre Cloud Deployment Manager, dove puoi gestire la VM HPC e altri deployment.
gcloud
Crea una VM HPC utilizzando il comando instances create
.
Ti consigliamo vivamente di creare VM HPC utilizzando
criteri di posizionamento compatto
per ottenere una bassa latenza di rete. Se hai bisogno di più VM di quante possano essere inserite in un singolo criterio di posizionamento compatto, suddividile in più criteri di posizionamento. Ti consigliamo di utilizzare il numero minimo di criteri di posizionamento che possono adattarsi alle tue VM.
gcloud compute instances create VM_NAME \ --zone=ZONE \ --image-family=IMAGE_FAMILY \ --image-project=cloud-hpc-image-public \ --maintenance-policy=TERMINATE \ --machine-type=MACHINE_TYPE
Sostituisci quanto segue:
VM_NAME
: il nome della VM HPC da creare.ZONE
: la zona in cui creare la VM.IMAGE_FAMILY
: la famiglia di immagini dell'immagine con cui creare le istanze VM. Utilizzahpc-centos-7
per un'immagine basata su CentOS ohpc-rocky-linux-8
per un'immagine basata su Rocky Linux 8.MACHINE_TYPE
: tipo di macchina per la nuova VM.
Dopo un po' di tempo, la creazione dell'istanza VM viene completata. Per verificare la VM e per visualizzarne lo stato, esegui il seguente comando:
gcloud compute instances describe VM_NAME
Accedi alla VM
Console
Dopo aver creato l'istanza VM HPC, questa si avvia automaticamente. Per accedervi:
Nella console Google Cloud, vai alla pagina Istanze VM.
Fai clic sul nome dell'istanza VM.
Nella sezione Accesso remoto, fai clic sul primo elenco a discesa e scegli come accedere all'istanza.
Compute Engine propaga le tue chiavi SSH e crea il tuo utente. Per ulteriori informazioni, consulta Connessione alle VM Linux.
gcloud
Dopo aver creato l'istanza VM HPC, questa si avvia automaticamente. Per accedervi tramite SSH, utilizza il comando compute ssh
:
gcloud compute ssh VM_NAME
Compute Engine propaga le tue chiavi SSH e crea il tuo utente. Per saperne di più, vedi Connessione alle istanze.
Esegui la pulizia
Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa guida rapida, elimina l'istanza VM HPC che hai creato.
Console
Nella console Google Cloud, vai alla pagina Deployment.
Seleziona la casella di controllo accanto al deployment della VM HPC.
Fai clic su Elimina.
gcloud
Utilizza il comando instances delete
:
gcloud compute instances delete VM_NAME
Creare VM HPC con criteri di posizionamento compatti
Puoi ridurre la latenza tra le VM creando un criterio di posizionamento compatto. Un criterio di posizionamento compatto garantisce che le VM nella stessa zona di disponibilità siano situate vicine tra loro.
Per creare VM HPC che specificano un criterio di posizionamento compatto:
Esegui una di queste operazioni:
Configura la VM HPC in base alle best practice
Per ottenere prestazioni migliori e più prevedibili per la tua VM HPC, ti consigliamo di utilizzare le seguenti best practice.
Disabilita il multi-threading simultaneo
L'immagine VM HPC abilita il multi-threading simultaneo (SMT), noto anche come Hyper-Threading sui processori Intel, per impostazione predefinita. La disattivazione dell'SMT può rendere il rendimento più prevedibile e ridurre i tempi di esecuzione dei job.
Per disattivare SMT, puoi utilizzare i seguenti metodi:
Per disattivare SMT durante la creazione di una nuova VM HPC, segui i passaggi per creare una VM HPC e includi il flag
--threads-per-core=1
.Per disattivare SMT su una VM HPC esistente, connettiti alla VM ed esegui il seguente comando dalla VM:
sudo google_mpi_tuning --nosmt
Per ulteriori informazioni, vedi Impostare il numero di thread per core.
Utilizzare gVNIC come interfaccia di rete virtuale
L'immagine VM HPC supporta sia Virtio-net sia Google Virtual NIC (gVNIC) come interfacce di rete virtuali. L'utilizzo di gVNIC anziché Virtio-net può migliorare la scalabilità delle applicazioni MPI offrendo prestazioni di comunicazione migliori e un throughput più elevato. Inoltre, gVNIC è un prerequisito per la networking avanzata, che offre una maggiore larghezza di banda e consente una maggiore velocità in uscita.
Quando crei una nuova VM, Virtio-net viene utilizzato come interfaccia di rete virtuale per impostazione predefinita. Per utilizzare gVNIC, segui i passaggi per creare una VM HPC
e includi il flag --network-interface=nic-type=GVNIC
. L'immagine VM HPC include il driver gVNIC come Dynamic Kernel Module Support (DKMS).Per ulteriori informazioni, consulta Utilizzare la scheda di rete virtuale di Google.
Disattivare le mitigazioni di Meltdown e Spectre
L'immagine VM HPC attiva le mitigazioni di Meltdown e Spectre per impostazione predefinita. In alcuni casi, queste mitigazioni potrebbero comportare un degrado delle prestazioni specifico per il carico di lavoro. Per disattivare queste mitigazioni e correre i rischi per la sicurezza associati:
Esegui il comando seguente nella VM HPC:
sudo google_mpi_tuning --nomitigation
Riavvia la VM.
Migliorare le prestazioni della rete
Per migliorare le prestazioni di rete della VM, configura una o più delle seguenti configurazioni:
Configura una larghezza di banda più elevata. Per configurare le prestazioni di rete Tier_1 per VM, utilizza il comando
gcloud compute instances create
per creare la VM e specifica il flag--network-performance-configs
. Per ulteriori informazioni, consulta Creare una VM con una configurazione ad alta larghezza di banda.Utilizza i frame jumbo. Per ridurre al minimo il sovraccarico di elaborazione per i pacchetti di rete, consigliamo di utilizzare una dimensione del pacchetto più grande. Devi convalidare dimensioni dei pacchetti più grandi per le specifiche della tua applicazione. Per informazioni sull' utilizzo dei frame jumbo e delle dimensioni dei pacchetti, consulta la guida all'unità massima di trasmissione.
Aumenta i limiti di memoria TCP. Una larghezza di banda maggiore richiede una memoria TCP più grande. Segui i passaggi per aumentare le impostazioni di
tcp_*mem
.Utilizza il profilo di latenza di rete. Valuta la latenza della tua applicazione e attiva il polling occupato che riduce la latenza nel percorso di ricezione della rete. Modifica le impostazioni
net.core.busy_poll
enet.core.busy_read
in/etc/sysctl.conf
o utilizzatuned-adm
.
Utilizzare Intel MPI 2021
Google consiglia di utilizzare la libreria Intel MPI 2021 per eseguire job MPI su Google Cloud.
Le implementazioni MPI hanno molti parametri di configurazione interni che possono influire sulle prestazioni di comunicazione. Questi parametri sono particolarmente pertinenti per la comunicazione collettiva MPI, che consente di specificare algoritmi e parametri di configurazione che possono avere un rendimento molto diverso nell'ambiente Google Cloud.
L'immagine VM HPC include un'utilità, Google-hpc-compute
, per installare comodamente le librerie MPI consigliate e utilizzare i provider libfabric personalizzati di Google Cloud tramite il trasporto TCP.
Utilizza l'utilità google-hpc-compute
per il supporto di IntelMPI 2021
Lo script google_install_intelmpi
è lo strumento correlato a MPI
nell'utilità Google-hpc-compute
. Aiuta a installare e configurare IntelMPI.
L'utilità Google-hpc-compute
è inclusa nell'immagine VM HPC.
Installa IntelMPI 2021
Per installare la libreria IntelMPI durante la creazione di una nuova VM HPC, segui i passaggi per creare una VM HPC e includi quanto segue durante la creazione dell'istanza VM:
--metadata=google_install_intelmpi="--impi_2021"
Per installare la libreria su una VM HPC esistente, esegui il seguente comando sulla VM:
sudo google_install_intelmpi --impi_2021 --install_dir=PATH_INSTALL_MPI
La posizione predefinita per install_dir
è impostata su /opt/intel
.
Intel MPI 2018 nell'immagine HPC CentOS 7
Il supporto di Intel MPI 2018 è disponibile nell'immagine HPC CentOS 7 su Google Cloud.
Per ulteriori informazioni, consulta la guida dell'utente dell'utilità google_install_mpi
.
Per altri casi d'uso relativi a Intel MPI 2018, ad esempio l'esecuzione di applicazioni MPI create con Intel Parallel Studio XE, utilizza il runtime Intel Parallel Studio XE (PSXE) completo sostituendo intel_mpi
con intel_psxe_runtime
nei comandi precedenti. Il runtime PSXE include diverse librerie importanti per l'esecuzione di applicazioni MPI, come la Intel Math Kernel Library (MKL).
Creare un'immagine personalizzata utilizzando l'immagine VM HPC
Crea un'immagine personalizzata utilizzando il disco di avvio dell'immagine VM HPC come disco di origine. Puoi farlo utilizzando la console Google Cloud o Google Cloud CLI.
Console
Nella console Google Cloud, vai alla pagina Immagini.
Fai clic su Crea immagine.
Specifica un nome per l'immagine.
In Disco di origine, seleziona il nome del disco di avvio sulla VM HPC.
Scegli le altre proprietà rimanenti per l'immagine.
Fai clic su Crea.
gcloud
Crea l'immagine personalizzata utilizzando il comando images create
.
gcloud compute images create IMAGE_NAME \ --source-disk=VM_NAME \ --source-disk-zone=VM_ZONE \ --family=IMAGE_FAMILY \ --storage-location=LOCATION
Sostituisci quanto segue:
IMAGE_NAME
: il nome dell'immagine personalizzata.VM_NAME
: il nome della VM HPC.INSTANCE_ZONE
: la zona in cui si trova la VM HPC.IMAGE_FAMILY
: facoltativo. La famiglia di immagini a cui appartiene questa immagine.LOCATION
: facoltativo. Regione in cui archiviare l'immagine personalizzata. La località predefinita è la regione più vicina alla località del disco di origine.
Prezzi
L'immagine VM HPC è disponibile senza costi aggiuntivi. Poiché l'immagine VM HPC viene eseguita su Compute Engine, potresti dover pagare costi per le risorse di Compute Engine, come le vCPU C2 e la memoria. Per saperne di più, consulta la pagina relativa ai prezzi di Compute Engine.
Limitazioni
I vantaggi dell'ottimizzazione variano da un'applicazione all'altra. In alcuni casi, un determinato ottimizzazione potrebbe avere un effetto negativo sulle prestazioni. Valuta la possibilità di eseguire il benchmarking delle tue applicazioni per trovare la configurazione più efficiente o conveniente.
Passaggi successivi
- Scopri di più sull'HPC (high performance computing) su Google Cloud.
- Scopri di più sulla serie di macchine H3.
- Scopri come utilizzare l'API di istanze collettive.
- Se hai un feedback o hai bisogno di assistenza, invia un'email all'indirizzo hpc-image-feedback@google.com.