La famiglia di macchine ottimizzate per l'acceleratore è progettata da Google Cloud per offrire le prestazioni e l'efficienza necessarie per le GPU carichi di lavoro accelerati come intelligenza artificiale (AI), machine learning (ML), e computing ad alte prestazioni (HPC).
La serie di macchine A3 ottimizzate per gli acceleratori ha 208 vCPU e fino a 1872 GB di memoria. A ogni tipo di macchina a3-highgpu-8g
sono collegate otto GPU NVIDIA H100, che offrono 80 GB di memoria GPU per GPU. Queste VM possono
fino a 1000 Gbit/s di larghezza di banda di rete, il che li rende ideali per applicazioni
modelli linguistici basati su trasformatore, database e computing ad alte prestazioni (HPC).
Quando lavori con le VM a3-highgpu-8g
, puoi utilizzare GPUDirect-TCPX per ottenere
e la latenza più bassa possibile tra le applicazioni e la rete.
GPUDirect-TCPX è un accesso diretto remoto alla memoria (RDMA) personalizzato
che aumenta le prestazioni di rete delle VM A3
consentendo il trasferimento diretto dei payload dei pacchetti di dati dalla memoria GPU
senza dover passare per la CPU e la memoria di sistema.
Le VM A3 possono utilizzare GPUDirect-TCPX combinato con la NIC virtuale di Google (gVNIC) per offrire il throughput più elevato tra le VM in un cluster rispetto ai tipi di macchine ottimizzati per l'acceleratore A2 o G2.
Questo documento mostra come utilizzare la configurazione e il test della rete GPU migliorata
le prestazioni disponibili con GPUDirect-TCPX su a3-highgpu-8g
VM che utilizzano
Container-Optimized OS.
Panoramica
Per testare le prestazioni della rete con GPUDirect-TCPX, completa i seguenti passaggi:
- Configura una o più reti Virtual Private Cloud (VPC) e imposta
MTU (noti anche come frame jumbo) su
8244
. - Crea le VM GPU utilizzando l'immagine
cos-105-lts
Container-Optimized OS. - Installa i driver per GPU su ogni VM.
- In ogni VM, concedi alle schede di interfaccia di rete (NIC) l'accesso alla GPU.
- Esegui un test NCCL.
Configurare le reti MTU con frame jumbo
a3-highgpu-8g
VM hanno cinque NIC fisiche per ottenere le prestazioni migliori
per le NIC fisiche, devi creare cinque reti Virtual Private Cloud e impostare
la MTU a 8244
.
Crea una regola firewall, subnet e rete di gestione
Completa i seguenti passaggi per configurare la rete di gestione:
Crea la rete di gestione utilizzando Comando
networks create
:gcloud compute networks create NETWORK_NAME_PREFIX-mgmt-net \ --project=PROJECT_ID \ --subnet-mode=custom \ --mtu=8244
Crea la subnet di gestione utilizzando Comando
networks subnets create
:gcloud compute networks subnets create NETWORK_NAME_PREFIX-mgmt-sub \ --project=PROJECT_ID \ --network=NETWORK_NAME_PREFIX-mgmt-net \ --region=REGION \ --range=192.168.0.0/24
Crea le regole firewall utilizzando il comando
firewall-rules create
.Crea una regola firewall per la rete di gestione.
gcloud compute firewall-rules create NETWORK_NAME_PREFIX-mgmt-internal \ --project=PROJECT_ID \ --network=NETWORK_NAME_PREFIX-mgmt-net \ --action=ALLOW \ --rules=tcp:0-65535,udp:0-65535,icmp \ --source-ranges=192.168.0.0/16
Crea la regola firewall
tcp:22
per limitare gli indirizzi IP di origine che possono connettersi alla tua VM utilizzando SSH.gcloud compute firewall-rules create NETWORK_NAME_PREFIX-mgmt-external-ssh \ --project=PROJECT_ID \ --network=NETWORK_NAME_PREFIX-mgmt-net \ --action=ALLOW \ --rules=tcp:22 \ --source-ranges=SSH_SOURCE_IP_RANGE
Crea la regola firewall
icmp
che può essere utilizzata per verificare a causa di problemi di trasmissione dati nella rete.gcloud compute firewall-rules create NETWORK_NAME_PREFIX-mgmt-external-ping \ --project=PROJECT_ID \ --network=NETWORK_NAME_PREFIX-mgmt-net \ --action=ALLOW \ --rules=icmp \ --source-ranges=0.0.0.0/0
Sostituisci quanto segue:
NETWORK_NAME_PREFIX
: il prefisso del nome da utilizzare per Reti e subnet del virtual private cloud.PROJECT_ID
: il tuo ID progetto.REGION
: la regione in cui vuoi creare le reti.SSH_SOURCE_IP_RANGE
: intervallo IP in formato CIDR. Questo specifica gli indirizzi IP di origine che possono connettersi alla VM tramite SSH.
Crea reti di dati, subnet e regole firewall
Utilizza il comando seguente per creare quattro reti di dati, ciascuna con subnet e regole firewall.
for N in $(seq 1 4); do gcloud compute networks create NETWORK_NAME_PREFIX-data-net-$N \ --project=PROJECT_ID \ --subnet-mode=custom \ --mtu=8244 gcloud compute networks subnets create NETWORK_NAME_PREFIX-data-sub-$N \ --project=PROJECT_ID \ --network=NETWORK_NAME_PREFIX-data-net-$N \ --region=REGION \ --range=192.168.$N.0/24 gcloud compute firewall-rules create NETWORK_NAME_PREFIX-data-internal-$N \ --project=PROJECT_ID \ --network=NETWORK_NAME_PREFIX-data-net-$N \ --action=ALLOW \ --rules=tcp:0-65535,udp:0-65535,icmp \ --source-ranges=192.168.0.0/16 done
Per saperne di più su come creare reti Virtual Private Cloud, consulta Crea e verifica una rete MTU con frame jumbo.
Creare le VM con GPU
Per testare le prestazioni di rete con GPUDirect-TCPX, devi creare almeno due VM A3.
Crea ogni VM utilizzando
cos-105-lts
Container-Optimized OS e specifica la MTU virtuale create nel passaggio precedente.Le VM devono anche utilizzare l'interfaccia di rete gVNIC (Google Virtual NIC). Per le VM A3, è richiesto gVNIC versione 1.4.0rc3 o successiva. Questo conducente è disponibile in Container-Optimized OS.
La prima NIC virtuale viene utilizzata come NIC principale per la rete e lo storage generici, mentre le altre quattro NIC virtuali sono allineate a NUMA con due delle otto GPU sullo stesso switch PCIe.
gcloud compute instances create VM_NAME \ --project=PROJECT_ID \ --zone=ZONE \ --machine-type=a3-highgpu-8g \ --maintenance-policy=TERMINATE --restart-on-failure \ --image-family=cos-105-lts \ --image-project=cos-cloud \ --boot-disk-size=${BOOT_DISK_SZ:-50} \ --metadata=cos-update-strategy=update_disabled \ --scopes=https://www.googleapis.com/auth/cloud-platform \ --network-interface=nic-type=GVNIC,network=NETWORK_NAME_PREFIX-mgmt-net,subnet=NETWORK_NAME_PREFIX-mgmt-sub \ --network-interface=nic-type=GVNIC,network=NETWORK_NAME_PREFIX-data-net-1,subnet=NETWORK_NAME_PREFIX-data-sub-1,no-address \ --network-interface=nic-type=GVNIC,network=NETWORK_NAME_PREFIX-data-net-2,subnet=NETWORK_NAME_PREFIX-data-sub-2,no-address \ --network-interface=nic-type=GVNIC,network=NETWORK_NAME_PREFIX-data-net-3,subnet=NETWORK_NAME_PREFIX-data-sub-3,no-address \ --network-interface=nic-type=GVNIC,network=NETWORK_NAME_PREFIX-data-net-4,subnet=NETWORK_NAME_PREFIX-data-sub-4,no-address
Sostituisci quanto segue:
VM_NAME
: il nome della VM.PROJECT_ID
: il tuo ID progetto.ZONE
: la zona per la VM.NETWORK_NAME_PREFIX
: il prefisso del nome da utilizzare per le reti e le subnet del virtual private cloud.
Installa i driver per GPU
Su ogni VM A3, completa i seguenti passaggi.
Installa i driver GPU NVIDIA eseguendo questo comando:
sudo cos-extensions install gpu -- --version=latest
Rimonta il percorso eseguendo questo comando:
sudo mount --bind /var/lib/nvidia /var/lib/nvidia sudo mount -o remount,exec /var/lib/nvidia
Concedi alle NIC l'accesso alle GPU
Su ogni VM A3, concedi alle NIC l'accesso alle GPU completando i seguenti passaggi:
Configura il registro.
Se utilizzi Container Registry, esegui questo comando:
docker-credential-gcr configure-docker
Se utilizzi Artifact Registry, esegui il seguente comando:
docker-credential-gcr configure-docker --registries us-docker.pkg.dev
Configura il gestore del percorso dei dati di ricezione. Un servizio di gestione, GPUDirect-TCPX Receive Data Path Manager, deve essere eseguito insieme alle applicazioni che utilizzano GPUDirect-TCPX. Per avviare su ogni VM di Container-Optimized OS, esegui questo comando:
docker run --pull=always --rm \ --name receive-datapath-manager \ --detach \ --privileged \ --cap-add=NET_ADMIN --network=host \ --volume /var/lib/nvidia/lib64:/usr/local/nvidia/lib64 \ --device /dev/nvidia0:/dev/nvidia0 \ --device /dev/nvidia1:/dev/nvidia1 \ --device /dev/nvidia2:/dev/nvidia2 \ --device /dev/nvidia3:/dev/nvidia3 \ --device /dev/nvidia4:/dev/nvidia4 \ --device /dev/nvidia5:/dev/nvidia5 \ --device /dev/nvidia6:/dev/nvidia6 \ --device /dev/nvidia7:/dev/nvidia7 \ --device /dev/nvidia-uvm:/dev/nvidia-uvm \ --device /dev/nvidiactl:/dev/nvidiactl \ --env LD_LIBRARY_PATH=/usr/local/nvidia/lib64 \ --volume /run/tcpx:/run/tcpx \ --entrypoint /tcpgpudmarxd/build/app/tcpgpudmarxd \ us-docker.pkg.dev/gce-ai-infra/gpudirect-tcpx/tcpgpudmarxd \ --gpu_nic_preset a3vm --gpu_shmem_type fd --uds_path "/run/tcpx" --setup_param "--verbose 128 2 0"
Verifica che il container
receive-datapath-manager
sia stato avviato.docker container logs --follow receive-datapath-manager
L'output dovrebbe essere simile al seguente:
I0000 00:00:1687813309.406064 1 rx_rule_manager.cc:174] Rx Rule Manager server(s) started...
Per interrompere la visualizzazione dei log, premi
ctrl-c
.Installa le regole della tabella IP.
sudo iptables -I INPUT -p tcp -m tcp -j ACCEPT
Configura la NVIDIA Collective Communications Library (NCCL) e GPUDirect-TCPX.
Per utilizzare NCCL con il supporto di GPUDirect-TCPX è necessaria una versione specifica della libreria NCCL e una combinazione di file binari del plug-in GPUDirect-TCPX. Google Cloud ha forniti pacchetti che soddisfano questo requisito.
Per installare il pacchetto Google Cloud, esegui il seguente comando:
docker run --rm -v /var/lib:/var/lib us-docker.pkg.dev/gce-ai-infra/gpudirect-tcpx/nccl-plugin-gpudirecttcpx install --install-nccl sudo mount --bind /var/lib/tcpx /var/lib/tcpx sudo mount -o remount,exec /var/lib/tcpx
Se questo comando ha esito positivo, i file
libnccl-net.so
elibnccl.so
si trovano nella directory/var/lib/tcpx/lib64
.
Esegui test
Su ogni VM A3, esegui un test NCCL completando i seguenti passaggi:
Avvia il contenitore.
#!/bin/bash function run_tcpx_container() { docker run \ -u 0 --network=host \ --cap-add=IPC_LOCK \ --userns=host \ --volume /run/tcpx:/tmp \ --volume /var/lib/nvidia/lib64:/usr/local/nvidia/lib64 \ --volume /var/lib/tcpx/lib64:/usr/local/tcpx/lib64 \ --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 \ --device /dev/nvidia0:/dev/nvidia0 \ --device /dev/nvidia1:/dev/nvidia1 \ --device /dev/nvidia2:/dev/nvidia2 \ --device /dev/nvidia3:/dev/nvidia3 \ --device /dev/nvidia4:/dev/nvidia4 \ --device /dev/nvidia5:/dev/nvidia5 \ --device /dev/nvidia6:/dev/nvidia6 \ --device /dev/nvidia7:/dev/nvidia7 \ --device /dev/nvidia-uvm:/dev/nvidia-uvm \ --device /dev/nvidiactl:/dev/nvidiactl \ --env LD_LIBRARY_PATH=/usr/local/nvidia/lib64:/usr/local/tcpx/lib64 \ "$@" }
Il comando precedente completa quanto segue:
- Monta i dispositivi NVIDIA da
/dev
nel contenitore - Imposta lo spazio dei nomi di rete del container sull'host
- Imposta lo spazio dei nomi utente del container su host
- Aggiunge
CAP_IPC_LOCK
alle funzionalità del container - Monta
/tmp
dell'host in/tmp
del container - Monta il percorso di installazione del plug-in NCCL e GPUDirect-TCPX NCCL nel
contenutore e aggiungi il percorso montato a
LD_LIBRARY_PATH
- Monta i dispositivi NVIDIA da
Dopo aver avviato il contenitore, le applicazioni che utilizzano NCCL possono essere eseguite al suo interno. Ad esempio, per eseguire il test
run-allgather
, completa i seguenti passaggi:In ogni VM A3, esegui quanto segue:
$ run_tcpx_container -it --rm us-docker.pkg.dev/gce-ai-infra/gpudirect-tcpx/nccl-plugin-gpudirecttcpx shell
Su una VM, esegui i seguenti comandi:
Configura la connessione tra le VM. Sostituisci
VM-0
eVM-1
con i nomi di ogni VM./scripts/init_ssh.sh VM-0 VM-1 pushd /scripts && /scripts/gen_hostfiles.sh VM-0 VM-1; popd
Viene creata una directory
/scripts/hostfiles2
su ogni VM.Esegui lo script.
/scripts/run-allgather.sh 8 eth1,eth2,eth3,eth4 1M 512M 2
L'esecuzione dello script
run-allgather
richiede circa due minuti. Alla fine dei log, vedrai i risultati diall-gather
.Se nei log NCCL viene visualizzata la riga seguente, significa che GPUDirect-TCPX è stato inizializzato correttamente.
NCCL INFO NET/GPUDirectTCPX ver. 3.1.1.