Memaksimalkan performa jaringan GPU dengan GPUDirect-TCPX

Kelompok mesin yang dioptimalkan akselerator dirancang oleh Google Cloud guna memberikan performa dan efisiensi yang diperlukan untuk workload yang dipercepat GPU seperti kecerdasan buatan (AI), machine learning (ML), dan komputasi berperforma tinggi (HPC).

Rangkaian mesin yang dioptimalkan untuk akselerator A3 memiliki 208 vCPU dan memori hingga 1872 GB. Setiap VM A3 memiliki delapan GPU NVIDIA H100 terpasang, yang menawarkan memori GPU 80 GB per GPU. VM ini dapat memperoleh bandwidth jaringan hingga 1.000 Gbps, sehingga ideal untuk model bahasa, database, dan komputasi berperforma tinggi (HPC) berbasis transformer yang besar.

Saat menangani VM A3, Anda dapat menggunakan GPUDirect-TCPX untuk mencapai latensi serendah mungkin antara aplikasi dan jaringan. GPUDirect-TCPX adalah stack jaringan akses memori langsung jarak jauh (RDMA) kustom yang meningkatkan performa jaringan VM A3 dengan memungkinkan payload paket data ditransfer langsung dari memori GPU ke antarmuka jaringan tanpa harus melalui memori sistem dan CPU. VM A3 dapat menggunakan GPUDirect-TCPX yang dikombinasikan dengan NIC Virtual Google (gVNIC) untuk memberikan throughput tertinggi antar-VM dalam cluster jika dibandingkan dengan jenis mesin yang dioptimalkan akselerator A2 atau G2.

Dokumen ini menunjukkan cara menyiapkan dan menguji performa jaringan GPU yang lebih baik yang tersedia dengan GPUDirect-TCPX di VM A3 yang menggunakan Container-Optimized OS.

Ringkasan

Untuk menguji performa jaringan dengan GPUDirect-TCPX, selesaikan langkah-langkah berikut:

  1. Menyiapkan jaringan frame jumbo Virtual Private Cloud (VPC).
  2. Buat VM GPU Anda menggunakan image OS yang Dioptimalkan untuk Container cos-105-lts.
  3. Di setiap VM, instal driver GPU.
  4. Di setiap VM, berikan akses kartu antarmuka jaringan (NIC) ke GPU.
  5. Jalankan pengujian NCCL.

Menyiapkan jaringan MTU frame jumbo

VM a3-highgpu-8g memiliki lima NIC fisik. Untuk mendapatkan performa terbaik bagi NIC fisik, Anda harus membuat lima jaringan Virtual Private Cloud dan menetapkan MTU ke 8244.

Buat jaringan pengelolaan, subnet, dan aturan firewall

Selesaikan langkah-langkah berikut untuk menyiapkan jaringan pengelolaan:

  1. Buat jaringan pengelolaan menggunakan perintah networks create:

    gcloud compute networks create NETWORK_NAME_PREFIX-mgmt-net \
  --project=PROJECT_ID \
  --subnet-mode=custom \
  --mtu=8244

  2. Buat subnet pengelolaan menggunakan perintah networks subnets create:

    gcloud compute networks subnets create NETWORK_NAME_PREFIX-mgmt-sub \
  --project=PROJECT_ID \
  --network=NETWORK_NAME_PREFIX-mgmt-net \
  --region=REGION \
  --range=192.168.0.0/24

  3. Buat aturan firewall menggunakan perintah firewall-rules create.

    1. Buat aturan firewall untuk jaringan pengelolaan.

      gcloud compute firewall-rules create NETWORK_NAME_PREFIX-mgmt-internal \
 --project=PROJECT_ID \
 --network=NETWORK_NAME_PREFIX-mgmt-net \
 --action=ALLOW \
 --rules=tcp:0-65535,udp:0-65535,icmp \
 --source-ranges=192.168.0.0/16

    2. Buat aturan firewall tcp:22 untuk membatasi alamat IP sumber yang dapat terhubung ke VM Anda menggunakan SSH.

      gcloud compute firewall-rules create NETWORK_NAME_PREFIX-mgmt-external-ssh \
 --project=PROJECT_ID \
 --network=NETWORK_NAME_PREFIX-mgmt-net \
 --action=ALLOW \
 --rules=tcp:22 \
 --source-ranges=SSH_SOURCE_IP_RANGE

    3. Buat aturan firewall icmp yang dapat digunakan untuk memeriksa masalah transmisi data di jaringan.

      gcloud compute firewall-rules create NETWORK_NAME_PREFIX-mgmt-external-ping \
 --project=PROJECT_ID \
 --network=NETWORK_NAME_PREFIX-mgmt-net \
 --action=ALLOW \
 --rules=icmp \
 --source-ranges=0.0.0.0/0

Ganti kode berikut:

  • NETWORK_NAME_PREFIX: awalan nama yang akan digunakan untuk jaringan dan subnet Virtual Private Cloud.
  • PROJECT_ID: Project ID Anda.
  • REGION: region tempat Anda ingin membuat jaringan.
  • SSH_SOURCE_IP_RANGE: Rentang IP dalam format CIDR. Fungsi ini menentukan alamat IP sumber yang dapat terhubung ke VM Anda dengan menggunakan SSH.

Membuat jaringan data, subnet, dan aturan firewall

Gunakan perintah berikut untuk membuat empat jaringan data, masing-masing dengan subnet dan aturan firewall.

for N in $(seq 1 4); do
  gcloud compute networks create NETWORK_NAME_PREFIX-data-net-$N \
      --project=PROJECT_ID \
      --subnet-mode=custom \
      --mtu=8244

  gcloud compute networks subnets create NETWORK_NAME_PREFIX-data-sub-$N \
      --project=PROJECT_ID \
      --network=NETWORK_NAME_PREFIX-data-net-$N \
      --region=REGION \
      --range=192.168.$N.0/24

  gcloud compute firewall-rules create NETWORK_NAME_PREFIX-data-internal-$N \
      --project=PROJECT_ID \
      --network=NETWORK_NAME_PREFIX-data-net-$N \
      --action=ALLOW \
      --rules=tcp:0-65535,udp:0-65535,icmp \
      --source-ranges=192.168.0.0/16
done

Untuk mengetahui informasi selengkapnya tentang cara membuat jaringan Virtual Private Cloud, lihat Membuat dan memverifikasi jaringan MTU frame jumbo.

Membuat VM GPU

Untuk menguji performa jaringan dengan GPUDirect-TCPX, Anda perlu membuat setidaknya dua VM A3.

  1. Buat setiap VM menggunakan cos-105-lts Container-Optimized OS image dan menentukan jaringan MTU virtual yang dibuat di langkah sebelumnya.

    VM juga harus menggunakan antarmuka jaringan NIC Virtual Google (gVNIC). Untuk VM A3, diperlukan gVNIC versi 1.4.0rc3 atau yang lebih baru. Versi driver ini tersedia di Container-Optimized OS.

    NIC virtual pertama digunakan sebagai NIC utama untuk jaringan dan penyimpanan umum, empat NIC virtual lainnya adalah NUMA yang diselaraskan dengan dua dari delapan GPU pada {i>switch<i} PCIe yang sama.

    gcloud compute instances create VM_NAME \
  --project=PROJECT_ID \
  --zone=ZONE \
  --machine-type=a3-highgpu-8g \
  --maintenance-policy=TERMINATE --restart-on-failure \
  --image-family=cos-105-lts \
  --image-project=cos-cloud \
  --boot-disk-size=${BOOT_DISK_SZ:-50} \
  --metadata=cos-update-strategy=update_disabled \
  --scopes=https://www.googleapis.com/auth/cloud-platform \
  --network-interface=nic-type=GVNIC,network=NETWORK_NAME_PREFIX-mgmt-net,subnet=NETWORK_NAME_PREFIX-mgmt-sub \
  --network-interface=nic-type=GVNIC,network=NETWORK_NAME_PREFIX-data-net-1,subnet=NETWORK_NAME_PREFIX-data-sub-1,no-address \
  --network-interface=nic-type=GVNIC,network=NETWORK_NAME_PREFIX-data-net-2,subnet=NETWORK_NAME_PREFIX-data-sub-2,no-address \
  --network-interface=nic-type=GVNIC,network=NETWORK_NAME_PREFIX-data-net-3,subnet=NETWORK_NAME_PREFIX-data-sub-3,no-address \
  --network-interface=nic-type=GVNIC,network=NETWORK_NAME_PREFIX-data-net-4,subnet=NETWORK_NAME_PREFIX-data-sub-4,no-address

    Ganti kode berikut:

    • VM_NAME: nama VM Anda.
    • PROJECT_ID: Project ID Anda.
    • ZONE: zona untuk VM.
    • NETWORK_NAME_PREFIX: awalan nama yang akan digunakan untuk jaringan dan subnet Virtual Private Cloud.

Menginstal driver GPU

Di setiap VM A3, selesaikan langkah-langkah berikut.

  1. Instal driver GPU NVIDIA dengan menjalankan perintah berikut:

    sudo cos-extensions install gpu -- --version=latest

  2. Pasang ulang jalur dengan menjalankan perintah berikut:

    sudo mount --bind /var/lib/nvidia /var/lib/nvidia
sudo mount -o remount,exec /var/lib/nvidia

Memberikan NIC akses ke GPU

Di setiap VM A3, berikan NIC akses ke GPU dengan menyelesaikan langkah-langkah berikut:

  1. Konfigurasikan registry.

    • Jika Anda menggunakan Container Registry, jalankan perintah berikut:

      docker-credential-gcr configure-docker

    • Jika Anda menggunakan Artifact Registry, jalankan perintah berikut:

      docker-credential-gcr configure-docker --registries us-docker.pkg.dev

  2. Konfigurasi pengelola jalur data penerimaan. Layanan pengelolaan, GPUDirect-TCPX Accept Data Path Manager, perlu berjalan bersama aplikasi yang menggunakan GPUDirect-TCPX. Untuk memulai layanan di setiap VM yang Dioptimalkan untuk Container, jalankan perintah berikut:

    docker run --pull=always --rm \
  --name receive-datapath-manager \
  --detach \
  --privileged \
  --cap-add=NET_ADMIN --network=host \
  --volume /var/lib/nvidia/lib64:/usr/local/nvidia/lib64 \
  --device /dev/nvidia0:/dev/nvidia0 \
  --device /dev/nvidia1:/dev/nvidia1 \
  --device /dev/nvidia2:/dev/nvidia2 \
  --device /dev/nvidia3:/dev/nvidia3 \
  --device /dev/nvidia4:/dev/nvidia4 \
  --device /dev/nvidia5:/dev/nvidia5 \
  --device /dev/nvidia6:/dev/nvidia6 \
  --device /dev/nvidia7:/dev/nvidia7 \
  --device /dev/nvidia-uvm:/dev/nvidia-uvm \
  --device /dev/nvidiactl:/dev/nvidiactl \
  --env LD_LIBRARY_PATH=/usr/local/nvidia/lib64 \
  --volume /run/tcpx:/run/tcpx \
  --entrypoint /tcpgpudmarxd/build/app/tcpgpudmarxd \
us-docker.pkg.dev/gce-ai-infra/gpudirect-tcpx/tcpgpudmarxd \
  --gpu_nic_preset a3vm --gpu_shmem_type fd --uds_path "/run/tcpx" --setup_param "--verbose 128 2 0"

  3. Pastikan penampung receive-datapath-manager dimulai.

    docker container logs --follow receive-datapath-manager

    Output akan terlihat seperti berikut:

    I0000 00:00:1687813309.406064       1 rx_rule_manager.cc:174] Rx Rule Manager server(s) started...

  4. Untuk berhenti melihat log, tekan ctrl-c.

  5. Instal aturan tabel IP.

    sudo iptables -I INPUT -p tcp -m tcp -j ACCEPT

  6. Konfigurasikan plugin NVIDIA Collective Communications Library (NCCL) dan GPUDirect-TCPX.

    Versi library NCCL tertentu dan kombinasi biner plugin GPUDirect-TCPX diperlukan untuk menggunakan NCCL dengan dukungan GPUDirect-TCPX. Google Cloud telah menyediakan paket yang memenuhi persyaratan ini.

    Untuk menginstal paket Google Cloud, jalankan perintah berikut:

    docker run --rm -v /var/lib:/var/lib us-docker.pkg.dev/gce-ai-infra/gpudirect-tcpx/nccl-plugin-gpudirecttcpx install --install-nccl
sudo mount --bind /var/lib/tcpx /var/lib/tcpx
sudo mount -o remount,exec /var/lib/tcpx

    Jika perintah ini berhasil, file libnccl-net.so dan libnccl.so akan ditempatkan di direktori /var/lib/tcpx/lib64.

Menjalankan pengujian

Pada setiap VM A3, jalankan pengujian NCCL dengan menyelesaikan langkah-langkah berikut:

  1. Mulai penampung.

    #!/bin/bash

function run_tcpx_container() {
docker run \
  -u 0 --network=host \
  --cap-add=IPC_LOCK \
  --userns=host \
  --volume /run/tcpx:/tmp \
  --volume /var/lib/nvidia/lib64:/usr/local/nvidia/lib64 \
  --volume /var/lib/tcpx/lib64:/usr/local/tcpx/lib64 \
  --shm-size=1g --ulimit memlock=-1 --ulimit stack=67108864 \
  --device /dev/nvidia0:/dev/nvidia0 \
  --device /dev/nvidia1:/dev/nvidia1 \
  --device /dev/nvidia2:/dev/nvidia2 \
  --device /dev/nvidia3:/dev/nvidia3 \
  --device /dev/nvidia4:/dev/nvidia4 \
  --device /dev/nvidia5:/dev/nvidia5 \
  --device /dev/nvidia6:/dev/nvidia6 \
  --device /dev/nvidia7:/dev/nvidia7 \
  --device /dev/nvidia-uvm:/dev/nvidia-uvm \
  --device /dev/nvidiactl:/dev/nvidiactl \
  --env LD_LIBRARY_PATH=/usr/local/nvidia/lib64:/usr/local/tcpx/lib64 \
  "$@"
}

    Perintah sebelumnya menyelesaikan hal berikut:

    • Memasang perangkat NVIDIA dari /dev ke dalam container
    • Menetapkan namespace jaringan container ke host
    • Menetapkan namespace pengguna container yang akan dihosting
    • Menambahkan CAP_IPC_LOCK ke kemampuan penampung
    • Memasang /tmp host ke /tmp container
    • Memasang jalur penginstalan plugin NCCL dan GPUDirect-TCPX NCCL ke dalam container dan menambahkan jalur yang terpasang ke LD_LIBRARY_PATH

  2. Setelah Anda memulai container, aplikasi yang menggunakan NCCL dapat dijalankan dari dalam container. Misalnya, untuk menjalankan pengujian run-allgather, selesaikan langkah-langkah berikut:

    1. Di setiap VM A3, jalankan perintah berikut:

      $ run_tcpx_container -it --rm us-docker.pkg.dev/gce-ai-infra/gpudirect-tcpx/nccl-plugin-gpudirecttcpx shell

    2. Di satu VM, jalankan perintah berikut:

      1. Menyiapkan koneksi antar-VM. Ganti VM-0 dan VM-1 dengan nama setiap VM.

        /scripts/init_ssh.sh VM-0 VM-1
pushd /scripts && /scripts/gen_hostfiles.sh VM-0 VM-1; popd

        Tindakan ini akan membuat direktori /scripts/hostfiles2 di setiap VM.

      2. Jalankan skrip.

        /scripts/run-allgather.sh 8 eth1,eth2,eth3,eth4 1M 512M 2

        Skrip run-allgather memerlukan waktu sekitar dua menit untuk dijalankan. Di akhir log, Anda akan melihat hasil all-gather.

        Jika Anda melihat baris berikut dalam log NCCL, hal ini memverifikasi bahwa GPUDirect-TCPX berhasil diinisialisasi.

        NCCL INFO NET/GPUDirectTCPX ver. 3.1.1.