Menjalankan instance dengan akselerator GPU

Halaman ini menjelaskan cara menggunakan akselerator hardware unit pemrosesan grafis (GPU) NVIDIA pada instance virtual machine (VM) OS yang Dioptimalkan Container.

Ringkasan

Dengan menggunakan Compute Engine, Anda dapat membuat instance VM yang menjalankan Container-Optimized OS yang telah memasang GPU. Anda hanya dapat menggunakan dua kelompok mesin saat menjalankan GPU di Compute Engine: yang dioptimalkan akselerator dan tujuan umum N1.

  • Untuk jenis mesin yang dioptimalkan akselerator, setiap jenis mesin memiliki model GPU NVIDIA tertentu yang terpasang.

    • Untuk jenis mesin yang dioptimalkan akselerator A3, GPU NVIDIA H100 80 GB terpasang.
    • Untuk jenis mesin yang dioptimalkan akselerator A2, GPU NVIDIA A100 terpasang. GPU ini tersedia dalam opsi A100 40GB dan A100 80GB.
    • Untuk jenis mesin yang dioptimalkan akselerator G2, GPU NVIDIA L4 terpasang.

  • Untuk jenis mesin tujuan umum N1, Anda dapat memasang GPU berikut:

GPU memberikan daya komputasi untuk mendorong tugas deep learning seperti pengenalan citra dan natural language processing, serta tugas intensif komputasi lainnya seperti transcode video dan pemrosesan gambar.

Google Cloud memberikan pengalaman yang lancar bagi Anda untuk menjalankan beban kerja GPU dalam container pada instance VM Container-Optimized OS sehingga Anda dapat memanfaatkan fitur Container-Optimized OS lainnya seperti keamanan dan keandalan.

Untuk mempelajari kasus penggunaan GPU lebih lanjut, lihat GPU Cloud.

Untuk mempelajari cara menggunakan GPU di Google Kubernetes Engine (GKE), lihat Menjalankan GPU di GKE.

Persyaratan

Menjalankan GPU di instance VM Container-Optimized OS memiliki persyaratan berikut:

  • Image x86 Container-Optimized OS: hanya image Container-Optimized OS berbasis x86 yang mendukung GPU yang berjalan. Image Container-Optimized OS berbasis Arm tidak mendukung fitur ini.

  • Versi Container-Optimized OS: Untuk menjalankan GPU pada instance VM Container-Optimized OS, milestone rilis Container-Optimized OS harus berupa milestone LTS dan nomor milestone harus 85 atau yang lebih tinggi.

  • Kuota GPU: Anda harus memiliki kuota GPU Compute Engine di zona yang dipilih sebelum dapat membuat instance VM Container-Optimized OS dengan GPU. Untuk memastikan Anda memiliki kuota GPU yang cukup dalam project, lihat Kuota di Konsol Google Cloud.

    Jika memerlukan kuota GPU tambahan, Anda harus meminta kuota GPU di konsol Google Cloud. Jika Anda memiliki akun penagihan yang telah ditetapkan, project Anda akan otomatis menerima kuota GPU setelah Anda mengirimkan permintaan kuota.

  • Driver GPU NVIDIA: Anda harus menginstal driver GPU NVIDIA sendiri di instance VM OS yang Dioptimalkan untuk Container. Bagian ini menjelaskan cara menginstal driver di instance VM Container-Optimized OS.

Membuat VM

Bagian berikut menjelaskan cara menjalankan GPU di VM OS yang Dioptimalkan untuk Penampung.

Pertama, Anda memerlukan instance VM OS yang Dioptimalkan untuk Container dengan GPU. Metode yang digunakan untuk membuat VM bergantung pada model GPU yang dipilih.

Anda juga dapat menambahkan GPU ke instance VM OS yang Dioptimalkan untuk Container yang ada.

Saat membuat VM, jangan lupa untuk memilih image atau kelompok image dari project image cos-cloud.

Untuk memeriksa semua GPU yang terpasang ke instance VM Container-Optimized OS saat ini, jalankan perintah berikut:

gcloud compute instances describe INSTANCE_NAME \
    --project=PROJECT_ID \
    --zone ZONE \
    --format="value(guestAccelerators)"

Ganti kode berikut:

Menginstal driver perangkat GPU NVIDIA

Setelah Anda membuat instance dengan satu atau beberapa GPU, sistem Anda memerlukan driver perangkat agar aplikasi Anda dapat mengakses perangkat. Panduan ini menunjukkan cara menginstal driver eksklusif NVIDIA di instance VM Container-Optimized OS.

Container-Optimized OS menyediakan utilitas bawaan cos-extensions untuk menyederhanakan proses penginstalan driver NVIDIA. Dengan menjalankan utilitas, pengguna setuju untuk menyetujui perjanjian lisensi NVIDIA.

Mengidentifikasi versi driver GPU

Setiap versi image Container-Optimized OS memiliki daftar versi driver GPU NVIDIA yang didukung untuk setiap jenis GPU, beserta driver default untuk setiap jenis. Untuk mengetahui daftar lengkap versi yang didukung, lihat catatan rilis tentang tonggak pencapaian utama LTS Container-Optimized OS.

Anda juga dapat memeriksa semua versi driver GPU yang didukung oleh GPU di instance VM Container-Optimized OS dengan menjalankan perintah berikut:

sudo cos-extensions list

Mengidentifikasi versi toolkit CUDA yang diperlukan

Jika aplikasi Anda menggunakan CUDA, instal toolkit CUDA NVIDIA di penampung Anda. Setiap versi CUDA memerlukan versi driver GPU minimum atau versi yang lebih baru. Untuk memeriksa versi driver GPU minimum yang diperlukan untuk versi CUDA, lihat Toolkit CUDA dan Versi Driver yang Kompatibel. Pastikan versi Container-Optimized OS yang Anda gunakan memiliki versi driver GPU yang benar untuk versi CUDA yang Anda gunakan.

Menginstal driver

Anda dapat menginstal GPU menggunakan perintah shell, skrip startup, atau cloud-init. Ketiga metode tersebut menggunakan perintah sudo cos-extensions install gpu untuk menginstal driver GPU default untuk versi LTS Container-Optimized OS Anda.

Shell

Setelah terhubung ke instance VM OS yang Dioptimalkan Penampung, Anda dapat menjalankan perintah berikut secara manual untuk menginstal driver:

sudo cos-extensions install gpu

Skrip startup

Anda juga dapat menginstal driver GPU melalui skrip startup. Anda dapat menyediakan skrip startup saat membuat instance VM atau menerapkan skrip ke instance VM yang sedang berjalan, lalu memulai ulang VM. Dengan begitu, Anda dapat menginstal driver tanpa terhubung ke VM. Tindakan ini juga memastikan driver GPU dikonfigurasi di setiap VM yang dimulai ulang.

Berikut adalah contoh skrip startup untuk menginstal driver:

#! /bin/bash

sudo cos-extensions install gpu

Cloud-init

Cloud-init mirip dengan skrip startup, tetapi lebih canggih. Contoh berikut menunjukkan cara menginstal driver GPU melalui cloud-init:

#cloud-config

runcmd:
  - cos-extensions install gpu

Dengan menggunakan cloud-init, Anda dapat menentukan dependensi sehingga aplikasi GPU hanya akan berjalan setelah driver diinstal. Lihat bagian End-to-end: Menjalankan aplikasi GPU di Container-Optimized OS untuk mengetahui detail selengkapnya.

Untuk mengetahui informasi selengkapnya tentang cara menggunakan cloud-init pada instance VM Container-Optimized OS, lihat halaman membuat dan mengonfigurasi instance.

Dalam beberapa kasus, driver default yang disertakan dengan Container-Optimized OS tidak memenuhi persyaratan driver minimum toolkit CUDA atau model GPU Anda. Lihat Versi driver NVIDIA yang diperlukan untuk mengetahui persyaratan versi bagi jenis GPU tertentu.

Untuk menginstal versi driver GPU tertentu, jalankan perintah berikut:

sudo cos-extensions install gpu -- -version=DRIVER_VERSION

Ganti DRIVER_VERSION dengan salah satu opsi berikut:

  • default: Menginstal driver default yang ditetapkan oleh rilis Container-Optimized OS. Versi ini menerima perbaikan bug dan update keamanan.
  • latest: Menginstal driver terbaru yang tersedia dalam rilis Container-Optimized OS. Perhatikan bahwa hal ini dapat menyebabkan perubahan kompatibilitas karena kemungkinan update versi utama di seluruh rilis COS.
  • Versi lengkap: Gunakan ini untuk menyematkan ke versi tertentu untuk beban kerja yang sensitif terhadap perubahan driver. Misalnya, tentukan versi 535.183.01.
  • Cabang driver NVIDIA: Menginstal driver stabil terbaru dalam cabang NVIDIA tertentu agar tetap mendapatkan update keamanan dan perbaikan bug dalam cabang tersebut. Misalnya, tentukan cabang R535. Opsi ini tersedia mulai cos-gpu-installer:v2.2.1.

Untuk melihat versi yang tersedia untuk setiap opsi tersebut, jalankan perintah untuk Mengidentifikasi versi driver GPU.

Memuatkan driver

Anda dapat memuat driver GPU di instance Container-Optimized OS meskipun tidak ada perangkat GPU yang terpasang. Hal ini berguna untuk menyiapkan lingkungan atau menguji konfigurasi sebelum memasang hardware GPU fisik.

Untuk memuat driver GPU secara otomatis, jalankan perintah berikut:

sudo cos-extensions install gpu -- -no-verify -target-gpu=GPU_DEVICE

Perintah ini didukung mulai dari cos-gpu-installer:v2.3.0. Flag berikut berlaku:

  • -no-verify: Mendownload dan menyiapkan file driver, tetapi melewati pemuatan modul kernel dan verifikasi penginstalan.

  • -target-gpu: Menentukan perangkat GPU untuk memastikan driver yang benar dimuat sebelumnya, sehingga mencegah masalah kompatibilitas saat perangkat GPU dihubungkan nanti. Ganti GPU_DEVICE dengan model GPU tertentu (misalnya,NVIDIA_L4) yang tercantum di Ringkasan. Jika -target-gpu tidak ditentukan, driver GPU default akan dimuat sebelumnya.

Memverifikasi penginstalan

Anda dapat menjalankan perintah berikut di instance VM Container-Optimized OS untuk memverifikasi penginstalan driver GPU secara manual. Output dari perintah ini menampilkan informasi perangkat GPU, seperti status perangkat dan versi driver.

# Make the driver installation path executable by re-mounting it.
sudo mount --bind /var/lib/nvidia /var/lib/nvidia
sudo mount -o remount,exec /var/lib/nvidia
/var/lib/nvidia/bin/nvidia-smi

Mengonfigurasi penampung untuk menggunakan GPU

Setelah driver GPU diinstal, Anda dapat mengonfigurasi penampung untuk menggunakan GPU. Contoh berikut menunjukkan cara menjalankan aplikasi CUDA dalam penampung Docker yang menggunakan /dev/nvidia0:

docker run \
  --volume /var/lib/nvidia/lib64:/usr/local/nvidia/lib64 \
  --volume /var/lib/nvidia/bin:/usr/local/nvidia/bin \
  --device /dev/nvidia0:/dev/nvidia0 \
  --device /dev/nvidia-uvm:/dev/nvidia-uvm \
  --device /dev/nvidiactl:/dev/nvidiactl \
  gcr.io/google_containers/cuda-vector-add:v0.1

Anda dapat menjalankan penampung melalui cloud-init untuk menentukan dependensi antara penginstalan driver dan penampung. lihat bagian End-to-end: Running a GPU application on Container-Optimized OS untuk mengetahui detail selengkapnya.

End-to-end: Menjalankan aplikasi GPU di Container-Optimized OS

Contoh menyeluruh berikut menunjukkan cara menggunakan cloud-init untuk mengonfigurasi instance VM Container-Optimized OS yang menyediakan penampung aplikasi GPU myapp:latest setelah driver GPU diinstal:

#cloud-config

users:
- name: myuser
  uid: 2000

write_files:
  - path: /etc/systemd/system/install-gpu.service
    permissions: 0644
    owner: root
    content: |
      [Unit]
      Description=Install GPU drivers
      Wants=gcr-online.target docker.socket
      After=gcr-online.target docker.socket

      [Service]
      User=root
      Type=oneshot
      ExecStart=cos-extensions install gpu
      StandardOutput=journal+console
      StandardError=journal+console
  - path: /etc/systemd/system/myapp.service
    permissions: 0644
    owner: root
    content: |
      [Unit]
      Description=Run a myapp GPU application container
      Requires=install-gpu.service
      After=install-gpu.service

      [Service]
      User=root
      Type=oneshot
      RemainAfterExit=true
      ExecStart=/usr/bin/docker run --rm -u 2000 --name=myapp --device /dev/nvidia0:/dev/nvidia0 myapp:latest
      StandardOutput=journal+console
      StandardError=journal+console

runcmd:
  - systemctl daemon-reload
  - systemctl start install-gpu.service
  - systemctl start myapp.service

Tentang library NVIDIA CUDA-X

CUDA® adalah platform komputasi paralel dan model pemrograman NVIDIA untuk GPU. Untuk menggunakan aplikasi CUDA, library harus ada dalam gambar yang Anda gunakan. Anda dapat melakukan salah satu tindakan berikut untuk menambahkan library NVIDIA CUDA-X:

  • Gunakan image dengan library NVIDIA CUDA-X yang telah diinstal sebelumnya. Misalnya, Anda dapat menggunakan Deep Learning Containers Google. Container ini menginstal lebih dulu framework data science utama, library, dan alat NVIDIA CUDA-X. Atau, image CUDA NVIDIA hanya berisi library NVIDIA CUDA-X.

  • Mem-build dan menggunakan image Anda sendiri. Dalam hal ini, sertakan /usr/local/cuda-XX.X/lib64, yang berisi library NVIDIA CUDA-X, dan /usr/local/nvidia/lib64, yang berisi driver perangkat NVIDIA, dalam variabel lingkungan LD_LIBRARY_PATH. Untuk /usr/local/cuda-XX.X/lib64, nama direktori bergantung pada versi image yang Anda gunakan. Misalnya, library NVIDIA CUDA-X dan utilitas debug di penampung Docker dapat berada di /usr/local/cuda-11.0/lib64 dan /usr/local/nvidia/bin.

Keamanan

Sama seperti modul kernel lainnya di Container-Optimized OS, driver GPU ditandatangani dan diverifikasi secara kriptografis oleh kunci yang disertakan dalam kernel Container-Optimized OS. Tidak seperti beberapa distro lainnya, Container-Optimized OS tidak mengizinkan pengguna mendaftarkan Kunci Pemilik Komputer (MOK) dan menggunakan kunci tersebut untuk menandatangani modul kernel kustom. Hal ini untuk memastikan integritas kernel Container-Optimized OS dan mengurangi platform serangan.

Pembatasan

Batasan versi Container-Optimized OS

Hanya tonggak pencapaian rilis LTS Container-Optimized OS 85 dan yang lebih baru yang mendukung utilitas cos-extensions yang disebutkan di bagian Menginstal driver perangkat GPU NVIDIA. Untuk tonggak pencapaian rilis Container-Optimized OS sebelumnya, gunakan alat open source cos-gpu-installer untuk menginstal driver GPU secara manual.

Batasan instance VM

Instance VM dengan GPU memiliki batasan tertentu yang membuatnya berperilaku berbeda dengan jenis instance lainnya. Untuk mengetahui informasi selengkapnya, lihat halaman Batasan GPU Compute Engine.

Kuota dan ketersediaan

GPU tersedia di region dan zona tertentu. Saat meminta kuota GPU, pertimbangkan region tempat Anda ingin menjalankan instance VM Container-Optimized OS.

Untuk mengetahui daftar lengkap region dan zona yang berlaku, lihat GPU di Compute Engine. Anda juga dapat melihat GPU yang tersedia di zona Anda menggunakan Google Cloud CLI.

gcloud compute accelerator-types list

Harga

Untuk mengetahui informasi harga GPU, lihat halaman harga Compute Engine.

Dukungan

Setiap versi rilis Container-Optimized OS memiliki setidaknya satu versi driver GPU NVIDIA yang didukung. Tim Container-Optimized OS akan menguji driver GPU yang didukung terhadap versi Container-Optimized OS sebelum rilis untuk memastikan driver tersebut kompatibel. Driver GPU NVIDIA versi baru mungkin tersedia dari waktu ke waktu. Beberapa versi driver GPU tidak akan memenuhi syarat untuk Container-Optimized OS, dan linimasa kualifikasi tidak dijamin.

Saat tim Container-Optimized OS merilis versi baru pada milestone rilis, kami mencoba mendukung versi driver GPU terbaru di cabang driver yang sesuai. Hal ini untuk memperbaiki CVE yang ditemukan di driver GPU sesegera mungkin.

Jika pelanggan Container-Optimized OS mengidentifikasi masalah yang terkait dengan driver GPU NVIDIA, pelanggan harus menghubungi NVIDIA secara langsung untuk mendapatkan dukungan. Jika masalahnya tidak spesifik untuk driver, pengguna dapat membuka permintaan dengan Cloud Customer Care.

Langkah selanjutnya