Menggunakan GPU NVIDIA

Halaman ini menjelaskan cara mendorong tugas deep learning seperti pengenalan gambar, natural language processing, serta tugas intensif komputasi lainnya menggunakan node pool dengan akselerator hardware unit pemrosesan grafis (GPU) NVIDIA untuk daya komputasi dengan instance penampung penayangan Knative Anda.

Menambahkan node pool dengan GPU ke cluster GKE

Minta administrator membuat node pool dengan GPU:

1. Menambahkan node pool yang mendukung GPU ke cluster GKE.

2. Instal driver perangkat NVIDIA ke node.

Menyiapkan layanan untuk menggunakan GPU

Anda dapat menentukan batas resource untuk menggunakan GPU untuk layanan Anda menggunakan konsol Google Cloud atau Google Cloud CLI saat men-deploy layanan baru, memperbarui layanan yang ada, atau men-deploy revisi:

Konsol

1. Buka Inferensi Knative

2. Klik Buat layanan untuk menampilkan formulir Buat layanan.

3. Di bagian Setelan layanan:

   1. Pilih cluster GKE dengan kumpulan node yang mengaktifkan GPU.
   2. Tentukan nama yang ingin Anda berikan ke layanan Anda.
   3. Klik Berikutnya untuk melanjutkan ke bagian berikutnya.

4. Di bagian Mengonfigurasi revisi pertama layanan:

   

   1. Tambahkan URL image container.
   2. Klik Setelan lanjutan dan di menu GPU allocated, pilih jumlah GPU yang ingin Anda alokasikan ke layanan.

5. Klik Berikutnya untuk melanjutkan ke bagian berikutnya.

6. Di bagian Configure how this service is triggered, pilih konektivitas yang ingin Anda gunakan untuk memanggil layanan.

7. Klik Create untuk men-deploy image ke layanan Knative dan tunggu deployment selesai.

Command line

Perhatian: Men-deploy perubahan konfigurasi menggunakan file YAML akan mengganti konfigurasi layanan yang ada. Karena file YAML sepenuhnya menimpa semua konfigurasi, Anda harus menghindari penggunaan beberapa metode untuk mengubah layanan. Misalnya, jangan gunakan file YAML bersama dengan konsol Google Cloud atau perintah gcloud.

Anda dapat mendownload konfigurasi layanan yang ada ke dalam file YAML dengan perintah gcloud run services describe menggunakan tanda --format=export. Kemudian, Anda dapat mengubah file YAML tersebut dan men-deploy perubahan tersebut dengan perintah gcloud run services replace. Anda harus memastikan bahwa Anda hanya mengubah atribut yang ditentukan.

1. Download konfigurasi layanan Anda ke file bernama service.yaml di ruang kerja lokal:

   gcloud run services describe SERVICE --format export > service.yaml

   Ganti SERVICE dengan nama layanan penayangan Knative Anda.

2. Di file lokal, perbarui atribut nvidia.com/gpu:

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
   name: SERVICE_NAME
   spec:
   template:
    spec:
      containers:
      – image: IMAGE_URL
        resources:
          limits:
           nvidia.com/gpu: "GPU_UNITS"

   Ganti GPU_UNITS dengan nilai GPU yang diinginkan di unit GPU Kubernetes. Misalnya, tentukan 1 untuk 1 GPU.

3. Deploy file YAML dan ganti layanan Anda dengan konfigurasi baru dengan menjalankan perintah berikut:

   gcloud run services replace service.yaml

Untuk mengetahui informasi selengkapnya tentang performa dan biaya GPU, lihat GPU.