Menggunakan GPU NVIDIA

Halaman ini menjelaskan cara mendorong tugas deep learning seperti gambar pengenalan, natural language processing, serta teknik komputasi lainnya tugas menggunakan kumpulan node dengan Akselerator hardware unit pemrosesan grafis (GPU) NVIDIA untuk komputasi dengan instance container penyaluran Knative Anda.

Menambahkan node pool dengan GPU ke cluster GKE Anda

Minta administrator untuk membuat kumpulan node dengan GPU:

1. Menambahkan kumpulan node yang mendukung GPU ke cluster GKE.

2. Instal driver perangkat NVIDIA ke node.

Menyiapkan layanan Anda untuk menggunakan GPU

Anda dapat menentukan batas resource menggunakan GPU untuk layanan Anda dengan menggunakan Konsol Google Cloud atau Google Cloud CLI saat Anda men-deploy layanan, memperbarui layanan yang ada, atau men-deploy revisi:

Konsol

1. Buka penayangan Knative

2. Klik Buat layanan untuk menampilkan formulir Buat layanan.

3. Di bagian Setelan layanan:

   1. Memilih cluster GKE dengan node yang mendukung GPU kolam renang.
   2. Tentukan nama yang ingin Anda berikan ke layanan.
   3. Klik Berikutnya untuk melanjutkan ke bagian berikutnya.

4. Di bagian Configure the service's first revision:

   

   1. Tambahkan URL image container.
   2. Klik Advanced settings dan di menu GPU allocated, pilih jumlah GPU yang ingin Anda alokasikan untuk layanan Anda.

5. Klik Berikutnya untuk melanjutkan ke bagian berikutnya.

6. Di bagian Konfigurasi cara layanan ini dipicu, memilih konektivitas yang ingin Anda gunakan untuk memanggil layanan.

7. Klik Create untuk men-deploy image ke inferensi Knative, lalu tunggu hingga deployment selesai.

Command line

Perhatian: Men-deploy perubahan konfigurasi menggunakan file YAML akan menggantikan konfigurasi layanan yang ada. Karena file YAML sepenuhnya ditimpa semua konfigurasi, sebaiknya hindari penggunaan beberapa metode layanan IT perusahaan mereka. Misalnya, jangan gunakan file YAML bersama dengan Konsol Google Cloud atau perintah gcloud.

Anda dapat mendownload konfigurasi layanan yang ada ke YAML dengan perintah gcloud run services describe menggunakan Tanda --format=export. Anda kemudian dapat memodifikasi file YAML itu dan men-deploy perubahan tersebut dengan perintah gcloud run services replace. Anda harus memastikan bahwa Anda hanya mengubah atribut yang ditentukan.

1. Download konfigurasi layanan Anda menjadi file bernama service.yaml pada ruang kerja lokal:

   gcloud run services describe SERVICE --format export > service.yaml

   Ganti SERVICE dengan nama Anda Layanan penyaluran Knative.

2. Di file lokal Anda, perbarui atribut nvidia.com/gpu:

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
   name: SERVICE_NAME
   spec:
   template:
    spec:
      containers:
      – image: IMAGE_URL
        resources:
          limits:
           nvidia.com/gpu: "GPU_UNITS"
   

   Ganti GPU_UNITS dengan yang diinginkan Nilai GPU dalam unit GPU Kubernetes. Misalnya, tentukan 1 untuk 1 GPU.

3. Deploy file YAML dan ganti layanan Anda dengan konfigurasi baru dengan menjalankan perintah berikut:

   gcloud run services replace service.yaml

Untuk mengetahui informasi lebih lanjut tentang performa dan biaya GPU, lihat GPU.