Halaman ini menjelaskan cara mendorong tugas deep learning seperti pengenalan gambar, natural language processing, serta tugas intensif komputasi lainnya menggunakan node pool dengan akselerator hardware unit pemrosesan grafis (GPU) NVIDIA untuk daya komputasi dengan instance penampung penayangan Knative Anda.
Menambahkan node pool dengan GPU ke cluster GKE
Minta administrator membuat node pool dengan GPU:
Menyiapkan layanan untuk menggunakan GPU
Anda dapat menentukan batas resource untuk menggunakan GPU untuk layanan Anda menggunakan konsol Google Cloud atau Google Cloud CLI saat men-deploy layanan baru, memperbarui layanan yang ada, atau men-deploy revisi:
Konsol
- Buka Inferensi Knative
Klik Buat layanan untuk menampilkan formulir Buat layanan.
Di bagian Setelan layanan:
- Pilih cluster GKE dengan kumpulan node yang mengaktifkan GPU.
- Tentukan nama yang ingin Anda berikan ke layanan Anda.
- Klik Berikutnya untuk melanjutkan ke bagian berikutnya.
Di bagian Mengonfigurasi revisi pertama layanan:
- Tambahkan URL image container.
- Klik Setelan lanjutan dan di menu GPU allocated, pilih
jumlah GPU
yang ingin Anda alokasikan ke layanan.
Klik Berikutnya untuk melanjutkan ke bagian berikutnya.
Di bagian Configure how this service is triggered, pilih konektivitas yang ingin Anda gunakan untuk memanggil layanan.
Klik Create untuk men-deploy image ke layanan Knative dan tunggu deployment selesai.
Command line
Anda dapat mendownload konfigurasi layanan yang ada ke dalam
file YAML dengan perintah gcloud run services describe
menggunakan
tanda --format=export
.
Kemudian, Anda dapat mengubah file YAML tersebut dan men-deploy
perubahan tersebut dengan perintah gcloud run services replace
.
Anda harus memastikan bahwa Anda hanya mengubah atribut yang ditentukan.
Download konfigurasi layanan Anda ke file bernama
service.yaml
di ruang kerja lokal:gcloud run services describe SERVICE --format export > service.yaml
Ganti SERVICE dengan nama layanan penayangan Knative Anda.
Di file lokal, perbarui atribut
nvidia.com/gpu
:apiVersion: serving.knative.dev/v1 kind: Service metadata: name: SERVICE_NAME spec: template: spec: containers: – image: IMAGE_URL resources: limits: nvidia.com/gpu: "GPU_UNITS"
Ganti GPU_UNITS dengan nilai GPU yang diinginkan di unit GPU Kubernetes. Misalnya, tentukan
1
untuk 1 GPU.Deploy file YAML dan ganti layanan Anda dengan konfigurasi baru dengan menjalankan perintah berikut:
gcloud run services replace service.yaml
Untuk mengetahui informasi selengkapnya tentang performa dan biaya GPU, lihat GPU.