Menjalankan inferensi LLM di GPU Cloud Run dengan vLLM

Preview — GPU support for Cloud Run services

This feature is subject to the "Pre-GA Offerings Terms" in the General Service Terms section of the Service Specific Terms. Pre-GA features are available "as is" and might have limited support. For more information, see the launch stage descriptions.

Codelab berikut menunjukkan cara menjalankan layanan backend yang menjalankan vLLM, yang merupakan mesin inferensi untuk sistem produksi, bersama dengan Gemma 2 Google, yang merupakan model yang disesuaikan dengan petunjuk 2 miliar parameter.

Lihat seluruh codelab di Menjalankan inferensi LLM di GPU Cloud Run dengan vLLM.