Esegui l'inferenza LLM sulle GPU Cloud Run con vLLM

Preview — GPU support for Cloud Run services

This feature is subject to the "Pre-GA Offerings Terms" in the General Service Terms section of the Service Specific Terms. Pre-GA features are available "as is" and might have limited support. For more information, see the launch stage descriptions.

Il seguente codelab mostra come eseguire un servizio di backend che esegue vLLM, un motore di inferenza per i sistemi di produzione, insieme a Gemma 2 di Google, un modello con 2 miliardi di parametri ottimizzato per le istruzioni.

Per visualizzare l'intero codelab, consulta Esegui l'inferenza LLM sulle GPU Cloud Run con vLLM.