Il seguente codelab mostra come eseguire un servizio di backend che esegue vLLM, un motore di inferenza per i sistemi di produzione, insieme a Gemma 2 di Google, un modello con 2 miliardi di parametri ottimizzato per le istruzioni.
Consulta l'intero codelab all'indirizzo Esegui l'inferenza LLM sulle GPU Cloud Run con vLLM.
Salvo quando diversamente specificato, i contenuti di questa pagina sono concessi in base alla licenza Creative Commons Attribution 4.0, mentre gli esempi di codice sono concessi in base alla licenza Apache 2.0. Per ulteriori dettagli, consulta le norme del sito di Google Developers. Java è un marchio registrato di Oracle e/o delle sue consociate.
Ultimo aggiornamento 2024-10-10 UTC.
