Executar inferência LLM em GPUs do Cloud Run com vLLM (serviços)

Preview — GPU support for Cloud Run services

This feature is subject to the "Pre-GA Offerings Terms" in the General Service Terms section of the Service Specific Terms. Pre-GA features are available "as is" and might have limited support. For more information, see the launch stage descriptions.

O codelab a seguir mostra como executar um serviço de back-end que executa a vLLM, que é um mecanismo de inferência para sistemas de produção, junto com o Gemma 2 do Google, que é um modelo ajustado por instruções com 2 bilhões de parâmetros.

Confira o codelab completo em Executar inferência de LLM em GPUs do Cloud Run com vLLM.