Executar a inferência de LLM em GPUs do Cloud Run com o Transformers.js do Hugging Face (serviços)

Visualização — GPU support for Cloud Run services

Esse recurso está sujeito aos "Termos de ofertas pré-GA" na seção "Termos de Serviço gerais" dos Termos específicos de serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

O codelab a seguir mostra como executar um serviço de back-end que executa o pacote Transformers.js. O pacote Transformers.js é funcionalmente equivalente à biblioteca de transformadores Python do Hugging Face com o modelo Gemma 2 do Google.

Confira o codelab completo em Como executar o Transformers.js em GPUs do Cloud Run.