Esegui l'inferenza LLM sulle GPU Cloud Run con Hugging Face Transformers.js

Preview — GPU support for Cloud Run services

This feature is subject to the "Pre-GA Offerings Terms" in the General Service Terms section of the Service Specific Terms. Pre-GA features are available "as is" and might have limited support. For more information, see the launch stage descriptions.

Il seguente codelab mostra come eseguire un servizio di backend che esegue il pacchetto Transformers.js. Il pacchetto Transformers.js è funzionalmente equivalente alla libreria Python Hugging Face Transformers insieme al modello Gemma 2 di Google.

Consulta l'intero codelab all'indirizzo Come eseguire Transformers.js sulle GPU di Cloud Run.