Esegui l'inferenza LLM su GPU Cloud Run con Hugging Face Transformers.js (servizi)

Anteprima - GPU support for Cloud Run services

Questa funzionalità è soggetta ai "Termini delle Offerte pre-GA" nella sezione Termini generali del servizio dei Termini specifici dei servizi. Le funzionalità pre-GA sono disponibili "così come sono" e potrebbero avere un supporto limitato. Per saperne di più, consulta le descrizioni della fase di lancio.

Il seguente codelab mostra come eseguire un servizio di backend che esegue il pacchetto Transformers.js. Il pacchetto Transformers.js è funzionalmente equivalente alla libreria Python di Hugging Face Transformers insieme al modello Gemma 2 di Google.

Consulta l'intero codelab su come eseguire Transformers.js sulle GPU Cloud Run.