LLM-Inferenz auf Cloud Run-GPUs mit Hugging Face Transformers.js (Dienste) ausführen

Vorschau — GPU support for Cloud Run services

Diese Funktion unterliegt den „Nutzungsbedingungen für Pre-GA-Angebote“ im Abschnitt „Allgemeine Nutzungsbedingungen“ der dienstspezifischen Nutzungsbedingungen. Pre-GA-Funktionen sind „wie besehen“ verfügbar und werden möglicherweise nur eingeschränkt unterstützt. Weitere Informationen finden Sie in den Beschreibungen der Startphase.

Im folgenden Codelab wird gezeigt, wie Sie einen Backend-Dienst ausführen, in dem das Transformers.js-Paket ausgeführt wird. Das Transformers.js-Paket ist funktional mit der Hugging Face Transformers Python-Bibliothek und dem Gemma 2-Modell von Google identisch.

Das vollständige Codelab finden Sie unter Transformers.js auf Cloud Run-GPUs ausführen.