Hugging Face Transformers.js を使用して Cloud Run GPU で LLM 推論を実行する（サービス）

プレビュー — GPU support for Cloud Run services

この機能には、サービス固有の利用規約の「一般的なサービス規約」の「pre-GA サービス規約」が適用されます。 pre-GA の機能は「現状有姿」で利用できますが、サポートが制限される場合があります。 詳しくは、リリース ステージの説明をご覧ください。

次の Codelab では、Transformers.js パッケージを実行するバックエンド サービスを実行する方法について説明します。Transformers.js パッケージは、Google の Gemma 2 モデルとともに、Hugging Face transformers Python ライブラリと同等の機能を備えています。

Codelab 全体については、Cloud Run GPU で Transformers.js を実行する方法をご覧ください。