vLLM と Cloud Run を使用して GPU 上で LLM 推論を実行する

プレビュー — GPU support for Cloud Run services

この機能には、サービス固有の利用規約の「一般的なサービス規約」の「pre-GA サービス規約」が適用されます。 pre-GA の機能は「現状有姿」で利用できますが、サポートが制限される場合があります。 詳しくは、リリース ステージの説明をご覧ください。

次の Codelab では、本番環境用の推論エンジンである vLLM を実行するバックエンド サービスを、20 億個のパラメータでチューニングされた Google Gemma 2 モデルとともに実行する方法について説明します。

Codelab 全体については、GPU で vLLM と Cloud Run を使用して LLM 推論を実行するをご覧ください。