Hugging Face TGI を使用して Cloud Run GPU で LLM 推論を実行する（サービス）

プレビュー — GPU support for Cloud Run services

この機能には、サービス固有の利用規約の「一般的なサービス規約」の「pre-GA サービス規約」が適用されます。 pre-GA の機能は「現状有姿」で利用できますが、サポートが制限される場合があります。 詳しくは、リリース ステージの説明をご覧ください。

次の例は、Llama 3 を使用して大規模言語モデル（LLM）をデプロイして提供するツールキットである Hugging Face Text Generation Inference（TGI）ツールキットを実行するバックエンド サービスを実行する方法を示しています。

サンプル全体については、Cloud Run で TGI DLC を使用して Llama 3.1 8B をデプロイするをご覧ください。