Cloud Run ジョブで GPU を使用してバッチ推論を実行する

プレビュー版 - GPU support for Cloud Run jobs

この機能は、サービス固有の規約の「一般サービス規約」セクションの「pre-GA サービス規約」の対象となります。 pre-GA の機能は「現状のまま」で提供されるものであり、サポートが制限されることがあります。 詳細については、リリース ステージの説明をご覧ください。

Cloud Run ジョブで Meta の Llama 3.2-1b LLM と vLLM を使用してバッチ推論を実行し、その結果を Cloud Run ボリューム マウントを使用して Cloud Storage に直接書き込むことができます。

Cloud Run ジョブでバッチ推論を実行する方法で、手順ガイドの Codelab をご覧ください。