在 Cloud Run 工作中使用 GPU 執行批次推論

預先發布版 — GPU support for Cloud Run jobs

這項功能適用《服務專屬條款》中「一般服務條款」一節的《正式發布前產品條款》。 正式發布前的功能是按照「原樣」提供，支援範圍可能有限。 詳情請參閱推出階段說明。

您可以在 Cloud Run 工作上，使用 Meta 的 Llama 3.2-1b LLM 和 vLLM 執行批次推論，然後使用 Cloud Run 磁碟區掛接，將結果直接寫入 Cloud Storage。

如需逐步操作說明，請參閱「How to run batch inference on Cloud Run jobs」程式碼研究室。