Ejecutar inferencias por lotes con GPUs en trabajos de Cloud Run

Puedes ejecutar inferencias por lotes con Llama 3.2-1b LLM de Meta y vLLM en un trabajo de Cloud Run y, a continuación, escribir los resultados directamente en Cloud Storage mediante los montajes de volúmenes de Cloud Run.

Consulta un codelab con instrucciones detalladas en Cómo ejecutar inferencias por lotes en trabajos de Cloud Run.