En esta página se proporciona información general sobre cómo funcionan las GPUs con Dataflow, incluidos los requisitos previos y los tipos de GPU admitidos.
Usar GPUs en tareas de Dataflow te permite agilizar algunas tareas de procesamiento de datos. Las GPUs pueden realizar determinados cálculos más rápido que las CPUs. Estos cálculos suelen ser numéricos o de álgebra lineal, y se utilizan a menudo en casos prácticos de procesamiento de imágenes y aprendizaje automático. El grado de mejora del rendimiento varía en función del caso práctico, el tipo de cálculo y la cantidad de datos procesados.
Requisitos previos para usar GPUs en Dataflow
- Para usar GPUs con tu tarea de Dataflow, debes usar Runner v2.
- Dataflow ejecuta el código de usuario en máquinas virtuales de trabajador dentro de un contenedor Docker.
Estas VMs de trabajador ejecutan Container-Optimized OS.
Para que las tareas de Dataflow usen GPUs, debes cumplir los siguientes requisitos:
- Los controladores de GPU están instalados en las VMs de trabajador y el contenedor de Docker puede acceder a ellos. Para obtener más información, consulta Instalar controladores de GPU.
- Las bibliotecas de GPU que necesita tu canalización, como las bibliotecas NVIDIA CUDA-X o el kit de herramientas NVIDIA CUDA, se instalan en la imagen de contenedor personalizada. Para obtener más información, consulta el artículo sobre cómo configurar la imagen de tu contenedor.
- Como los contenedores de GPU suelen ser grandes, para evitar quedarte sin espacio en disco, aumenta el tamaño del disco de arranque predeterminado a 50 gigabytes o más.
Precios
Las tareas que usan GPUs generan cargos según lo especificado en la página de precios de Dataflow.
Disponibilidad
Dataflow admite los siguientes tipos de GPU:
| Tipo de GPU | Cadena de worker_accelerator |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 40 GB | nvidia-tesla-a100 |
| NVIDIA® A100 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
| NVIDIA® H100 | nvidia-h100-80gb |
| NVIDIA® H100 Mega | nvidia-h100-mega-80gb |
Para obtener más información sobre cada tipo de GPU, incluidos los datos de rendimiento, consulta Plataformas de GPU de Compute Engine.
Para obtener información sobre las regiones y zonas en las que están disponibles las GPUs, consulta el artículo Disponibilidad de regiones y zonas de GPUs en la documentación de Compute Engine.
Cargas de trabajo recomendadas
En la siguiente tabla se ofrecen recomendaciones sobre el tipo de GPU que se debe usar para diferentes cargas de trabajo. Los ejemplos de la tabla son solo sugerencias y debes hacer pruebas en tu propio entorno para determinar el tipo de GPU adecuado para tu carga de trabajo.
Para obtener información más detallada sobre el tamaño de la memoria de la GPU, la disponibilidad de las funciones y los tipos de cargas de trabajo ideales para los distintos modelos de GPU, consulta la tabla comparativa general de la página de plataformas de GPU.
| Carga de trabajo | A100, H100 | L4 | T4 |
|---|---|---|---|
| Ajuste fino del modelo | Recomendado | ||
| Inferencia de modelos grandes | Recomendado | Recomendado | |
| Inferencia de modelos medianos | Recomendado | Recomendado | |
| Inferencia de modelos pequeños | Recomendado | Recomendado |
Siguientes pasos
- Consulta un ejemplo de flujo de trabajo de desarrollador para crear canalizaciones que usen GPUs.
- Consulta cómo ejecutar una canalización de Apache Beam en Dataflow con GPUs.
- Sigue los pasos de Procesar imágenes de satélite Landsat con GPUs.