En esta página, se proporciona información general sobre el funcionamiento de las GPU con Dataflow, incluida la información sobre los requisitos previos y los tipos de GPU compatibles.
El uso de GPU en los trabajos de Dataflow te permite acelerar algunas tareas de tratamiento de datos. Las GPUs pueden realizar ciertos cálculos más rápido que las CPUs. Por lo general, estos cálculos son de álgebra numérica o lineal, a menudo usados en casos de uso de procesamiento de imágenes y aprendizaje automático. La extensión de la mejora del rendimiento varía según el caso práctico, el tipo de procesamiento y la cantidad de datos procesados.
Requisitos previos para usar GPU en Dataflow
- Para usar las GPU con tu trabajo de Dataflow, debes usar Runner v2.
- Dataflow ejecuta el código de usuario en las VMs de trabajador dentro de un contenedor de Docker.
Estas VMs de trabajador ejecutan Container-Optimized OS.
Para que los trabajos de Dataflow usen GPUs, necesitas los siguientes requisitos previos:
- Los controladores de GPU se instalan en las VMs de trabajador y son accesibles para el contenedor de Docker. Para obtener más información, consulta Instala controladores de GPU.
- Las bibliotecas de GPU que requiere tu canalización, como las bibliotecas de NVIDIA CUDA-X o el kit de herramientas de CUDA de NVIDIA, se instalan en la imagen del contenedor personalizada. Para obtener más información, consulta Configura tu imagen de contenedor.
- Debido a que los contenedores de GPU suelen ser grandes, para evitar quedarte sin espacio en el disco, aumenta el tamaño de disco de arranque predeterminado a 50 gigabytes o más.
Precios
Los trabajos que usan GPU generan cargos, como se especifica en la página de precios de Dataflow.
Disponibilidad
Los siguientes tipos de GPU son compatibles con Dataflow:
| Tipo de GPU | String worker_accelerator |
|---|---|
| NVIDIA® L4 | nvidia-l4 |
| NVIDIA® A100 40 GB | nvidia-tesla-a100 |
| NVIDIA® A100 80 GB | nvidia-a100-80gb |
| NVIDIA® Tesla® T4 | nvidia-tesla-t4 |
| NVIDIA® Tesla® P4 | nvidia-tesla-p4 |
| NVIDIA® Tesla® V100 | nvidia-tesla-v100 |
| NVIDIA® Tesla® P100 | nvidia-tesla-p100 |
Para obtener más información sobre cada tipo de GPU, incluidos los datos de rendimiento, consulta Plataformas de GPU de Compute Engine.
Para obtener información sobre las regiones y zonas disponibles para GPU, consulta Disponibilidad de regiones y zonas de GPU en la documentación de Compute Engine.
Cargas de trabajo recomendadas
En la siguiente tabla, se proporcionan recomendaciones sobre qué tipo de GPU usar para diferentes cargas de trabajo. Los ejemplos de la tabla son solo sugerencias y debes realizar pruebas en tu propio entorno a fin de determinar el tipo de GPU adecuado para tu carga de trabajo.
Si deseas obtener información más detallada sobre el tamaño de la memoria de GPU, la disponibilidad de las funciones y los tipos de cargas de trabajo ideales para diferentes modelos de GPU, consulta el Gráfico de comparación general en la página de plataformas de GPU.
| Carga de trabajo | A100 | L4 | T4 |
|---|---|---|---|
| Ajuste del modelo | Recomendado | ||
| Inferencia de modelos grandes | Recomendado | Recomendado | |
| Inferencia de modelos medianos | Recomendado | Recomendado | |
| Inferencia de modelos pequeños | Recomendado | Recomendado |
¿Qué sigue?
- Consulta un ejemplo de un flujo de trabajo de desarrollador para compilar canalizaciones que usan GPU.
- Aprende cómo ejecutar una canalización de Apache Beam en Dataflow con GPU.
- Trabaja con el procesamiento de imágenes satelitales de Landsat con GPU.