Usa GPU de NVIDIA

En esta página, se describe cómo impulsar tareas de aprendizaje profundo, como reconocimiento de imágenes, procesamiento de lenguaje natural y otras tareas con gran demanda de procesamiento mediante grupos de nodos con aceleradores de hardware de la unidad de procesamiento de gráficos (GPU) de NVIDIA para la potencia de procesamiento con tu instancia de contenedor de Knative serving.

Agrega un grupo de nodos con GPU al clúster de GKE

Haz que un administrador cree un grupo de nodos con GPU:

1. Agrega un grupo de nodos habilitado para GPU a tu clúster de GKE.

2. Instala los controladores de dispositivos de NVIDIA en los nodos.

Configura tu servicio para que consuma GPU

Puedes especificar un límite de recursos para consumir GPU para tu servicio con la consola de Google Cloud o Google Cloud CLI cuando implementas un servicio nuevo, actualizas un servicio existente o implementas una revisión:

Console

1. Ve a Knative serving

2. Haz clic en Crear servicio para mostrar el formulario Crear servicio (Create service).

3. En la sección Configuración del servicio (Service settings), haz lo siguiente:

   1. Selecciona el clúster de GKE con el grupo de nodos habilitado para GPU.
   2. Especifica el nombre que deseas asignarle al servicio.
   3. Haz clic en Siguiente para pasar a la siguiente sección.

4. En la sección Configurar la primera revisión del servicio (Configure the service's first revision), haz lo siguiente:

   

   1. Agrega la URL de una imagen de contenedor.
   2. Haz clic en Configuración avanzada y, en el menú GPU asignada, selecciona la cantidad de GPU que deseas asignar a tu servicio.

5. Haz clic en Siguiente para pasar a la siguiente sección.

6. En la sección Configura la forma en que se activa el servicio, selecciona la conectividad que deseas usar para invocar el servicio.

7. Haz clic en Crear para implementar la imagen en Knative serving y espera a que termine la implementación.

Línea de comandos

Precaución: La implementación de cambios de configuración mediante archivos YAML reemplaza la configuración de los servicios existentes. Ya que un archivo YAML reemplaza por completo todas las configuraciones, debes evitar el uso de varios métodos para modificar tus servicios. Por ejemplo, no uses archivos YAML junto con los comandos de gcloud o la consola de Google Cloud.

Puedes descargar la configuración de un servicio existente en un archivo YAML con el comando gcloud run services describe mediante la marca --format=export. Luego, puedes modificar ese archivo YAML e implementar esos cambios con el comando gcloud run services replace. Debes asegurarte de modificar solo los atributos especificados.

1. Descarga la configuración del servicio en un archivo llamado service.yaml en el lugar de trabajo local:

   gcloud run services describe SERVICE --format export > service.yaml

   Reemplaza SERVICE por el nombre de tu servicio de Knative serving.

2. En tu archivo local, actualiza el atributo nvidia.com/gpu:

   apiVersion: serving.knative.dev/v1
   kind: Service
   metadata:
   name: SERVICE_NAME
   spec:
   template:
    spec:
      containers:
      – image: IMAGE_URL
        resources:
          limits:
           nvidia.com/gpu: "GPU_UNITS"
   

   Reemplaza GPU_UNITS por el valor de GPU deseado en unidades de GPU de Kubernetes. Por ejemplo, especifica 1 para 1 GPU.

3. Implementa el archivo YAML y reemplaza tu servicio con la nueva configuración mediante la ejecución del siguiente comando:

   gcloud run services replace service.yaml

Para obtener más información sobre el rendimiento y el costo de la GPU, consulta GPU.