Procesa imágenes satelitales de Landsat con GPU

En este instructivo, se muestra cómo usar GPU en Dataflow para procesar imágenes satelitales de Landsat 8 y procesarlas como archivos JPEG.

Objetivos

  • Compilar una imagen de Docker para Dataflow que tenga TensorFlow compatible con GPU
  • Ejecutar un trabajo de Dataflow con GPU

Costos

En este instructivo, se usan componentes facturables de Google Cloud, que incluyen lo siguiente:

  • Cloud Storage
  • Dataflow
  • Container Registry

Usa la calculadora de precios para generar una estimación de los costos según el uso previsto.

Antes de comenzar

  1. Accede a tu Cuenta de Google.

    Si todavía no tienes una cuenta, regístrate para obtener una nueva.

  2. En la página del selector de proyectos de Google Cloud Console, selecciona o crea un proyecto de Google Cloud.

    Ir a la página del selector de proyectos

  3. Asegúrate de que la facturación esté habilitada para tu proyecto de Cloud. Descubre cómo confirmar que tienes habilitada la facturación en un proyecto.

  4. Habilita las API de Dataflow and Cloud Build.

    Habilita las API

  5. Configura la autenticación
    1. En Cloud Console, ve a la página Crea una clave de cuenta de servicio.

      Ir a la página Crea una clave de la cuenta de servicio
    2. En la lista Cuenta de servicio, selecciona Cuenta de servicio nueva.
    3. Ingresa un nombre en el campo Nombre de cuenta de servicio.
    4. En la lista Función, selecciona Proyecto > Propietario.

    5. Haz clic en Crear. Se descargará un archivo JSON que contiene tus claves a tu computadora.
  6. Configura la variable de entorno GOOGLE_APPLICATION_CREDENTIALS en la ruta del archivo JSON que contiene la clave de tu cuenta de servicio. Esta variable solo se aplica a la sesión actual de shell. Por lo tanto, si abres una sesión nueva, deberás volver a configurar la variable.

  7. Para almacenar los archivos de imagen JPEG de salida de este instructivo, crea un bucket de Cloud Storage:
    1. En Cloud Console, ve a la página Navegador de Cloud Storage.

      Ir a la página Navegador de Cloud Storage

    2. Haz clic en Crear depósito.
    3. En el diálogo Crear bucket, especifica los siguientes atributos:
      • Nombre: Un nombre de bucket único No incluyas información sensible en el nombre del bucket, ya que el espacio de nombres del bucket es global y tiene visibilidad pública.
      • Clase de almacenamiento predeterminada: Estándar
      • Una ubicación donde se almacenan los datos del depósito.
    4. Haz clic en Crear.

Prepara tu entorno de trabajo

Antes de poder seguir este instructivo, debes configurar tu entorno de desarrollo y descargar los archivos de inicio.

  1. Clona el repositorio python-docs-samples.

    git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git
    
  2. Dirígete al directorio del código de muestra.

    cd python-docs-samples/dataflow/gpu-workers
    
  3. Configura tu entorno virtual de Python 3.6.

    Esta muestra requiere Python 3.6. La versión de Python que uses debe coincidir con la versión de Python que se usa en la imagen de contenedor personalizada compilada a partir del Dockerfile.

    • Si ya tienes instalado Python 3.6, crea un entorno virtual de Python 3.6 y actívalo.

      python3.6 -m venv env
      source env/bin/activate
      
    • Si no tienes instalado Python 3.6, una manera de instalarlo es mediante Miniconda.

      a. Instala Miniconda siguiendo las instrucciones para tu sistema operativo.

      b. (Opcional) Configura Conda para que no active su entorno base de forma predeterminada.

      conda config --set auto_activate_base false
      

      c. Crea y activa un entorno virtual de Python 3.6:

      conda create --name dataflow-gpu-env python=3.6
      conda activate dataflow-gpu-env
      

    Una vez que hayas terminado este instructivo, puedes ejecutar deactivate para salir de virtualenv.

  4. Instala los requisitos de muestra.

    pip install -U pip
    pip install -r requirements.txt
    

Compile la imagen de Docker

Cloud Build te permite compilar una imagen de Docker con un Dockerfile y guardarla en Container Registry, donde la imagen es accesible para otros productos de Google Cloud.

export PROJECT=PROJECT_NAME
export BUCKET=BUCKET
export IMAGE="gcr.io/$PROJECT/samples/dataflow/tensorflow-gpu:latest"
gcloud --project $PROJECT builds submit -t $IMAGE . --timeout 20m

Reemplaza lo siguiente:

  • PROJECT: el nombre del proyecto de Google Cloud
  • BUCKET: el bucket de Cloud Storage

Ejecuta el trabajo de Dataflow con GPU

En el siguiente bloque de código, se muestra cómo iniciar esta canalización de Dataflow con GPU.

export REGION="us-central1"
export WORKER_ZONE="us-central1-f"
export GPU_TYPE="nvidia-tesla-t4"

python landsat_view.py \
    --output-path-prefix "gs://$BUCKET/samples/dataflow/landsat/" \
    --runner "DataflowRunner" \
    --project "$PROJECT" \
    --region "$REGION" \
    --worker_machine_type "custom-1-13312-ext" \
    --worker_harness_container_image "$IMAGE" \
    --worker_zone "$WORKER_ZONE" \
    --experiment "worker_accelerator=type:$GPU_TYPE;count:1;install-nvidia-driver" \
    --experiment "use_runner_v2"

Después de ejecutar esta canalización, espera a que el comando termine. Si sales de tu shell, es posible que pierdas las variables de entorno que configuraste.

Para evitar compartir la GPU entre varios procesos de trabajador, en esta muestra se usa un tipo de máquina con 1 CPU virtual. Los requisitos de memoria de la canalización se abordan con 13 GB de memoria extendida.

Visualiza los resultados

La canalización en landsat_view.py procesa imágenes satelitales de Landsat 8 y las procesa como archivos JPEG. Para ver estos archivos, sigue los pasos que se indican a continuación:

  1. Enumera los archivos JPEG de salida con detalles mediante gsutil.

    gsutil ls -lh "gs://$BUCKET/samples/dataflow/landsat/"
    
  2. Copia los archivos en tu directorio local.

    mkdir outputs
    gsutil -m cp "gs://$BUCKET/samples/dataflow/landsat/*" outputs/
    
  3. Abre estos archivos de imagen con el visor de imágenes que prefieras.

Realiza una limpieza

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

Borra el proyecto

La manera más fácil de eliminar la facturación es borrar el proyecto que creaste para el instructivo.

Para borrar el proyecto, sigue estos pasos:

  1. En Cloud Console, ve a la página Administrar recursos.

    Ir a Administrar recursos

  2. En la lista de proyectos, elige el proyecto que quieres borrar y haz clic en Borrar.
  3. En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrar el proyecto.

¿Qué sigue?