Ejecuta MNIST en Cloud TPU (TF 2.x)

Este instructivo contiene una descripción de nivel alto del modelo MNIST, instrucciones sobre cómo descargar la muestra de código de TPU de TensorFlow de MNIST y una guía para ejecutar el código en Cloud TPU.

Renuncia de responsabilidad

En este instructivo, se utiliza un conjunto de datos de terceros. Google no hace ninguna declaración ni entrega garantía alguna acerca de la validez o cualquier otro aspecto de este conjunto de datos.

Descripción del modelo

El conjunto de datos MNIST contiene una gran cantidad de imágenes de dígitos de escritura a mano en el rango del 0 al 9, así como las etiquetas que identifican el dígito en cada imagen.

En este instructivo, se entrena un modelo de aprendizaje automático para clasificar imágenes según un conjunto de datos MNIST. Luego del entrenamiento, el modelo clasifica las imágenes entrantes en 10 categorías (0 a 9) según lo aprendido sobre las imágenes de escritura a mano del conjunto de datos MNIST. Luego, puedes enviarle al modelo una imagen que no haya visto antes, y el modelo identifica el dígito según lo que aprendió durante el entrenamiento.

El conjunto de datos MNIST se divide en tres partes:

  • 60,000 ejemplos de datos de entrenamiento
  • 10,000 ejemplos de datos de prueba
  • 5,000 ejemplos de datos de validación

Puedes encontrar más información sobre el conjunto de datos en el sitio del conjunto de datos MNIST.

El modelo tiene una mezcla de siete capas:

  • 2 de convolución
  • 2 de agrupación máxima
  • 2 de densidad (totalmente conectadas)
  • 1 de abandono

Las pérdidas se calculan a través de la entropía cruzada.

Esta versión del modelo MNIST usa la API de Keras, una forma recomendada de compilar y ejecutar un modelo de aprendizaje automático en Cloud TPU.

Keras simplifica el proceso de desarrollo del modelo. Para ello, oculta la mayor parte de la implementación de bajo nivel, lo que también facilita el cambio entre TPU y otras plataformas de prueba, como GPU o CPU.

Objetivos

  • Crear un depósito de Cloud Storage para almacenar el resultado de tu modelo y tu conjunto de datos
  • Ejecutar el trabajo de entrenamiento
  • Verificar los resultados de salida

Costos

En este instructivo, se usan componentes facturables de Google Cloud, que incluyen los siguientes:

  • Compute Engine
  • Cloud TPU
  • Cloud Storage

Usa la calculadora de precios para generar una estimación de los costos según el uso previsto. Los usuarios nuevos de Google Cloud pueden ser elegibles para obtener una prueba gratuita.

Antes de comenzar

En esta sección, se proporciona información sobre cómo configurar el depósito de Cloud Storage y una VM de Compute Engine.

  1. Abre una ventana de Cloud Shell.

    Abre Cloud Shell

  2. Crea una variable para el ID de tu proyecto.

    export PROJECT_ID=project-id
    
  3. Configura la herramienta de línea de comandos gcloud para usar el proyecto en el que deseas crear Cloud TPU.

    gcloud config set project ${PROJECT_ID}
    
  4. Crea una cuenta de servicio para el proyecto de Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    El comando muestra una cuenta de servicio de Cloud TPU con el siguiente formato:

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Crea un depósito de Cloud Storage con el siguiente comando:

    gsutil mb -p ${PROJECT_ID} -c standard -l us-central1 -b on gs://bucket-name
    

    Este depósito de Cloud Storage almacena los datos que usas para entrenar tu modelo y los resultados del entrenamiento. Con la herramienta ctpu up que se usa en este instructivo, se configuran los permisos predeterminados para la cuenta de servicio de Cloud TPU que configuraste en el paso anterior. Si quieres contar con permisos más detallados, revisa los permisos de nivel de acceso.

  6. Inicia una VM de Compute Engine y Cloud TPU con el comando ctpu up.

    $ ctpu up --zone=us-central1-b \
     --tf-version=2.3.1 \
     --name=mnist-tutorial
    

    Descripciones de las marcas de comandos

    zone
    Es la zona en la que deseas crear la Cloud TPU.
    tf-version
    La versión de Tensorflow ctpu se instala en la VM.
    name
    El nombre de la Cloud TPU para crear.

    Para obtener más información sobre la utilidad de CTPU, consulta la Referencia de CTPU.

  7. Aparece la configuración que especificaste. Ingresa y para aprobar o n para cancelar.

  8. Cuando el comando ctpu up termine de ejecutarse, verifica que el indicador de shell haya cambiado de username@projectname a username@vm-name. Este cambio indica que accediste a tu VM de Compute Engine.

    gcloud compute ssh mnist-tutorial --zone=us-central1-b
    

    Mientras sigues estas instrucciones, ejecuta cada comando que empiece con (vm)$ en la ventana de sesión de tu VM.

  9. Crea una variable de entorno para el nombre de la TPU.

    (vm)$ export TPU_NAME=mnist-tutorial
    
  10. Instala un paquete adicional.

    La aplicación de entrenamiento de MNIST requiere un paquete adicional. Instálalo ahora.

    (vm)$ sudo pip3 install tensorflow-model-optimization>=0.1.3
    

Entrenamiento de dispositivos de una sola Cloud TPU

El código fuente para el modelo de TPU MNIST está disponible en GitHub.

  1. Configura las siguientes variables: Reemplaza bucket-name por el nombre de tu depósito:

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/mnist
    (vm)$ export DATA_DIR=${STORAGE_BUCKET}/data
    (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
    
  2. Ve al directorio en el que se almacena el modelo:

    (vm)$ cd /usr/share/models/official/vision/image_classification
    
  3. Ejecuta la secuencia de comandos de entrenamiento de MNIST:

    (vm)$ python3 mnist_main.py \
      --tpu=${TPU_NAME} \
      --model_dir=${MODEL_DIR} \
      --data_dir=${DATA_DIR} \
      --train_epochs=10 \
      --distribution_strategy=tpu \
      --download
    

    Descripciones de las marcas de comandos

    tpu
    El nombre de Cloud TPU. Si no se especifica cuando se configuran la VM de Compute Engine y Cloud TPU, se utilizará tu nombre de usuario de forma predeterminada.
    model_dir
    Este es el directorio que contiene los archivos del modelo. En este instructivo, se usa una carpeta del depósito de Cloud Storage. No es necesario crear la carpeta con anticipación. La secuencia de comandos crea la carpeta si no existe.
    data_dir
    Ruta de acceso de entrenamiento en Cloud Storage. En este ejemplo, se establece como el conjunto de datos fake_imagenet.
    train_epochs
    La cantidad de veces que se entrena el modelo con el conjunto de datos completo.
    distribution_strategy
    Para entrenar el modelo ResNet en una Cloud TPU, establece tpu en distribution_strategy.
    download
    Cuando se configura en true, la secuencia de comandos descarga y procesa previamente el conjunto de datos de MNIST, si aún no se descargó.

La secuencia de comandos de entrenamiento se ejecuta en menos de 5 minutos en una Cloud TPU v3-8 y muestra un resultado similar al siguiente:

I1203 03:43:15.936553 140096948798912 mnist_main.py:165]
Run stats: {'loss': 0.11427700750786683, 'training_accuracy_top_1': 0.9657697677612305,
'accuracy_top_1': 0.9730902910232544, 'eval_loss': 0.08600160645114051}

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud Platform por los recursos que usaste en este instructivo:

  1. Desconéctate de la instancia de Compute Engine, si aún no lo hiciste:

    (vm)$ exit
    

    El mensaje ahora debería mostrar username@projectname, que indica que estás en Cloud Shell.

  2. En Cloud Shell, ejecuta ctpu delete con las marcas --name y --zone que usaste cuando configuraste la VM de Compute Engine y Cloud TPU. Esto borra tanto tu VM como tu Cloud TPU.

    $ ctpu delete --name=mnist-tutorial --zone=us-central1-b
    
  3. Ejecuta ctpu status para asegurarte de no tener instancias asignadas y así evitar cargos innecesarios por el uso de TPU. La eliminación puede tomar varios minutos. Una respuesta como la que se muestra a continuación indica que no hay más instancias asignadas:

    $ ctpu status --name=mnist-tutorial --zone=us-central1-b
    
    2018/04/28 16:16:23 WARNING: Setting zone to "us-central1-b"
    No instances currently exist.
        Compute Engine VM:     --
        Cloud TPU:             --
    
  4. Ejecuta gsutil como se muestra y reemplaza bucket-name por el nombre del depósito de Cloud Storage que creaste para este instructivo:

    $ gsutil rm -r gs://bucket-name
    

¿Qué sigue?

En este instructivo, entrenaste el modelo MNIST con un conjunto de datos de muestra. Los resultados de esta capacitación (en la mayoría de los casos) no se pueden usar para la inferencia. Para usar un modelo de inferencia, puedes entrenar los datos en un conjunto de datos disponible públicamente o en tu propio conjunto de datos. Los modelos entrenados en Cloud TPU requieren que los conjuntos de datos tengan el formato TFRecord.

Puedes usar la muestra de la herramienta de conversión de conjuntos de datos para convertir un conjunto de datos de clasificación de imágenes en formato TFRecord. Si no usas un modelo de clasificación de imágenes, deberás convertir tu conjunto de datos en formato TFRecord tú mismo. Para obtener más información, consulta TFRecord y tf.Example.

Ajuste de hiperparámetros

Para mejorar el rendimiento del modelo con tu conjunto de datos, puedes ajustar los hiperparámetros del modelo. Puedes encontrar información sobre hiperparámetros comunes a todos los modelos compatibles con TPU en GitHub. La información sobre los hiperparámetros específicos del modelo se puede encontrar en el código fuente para cada modelo. Para obtener más información sobre el ajuste de hiperparámetros, consulta Descripción general del ajuste de hiperparámetros, Usa el servicio de ajuste de hiperparámetros y Ajusta los hiperparámetros.

Inferencia

Una vez que entrenaste tu modelo, puedes usarlo para la inferencia (también llamada predicción). AI Platform es una solución basada en la nube que sirve para desarrollar, entrenar e implementar modelos de aprendizaje automático. Una vez que se implementa un modelo, puedes usar el servicio de AI Platform Prediction.