Convierte un conjunto de datos de clasificación de imágenes para usarlo con Cloud TPU

Antes de comenzar

La muestra del convertidor de datos de clasificación de imágenes define dos clases, ImageClassificationConfig y ImageClassificationBuilder. Estas clases se definen en tpu/tools/data_converter/image_classification_data.py.

ImageClassificationConfig es una clase base abstracta. Creas una subclase de ImageClassificationConfig para definir la configuración necesaria a fin de crear una instancia de ImageClassificationBuilder.

ImageClassificationBuilder es un compilador de conjunto de datos de Tensorflow para conjuntos de datos de clasificación de imágenes. Es una subclase de tdfs.core.GeneratorBasedBuilder. Recupera ejemplos de datos del conjunto de datos y los convierte en TFRecords. Los TFRecords se escriben en una ruta de acceso especificada por el parámetro data_dir en el método __init__ de ImageClassificationBuilder.

En simple_example.py, SimpleDatasetConfig subclasifica a ImageClassificationConfig, implementando propiedades que definen los modos admitidos, la cantidad de clases de imagen y un generador de ejemplos que produce un diccionario que contiene datos de imagen y una clase de imagen para cada ejemplo del conjunto de datos.

La función main() crea un conjunto de datos de datos de imágenes generados de forma aleatoria y crea una instancia de un objeto SimpleDatasetConfig que especifica la cantidad de clases y la ruta al conjunto de datos en el disco. A continuación, main() crea una instancia de un objeto ImageClassificationBuilder y pasa la instancia SimpleDatasetConfig. Por último, main() llama a download_and_prepare(). Cuando se llama a este método, la instancia ImageClassificationBuilder usa el generador de ejemplos de datos implementado por SimpleDatasetConfig para cargar cada ejemplo y guardarlos en una serie de archivos TFRecord.

Para obtener una explicación más detallada, consulta Notebook del convertidor de clasificación.

Modifica la muestra de conversión de datos para cargar tu conjunto de datos

Para convertir tu conjunto de datos en formato TFRecord, crea una subclase de la clase ImageClassificationConfig que defina las siguientes propiedades:

  • num_labels - muestra la cantidad de clases de imágenes
  • supported_modes: Muestra una lista de modos compatibles con tu conjunto de datos (por ejemplo: prueba, entrenamiento y validación).
  • text_label_map: muestra un diccionario que modela la asignación entre una etiqueta de clase de texto y una de clase de número entero (SimpleDatasetConfig no usa esta propiedad porque no requiere una asignación).
  • ruta_descarga: la ruta de acceso desde la que se descarga tu conjunto de datos (SimpleDatasetConfig no usa esta propiedad, ya que example_generator carga los datos desde el disco).

Implementa la función de generador example_generator. Este método debe producir un diccionario que contenga los datos de imagen y el nombre de clase de imagen para cada ejemplo. ImageClassificationBuilder usa la función example_generator() para recuperar cada ejemplo y escribirlos en el disco en formato TFRecord.

Cómo ejecutar la muestra de conversión de datos

  1. Crea un bucket de Cloud Storage con el siguiente comando:

    gsutil mb -p ${PROJECT_ID} -c standard -l us-central1 gs://bucket-name
    
  2. Inicia una VM de Compute Engine con el comando gcloud.

    $ gcloud compute tpus execution-groups create \
     --vm-only \
     --zone=us-central1-b \
     --name=imageclassificationconverter \
     --tf-version=2.4.1
    
    gcloud compute ssh imageclassificationconverter --zone=us-central1-b 

    A partir de este momento, el prefijo (vm)$ indica que debes ejecutar el comando en la instancia de VM de Compute Engine.

  3. Instala los paquetes obligatorios.

    (vm)$ pip3 install opencv-python-headless pillow
    
  4. Crea las siguientes variables de entorno que usa la secuencia de comandos.

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export CONVERTED_DIR=$HOME/tfrecords
    (vm)$ export GENERATED_DATA=$HOME/data
    (vm)$ export GCS_CONVERTED=$STORAGE_BUCKET/data_converter/image_classification/tfrecords
    (vm)$ export GCS_RAW=$STORAGE_BUCKET/image_classification/raw
    (vm)$ export PYTHONPATH="$PYTHONPATH:/usr/share/tpu/models"
    
  5. Cambia al directorio data_converter.

    (vm)$ cd /usr/share/tpu/tools/data_converter
    

Ejecuta el convertidor de datos en un conjunto de datos falso

La secuencia de comandos simple_example.py se encuentra en la carpeta image_classification de la muestra del convertidor de datos. La ejecución de la secuencia de comandos con los siguientes parámetros genera un conjunto de imágenes falsas y las convierte en TFRecords.

(vm)$ python3 image_classification/simple_example.py \
  --num_classes=1000 \
  --data_path=$GENERATED_DATA \
  --generate=True \
  --num_examples_per_class_low=10 \
  --num_examples_per_class_high=11 \
  --save_dir=$CONVERTED_DIR

Ejecuta el convertidor de datos en uno de nuestros conjuntos de datos sin procesar

  1. Crea una variable de entorno para la ubicación de los datos sin procesar.

    (vm)$ export GCS_RAW=gs://cloud-tpu-test-datasets/data_converter/raw_image_classification
    
  2. Ejecuta la secuencia de comandos simple_example.py:

    (vm)$ python3 image_classification/simple_example.py \
    --num_classes=1000 \
    --data_path=$GCS_RAW \
    --generate=False \
    --save_dir=$CONVERTED_DIR
    

La secuencia de comandos simple_example.py toma los siguientes parámetros:

  • num_classes se refiere a la cantidad de clases en el conjunto de datos. Aquí usamos 1,000 para hacer coincidir el formato de ImageNet.
  • generate determina si se deben generar o no los datos sin procesar.
  • data_path se refiere a la ruta en la que se generan los datos si generate=True o la ruta en la que se almacenan los datos sin procesar si generate=False.
  • num_examples_per_class_low y num_examples_per_class_high determinan cuántos ejemplos se generará por clase. La secuencia de comandos genera un número aleatorio de ejemplos en este rango.
  • save_dir hace referencia a dónde se guardan los TFRecords guardados. Para entrenar un modelo en Cloud TPU, los datos deben almacenarse en Cloud Storage. Puede estar en Cloud Storage o en la VM.

Cambia el nombre y mueve los TFRecords a Cloud Storage

El siguiente ejemplo usa los datos convertidos con el modelo ResNet.

  1. Cambia el nombre de los TFRecords al mismo formato que TFRecords de ImageNet:

    (vm)$ cd $CONVERTED_DIR/image_classification_builder/Simple/0.1.0/
    (vm)$ sudo apt install rename
    
    (vm)$ rename -v 's/image_classification_builder-(\w+)\.tfrecord/$1/g' *
  2. Copia los TFRecords a Cloud Storage:

    (vm)$ gsutil -m cp train* $GCS_CONVERTED
    (vm)$ gsutil -m cp validation* $GCS_CONVERTED

Realice una limpieza

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

  1. Desconéctate de la instancia de Compute Engine, si aún no lo hiciste:

    (vm)$ exit
    

    El mensaje ahora debería mostrar user@projectname, que indica que estás en Cloud Shell.

  2. En Cloud Shell, ejecuta gcloud para borrar el recurso de VM.

    $ gcloud compute tpus execution-groups delete imageclassificationconverter \
      --zone=us-central1-b
    
  3. Verifica que se haya borrado la VM con la ejecución de gcloud compute tpus execution-groups list. La eliminación puede tomar varios minutos. Una respuesta como la que se muestra a continuación indica que tus instancias se borraron de forma correcta.

    $ gcloud compute tpus execution-groups list --zone=us-central1-b
    
    Listed 0 items.
    
  4. Ejecuta gsutil como se muestra y reemplaza bucket-name por el nombre del depósito de Cloud Storage que creaste para este instructivo:

    $ gsutil rm -r gs://bucket-name