Entrena a un transformador en Cloud TPU (TF 2.x)

---

Si no estás familiarizado con Cloud TPU, te recomendamos repasa la guía de inicio rápido para aprender a crear una VM de TPU.

En este instructivo, se muestra cómo entrenar un modelo Transformer en Cloud TPU. Transformer es una arquitectura de red neuronal que resuelve el uso de secuencia a secuencia problemas con los mecanismos de atención. A diferencia de los modelos tradicionales de seq2seq, El transformador no implica conexiones recurrentes. El mecanismo de atención aprende dependencias entre tokens en dos secuencias. Dado que las ponderaciones de atención se aplican a todos los tokens en las secuencias, el modelo Transformer puede para capturar dependencias de larga distancia.

La estructura general de Transformer sigue el patrón de codificador-decodificador estándar. El codificador usa la autoatención para procesar una representación de la entrada secuencia. El decodificador genera la secuencia de salida un token a la vez y toma la salida del codificador y los tokens de salida del decodificador anteriores como entradas.

El modelo también aplica incorporaciones a los tokens de entrada y salida, y agrega codificación posicional constante. La codificación posicional agrega información sobre el la posición de cada token.

Advertencia: En este instructivo, se usa un conjunto de datos de terceros. Google no hace ninguna declaración ni proporciona garantía alguna acerca de la validez o cualquier otro aspecto de este conjunto de datos.

Objetivos

• Crear un bucket de Cloud Storage para almacenar el resultado de tu modelo y tu conjunto de datos
• Descarga y procesa previamente el conjunto de datos que se usa para entrenar el modelo.
• Ejecutar el trabajo de entrenamiento
• Verificar los resultados de salida

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

• Compute Engine
• Cloud TPU

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Antes de comenzar

Antes de comenzar este instructivo, verifica que tu proyecto de Google Cloud esté configurado correctamente.

1. Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.

En esta explicación, se usan componentes facturables de Google Cloud. Consulta la página de precios de Cloud TPU para calcular los costos. Asegúrate de limpiar los recursos que crees cuando hayas terminado de usarlos para evitar cargos innecesarios.

Entrena con un dispositivo único de Cloud TPU

Nota: ¿Entrena el modelo con un pod de Cloud TPU? Consulta Entrenamiento de pod de TPU TPU.

Esta sección brinda información sobre cómo configurar un bucket de Cloud Storage y una VM de TPU para el entrenamiento de un solo dispositivo.

Importante: Configura todos los recursos (VM de Cloud TPU). y un bucket de Cloud Storage) en la misma región o zona para reducir la latencia y los costos de red. Las VMs de TPU se encuentran en zonas específicas, que son subdivisiones dentro de una región.

1. Abre una ventana de Cloud Shell.

   Abra Cloud Shell

2. Crea una variable de entorno para el ID de tu proyecto.

   export PROJECT_ID=project-id
   

3. Configura Google Cloud CLI para usar el proyecto de Google Cloud en el que quieres crear una Cloud TPU.

   gcloud config set project ${PROJECT_ID}
   

   La primera vez que ejecutas este comando en una VM nueva de Cloud Shell, se muestra una página Authorize Cloud Shell. Haz clic en Authorize en la parte inferior de la página. para permitir que gcloud realice llamadas a la API de Google Cloud con tus credenciales.

4. Crea una cuenta de servicio para el proyecto de Cloud TPU.

   Las cuentas de servicio permiten que el servicio de Cloud TPU acceda a otros Google Cloud de Google Cloud.

   $ gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
   

   El comando muestra una cuenta de servicio de Cloud TPU con el siguiente formato:

   [e-mail]
   

5. Crea un bucket de Cloud Storage con el siguiente comando:

   $ gsutil mb -p ${PROJECT_ID} -c standard -l us-central2 gs://bucket-name
   

   En este bucket de Cloud Storage se almacenan los datos que usas para entrenar tu modelo y los resultados del entrenamiento. El comando gcloud que se usa en este instructivo para configurar la TPU también establece permisos predeterminados para el servicio de Cloud TPU Cuenta que configuraste en el paso anterior. Si quieres contar con permisos más detallados, revisa los permisos de nivel de acceso.

Entrena el modelo Transformer en una sola Cloud TPU

1. Inicia una VM de Cloud TPU con el comando gcloud.

     $ gcloud compute tpus tpu-vm create transformer-tutorial \
        --zone=us-central2-b \
        --accelerator-type=v4-8 \
        --version=tpu-vm-tf-2.17.0-pjrt
   

   Descripciones de las marcas de comandos

   zone

   Es la zona en la que deseas crear la Cloud TPU.

   accelerator-type

   El tipo de acelerador especifica la versión y el tamaño de la Cloud TPU que deseas crear. Para obtener más información sobre los tipos de aceleradores compatibles con cada versión de TPU, consulta Versiones de TPU.

   version

   La versión de software de Cloud TPU.

   Nota: Si tienes más de un proyecto de Google Cloud, debes usar la marca --project para especificar el ID de Google Cloud en la que deseas crear la Cloud TPU.
   Nota: La primera vez que ejecutas gcloud compute tpus en un proyecto las tareas de inicio tardan alrededor de 5 minutos, como Propagación de claves SSH y activación de la API.

2. Conéctate a la VM de Cloud TPU ejecutando el siguiente ssh kubectl.

   Nota: Cuando te conectas a la VM de Cloud TPU, el mensaje de shell cambios de username@projectname a username@vm-name:

   gcloud compute tpus tpu-vm ssh transformer-tutorial --zone=us-central2-b
   

   Punto clave: A partir de este momento, el prefijo (vm) $ significa que deberías ejecuta el comando en la instancia de VM de Compute Engine.

3. Exporta variables de entorno.

     (vm)$ export STORAGE_BUCKET=gs://bucket-name
     (vm)$ export SENTENCEPIECE_MODEL=sentencepiece
     (vm)$ export SENTENCEPIECE_MODEL_PATH=${STORAGE_BUCKET}/${SENTENCEPIECE_MODEL}.model
     (vm)$ export TFDS_DIR=${STORAGE_BUCKET}/tfds
     (vm)$ export PARAM_SET=big
     (vm)$ export TPU_NAME=local
     (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET}
     (vm)$  export PYTHONPATH="/usr/share/tpu/models:$PYTHONPATH"
   

4. Cuando creas tu TPU, si estableces el parámetro --version en una versión que termina en -pjrt, establece las siguientes variables de entorno para habilitar el entorno de ejecución de PJRT:

     (vm)$ export NEXT_PLUGGABLE_DEVICE_USE_C_API=true
     (vm)$ export TF_PLUGGABLE_DEVICE_LIBRARY_PATH=/lib/libtpu.so
   

5. Instala los requisitos de TensorFlow.

   (vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt
   

6. Descarga y realiza un procesamiento previo del conjunto de datos

     (vm)$ python3 -c "import tensorflow_datasets as tfds; tfds.load('wmt14_translate/de-en', split='train+validation', shuffle_files=True, download=True)"
     (vm)$ python3 /usr/share/tpu/models/official/nlp/data/train_sentencepiece.py --output_model_path=${SENTENCEPIECE_MODEL}
   

7. Copia el conjunto de datos en el bucket de Cloud Storage

     (vm)$ gsutil -m cp ${SENTENCEPIECE_MODEL}.model ${STORAGE_BUCKET}
     (vm)$ gsutil -m cp ${SENTENCEPIECE_MODEL}.vocab ${STORAGE_BUCKET}
     (vm)$ gsutil -m cp -r tensorflow_datasets/wmt14_translate ${TFDS_DIR}/wmt14_translate
   

8. Navega al directorio de entrenamiento

   (vm)$ cd /usr/share/tpu/models/
   

9. Ejecuta la secuencia de comandos de entrenamiento

   (vm)$ python3 official/nlp/train.py \
     --tpu=${TPU_NAME} \
     --experiment=wmt_transformer/large \
     --mode=train_and_eval \
     --model_dir=${MODEL_DIR} \
     --params_override="runtime.distribution_strategy=tpu, task.train_data.tfds_data_dir=${TFDS_DIR}, task.validation_data.tfds_data_dir=${TFDS_DIR}, task.sentencepiece_model_path=${SENTENCEPIECE_MODEL_PATH}, trainer.train_steps=10000, trainer.validation_interval=10000"
   

   Descripciones de las marcas de comandos

   tpu

   El nombre de Cloud TPU. Para ello, especifica la variable de entorno (TPU_NAME).

   experiment

   El modelo que se entrenará.

   mode

   Es el modo en el que se ejecuta la secuencia de comandos.

   model_dir

   El bucket de Cloud Storage en el que se encuentran los puntos de control y los resúmenes almacenados durante el entrenamiento. Puedes usar una carpeta existente para cargar archivos puntos de control generados en una TPU del mismo tamaño y Versión de TensorFlow.

   params_override

   Configura los parámetros del modelo.

   De forma predeterminada, el modelo lo evaluará después de cada 10,000 pasos. Puedes Aumentar la cantidad de pasos de entrenamiento o especificar la frecuencia con la que se deben ejecutar las evaluaciones estableciendo estos parámetros:

   • train.train_steps: Es la cantidad total de pasos de entrenamiento que se ejecutarán.
   • trainer.validation_interval: Es la cantidad de pasos de entrenamiento que se ejecutarán entre las evaluaciones.

   El entrenamiento y la evaluación demoran aproximadamente 20 minutos en una v4-8 Cloud TPU Cuando se completan el entrenamiento y la evaluación, aparece un mensaje similar al siguiente:

   I0208 20:57:19.309512 140039467895872 controller.py:310]  eval | step:  10000 | eval time:   69.2 sec | output: 
   {'bleu_score': 19.204771518707275,
    'sacrebleu_score': 18.307039308307356,
    'validation_loss': 2.0654342}
    eval | step:  10000 | eval time:   69.2 sec | output: 
   {'bleu_score': 19.204771518707275,
    'sacrebleu_score': 18.307039308307356,
    'validation_loss': 2.0654342}
   

   Completaste el entrenamiento en un solo dispositivo. Sigue estos pasos para y borrar los recursos de TPU de un solo dispositivo.

10. Desconéctate de la instancia de Compute Engine:

    (vm)$ exit
    

    El mensaje ahora debería mostrar username@projectname, que indica que estás en Cloud Shell.

11. Borra el recurso TPU.

      $ gcloud compute tpus tpu-vm delete transformer-tutorial \
        --zone=us-central2-b
      

    Descripciones de las marcas de comandos

    zone

    La zona donde residía tu Cloud TPU.

En este punto, puedes finalizar este instructivo y realizar una limpieza o puedes continuar y explorar la ejecución del modelo en los Pods de Cloud TPU.

Escala tu modelo con pods de Cloud TPU

Entrenar tu modelo en pods de Cloud TPU puede requerir algunos cambios en el guion de entrenamiento. Para obtener más información, consulta Entrenamiento en pods de TPU.

Entrenamiento de Pods de TPU

Importante: Si ya configuraste un proyecto de Cloud TPU, cuenta de servicio, bucket de almacenamiento y conjunto de datos para una y el entrenamiento de dispositivos, puedes omitir este paso para iniciar los recursos de TPU.

Importante: Configura los recursos de Cloud TPU y tu bucket de Cloud Storage en la misma región/zona para reducir la latencia la latencia y los costos de red. Las Cloud TPU se encuentran en zonas específicas, que son subdivisiones dentro de una región.

1. Abre una ventana de Cloud Shell.

   Abra Cloud Shell

2. Crea una variable para tu ID del proyecto.

   export PROJECT_ID=project-id
   

3. Configura Google Cloud CLI para usar el proyecto en el que quieres crear una Cloud TPU

   gcloud config set project ${PROJECT_ID}
   

   La primera vez que ejecutas este comando en una VM nueva de Cloud Shell, se muestra una página Authorize Cloud Shell. Haz clic en Authorize en la parte inferior de la página. para permitir que gcloud realice llamadas a la API con tus credenciales.

4. Crea una cuenta de servicio para el proyecto de Cloud TPU.

   gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
   

   El comando muestra una cuenta de servicio de Cloud TPU con el siguiente formato:

   [e-mail]
   

5. Crea un bucket de Cloud Storage mediante el siguiente comando o usa un bucket que hayas creado antes para tu proyecto:

   gsutil mb -p ${PROJECT_ID} -c standard -l us-central1 gs://bucket-name
   

   Este bucket de Cloud Storage almacena los datos que usas para entrenar tu modelo y los resultados del entrenamiento. Con el comando gcloud que se usa en este instructivo, se configuran los permisos predeterminados para la cuenta de servicio de Cloud TPU que configuraste en el paso anterior. Si quieres contar con permisos más detallados, revisa los permisos de nivel de acceso.

   Importante: Si creaste un bucket nuevo de Cloud Storage, deberás hacer lo siguiente: descargar y procesar previamente el conjunto de datos. Para obtener más información, consulta Prepara el conjunto de datos.

Inicia los recursos de VM de TPU

1. Inicia un pod de VM de TPU con el comando gcloud. Esta en el que se especifica un Pod v4-32. Para conocer otras opciones de Pods, consulta los tipos de TPU. página de tipos de TPU disponibles.

   Nota: Si no hay suficiente capacidad disponible en la actualidad para crear el pod de TPU, puedes poner la solicitud en cola con recursos en cola. Los recursos en cola permiten recibir capacidad cuando esté disponible. Para solicitar tus recursos de Cloud TPU como recursos en cola, usa el gcloud alpha compute tpus queued-resources create en su lugar. Para obtener más información, consulta Administra recursos en cola.

   $ gcloud compute tpus tpu-vm create transformer-tutorial \
     --zone=us-central2-b \
     --accelerator-type=v3-32 \
     --version=tpu-vm-tf-2.17.0-pod-pjrt
   

   Descripciones de las marcas de comandos

   zone

   Es la zona en la que deseas crear la Cloud TPU.

   accelerator-type

   El tipo de acelerador especifica la versión y el tamaño de la Cloud TPU que deseas crear. Para obtener más información sobre los tipos de aceleradores compatibles con cada versión de TPU, consulta Versiones de TPU.

   version

   La versión de software de Cloud TPU.

2. Conéctate a la VM de TPU mediante la ejecución del siguiente comando ssh. Cuando accedas a la VM, el indicador de shell cambiará de username@projectname a username@vm-name:

   gcloud compute tpus tpu-vm ssh transformer-tutorial --zone=us-central2-b
   

3. Instala los requisitos de TensorFlow.

   (vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt
   

Configura y, luego, inicia el entrenamiento del Pod

1. Exporta las variables de configuración de Cloud TPU:

   (vm)$ export PYTHONPATH="/usr/share/tpu/models:$PYTHONPATH"
   (vm)$ export STORAGE_BUCKET=gs://bucket-name
   (vm)$ export SENTENCEPIECE_MODEL=sentencepiece
   (vm)$ export SENTENCEPIECE_MODEL_PATH=${STORAGE_BUCKET}/${SENTENCEPIECE_MODEL}.model
   (vm)$ export TFDS_DIR=${STORAGE_BUCKET}/tfds
   (vm)$ export TPU_NAME=transformer-tutorial
   (vm)$ export PARAM_SET=big
   (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET} 
   (vm)$ export TPU_LOAD_LIBRARY=0
   

2. Descarga el conjunto de datos

   Nota: Omite este paso si ya descargaste el conjunto de datos.

   (vm)$ python3 -c "import tensorflow_datasets as tfds; tfds.load('wmt14_translate/de-en', split='train+validation', shuffle_files=True, download=True)"
   (vm)$ python3 /usr/share/tpu/models/official/nlp/data/train_sentencepiece.py --output_model_path=${SENTENCEPIECE_MODEL}
   

3. Copy the dataset to Cloud Storage bucket

   Note: Skip this step if you have already downloaded and copied the dataset to a Cloud Storage bucket.

   (vm)$ gsutil -m cp ${SENTENCEPIECE_MODEL}.model ${STORAGE_BUCKET}
   (vm)$ gsutil -m cp ${SENTENCEPIECE_MODEL}.vocab ${STORAGE_BUCKET}
   (vm)$ gsutil -m cp -r tensorflow_datasets/wmt14_translate ${TFDS_DIR}/wmt14_translate
   

4. Cambie al directorio de entrenamiento:

   (vm)$ cd /usr/share/tpu/models/

5. Ejecuta la secuencia de comandos de entrenamiento:

   (vm)$ python3 official/nlp/train.py 
   
     --tpu=${TPU_NAME} 
   
     --experiment=wmt_transformer/large 
   
     --mode=train_and_eval 
   
     --model_dir=${MODEL_DIR} 
   
     --params_override="runtime.distribution_strategy=tpu, task.train_data.tfds_data_dir=${TFDS_DIR}, task.validation_data.tfds_data_dir=${TFDS_DIR}, task.sentencepiece_model_path=${SENTENCEPIECE_MODEL_PATH}, trainer.train_steps=10000, trainer.validation_interval=10000"
   
   
   
     
     
   Command flag descriptions
     
   
     
   tpu
     
   The name of the Cloud TPU. This is set by specifying
         the environment variable (TPU_NAME).
     
   experiment
     
   The model to train.
     
   mode
     
   The mode in which to run the script.
     
   model_dir
     
   The Cloud Storage bucket where checkpoints and summaries are
         stored during training. You can use an existing folder to load previously
         generated checkpoints created on a TPU of the same size and
         TensorFlow version.
     
   params_override
     
   Set model parameters.
     
      

By default, the model will evaluate after every 10000 steps. In order to train to convergence, change train_steps to 200000. You can increase the number of training steps or specify how often to run evaluations by setting these parameters:

• trainer.train_steps: Sets the total number of training steps to run.
• trainer.validation_interval: Sets the number of training steps to run between evaluations.

Training and evaluation takes approximately 14 minutes on a v4-32 Cloud TPU. When the training and evaluation complete, messages similar to the following appear:

I0209 22:19:49.143219 139751309618240 controller.py:310]  eval | step:  10000 | eval time:   73.6 sec | output: 
    {'bleu_score': 19.401752948760986,
     'sacrebleu_score': 18.442741330886378,
     'validation_loss': 2.0558002}
 eval | step:  10000 | eval time:   73.6 sec | output: 
    {'bleu_score': 19.401752948760986,
     'sacrebleu_score': 18.442741330886378,
     'validation_loss': 2.0558002}

Importante: Cuando hayas completado la capacitación y la evaluación, asegúrate de realizar una limpieza para que no se te cobre por el uso adicional de TPU.

Esta secuencia de comandos de entrenamiento se entrena con 20,000 pasos y ejecuta la evaluación cada 2,000 pasos. Este entrenamiento y evaluación en particular tarda alrededor de 8 minutos en una v3-32 Pod de Cloud TPU. Cuando se completan el entrenamiento y la evaluación, aparece un mensaje similar al siguiente:

INFO:tensorflow:Writing to file /tmp/tmpdmlanxcf
I0218 21:09:19.100718 140509661046592 translate.py:184] Writing to file /tmp/tmpdmlanxcf
I0218 21:09:28.043537 140509661046592 transformer_main.py:118] Bleu score (uncased): 1.799112930893898
I0218 21:09:28.043911 140509661046592 transformer_main.py:119] Bleu score (cased): 1.730366237461567

Para entrenar hasta la convergencia, cambia train_steps a 200,000. Tú puede aumentar la cantidad de pasos de entrenamiento o especificar la frecuencia de ejecución las evaluaciones estableciendo estos parámetros:

• --train_steps: Configura la cantidad total de pasos de entrenamiento que se deben ejecutar.
• --steps_between_evals: Cantidad de pasos de entrenamiento para ejecutar entre evaluaciones.

Cuando se completan el entrenamiento y la evaluación, aparece un mensaje similar al siguiente:

0509 00:27:59.984464 140553148962624 translate.py:184] Writing to file /tmp/tmp_rk3m8jp
I0509 00:28:11.189308 140553148962624 transformer_main.py:119] Bleu score (uncased): 1.3239131309092045
I0509 00:28:11.189623 140553148962624 transformer_main.py:120] Bleu score (cased): 1.2855342589318752

Limpia

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

1. Desconéctate de la instancia de Compute Engine, si aún no lo hiciste:

   (vm)$ exit
   

   El mensaje ahora debería mostrar username@projectname, que indica que estás en Cloud Shell.

2. Borra tus recursos de Cloud TPU y Compute Engine.

   $ gcloud compute tpus tpu-vm delete transformer-tutorial \
     --zone=us-central2-b
   

3. Ejecuta gsutil como se muestra y reemplaza bucket-name por el nombre del depósito de Cloud Storage que creaste para este instructivo:

   Precaución: Todos los datos de entrenamiento se perderán cuando borres tu bucket, por lo que solo debes realizar este paso cuando hayas terminado de ejecutar el instructivo.

   $ gsutil rm -r gs://bucket-name
   
   

¿Qué sigue?

Los instructivos de TensorFlow Cloud TPU suelen entrenar el modelo con un conjunto de datos de muestra. Los resultados de este entrenamiento no se pueden usar para la inferencia. Para usar un modelo para inferencia, puedes entrenar los datos en un modelo conjunto de datos o uno propio. Modelos de TensorFlow entrenados con Cloud TPU generalmente requieren que los conjuntos de datos estén TFRecord.

Puedes usar la herramienta de conversión de conjuntos de datos muestra para convertir una imagen de clasificación de datos en formato TFRecord. Si no usas una imagen de clasificación de datos, tendrás que convertir tu conjunto de datos a Formato TFRecord tú mismo. Para obtener más información, consulta TFRecord y tf.Example

Ajuste de hiperparámetros

Para mejorar el rendimiento del modelo con tu conjunto de datos, puedes ajustar la hiperparámetros. Puedes encontrar información sobre los hiperparámetros comunes a todos Los modelos compatibles con TPU en GitHub: La información sobre los hiperparámetros específicos del modelo se puede encontrar en la fuente de la aplicación para cada un modelo de responsabilidad compartida. Para obtener más información sobre el ajuste de hiperparámetros, consulta Descripción general de ajuste de hiperparámetros y ajustes hiperparámetros.

Inferencia

Una vez que hayas entrenado tu modelo, puedes usarlo para inferencias (también denominado predicciones). Puedes usar el conversor de inferencia de Cloud TPU de desarrollo de software para preparar y optimizar un Modelo de TensorFlow para inferencias en Cloud TPU v5e. Para ver más información sobre la inferencia en Cloud TPU v5e, consulta Inferencia de Cloud TPU v5e introducción.