Transformateur d'entraînement sur Cloud TPU (TX2)

Transformateur est une architecture de réseau de neurones qui résout des problèmes séquentiels à l'aide de mécanismes d'attention. Contrairement aux modèles de neurones seq2seq traditionnels, Transformateur n'implique pas de connexions récurrentes. Le mécanisme d'attention apprend les dépendances entre les jetons dans deux séquences. Étant donné que les pondérations de l'attention s'appliquent à tous les jetons des séquences, le modèle Transformateur est capable de capturer facilement les dépendances à longue distance.

La structure globale du transformateur suit le modèle standard encodeur-décodeur. L'encodeur utilise l'auto-attention pour calculer une représentation de la séquence d'entrée. Le décodeur génère la séquence de sortie un jeton à la fois, en prenant la sortie du codeur et les jetons générés par le décodeur précédent comme entrées.

Le modèle applique également des représentations vectorielles continues sur les jetons d'entrée et de sortie, et ajoute un encodage en position constante. L'encodage de position ajoute des informations sur la position de chaque jeton.

Attention : Ce tutoriel utilise un ensemble de données tiers. Google ne formule aucune déclaration ni garantie quant à la validité ou à tout autre aspect de cet ensemble de données.

Coûts

Ce tutoriel utilise des composants facturables de Google Cloud, dont :

• Instance
• Cloud TPU

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Avant de commencer

Si vous prévoyez d'entraîner un modèle sur une tranche de pod TPU, veuillez consulter ce document pour en savoir plus sur les particularités des entraînements sur tranche de pod.

Avant de commencer ce tutoriel, suivez les étapes ci-dessous pour vérifier que votre projet Google Cloud est correctement configuré.

Important: Pour réduire la latence du réseau et les coûts réseau, configurez votre machine virtuelle Compute Engine et votre nœud TPU Cloud dans le même fuseau horaire.

1. Ouvrez une fenêtre Cloud Shell.

   Ouvrir Cloud Shell

2. Créez une variable pour l'ID de votre projet.

   export PROJECT_ID=project-id
   

3. Configurez l'outil de ligne de commande gcloud pour utiliser le projet dans lequel vous souhaitez créer Cloud TPU.

   gcloud config set project ${PROJECT_ID}
   

4. Créez un compte de service pour le projet Cloud TPU.

   gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
   

   La commande renvoie un compte de service Cloud TPU au format suivant :

   [e-mail]
   

5. Créez un bucket Cloud Storage à l'aide de la commande suivante :

   Remarque : Dans la commande suivante, remplacez bucket-name par le nom que vous souhaitez attribuer à votre bucket.

   gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
   

   Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. L'outil ctpu up utilisé dans ce tutoriel définit les autorisations par défaut pour le compte de service Cloud TPU que vous avez configuré à l'étape précédente. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.

6. Lancez une VM Compute Engine à l'aide de la commande ctpu up. Cet exemple définit la zone sur europe-west4-a, mais vous pouvez la définir sur n'importe quelle zone que vous prévoyez d'utiliser pour la VM Compute Engine et Cloud TPU.

   ctpu up --vm-only \
    --disk-size-gb=300 \
    --machine-type=n1-standard-8 \
    --zone=europe-west4-a \
    --tf-version=2.3.1 \
    --name=transformer-tutorial
   

   Description des options de commande

   vm-only

   Pour créer une VM uniquement. Par défaut, la commande ctpu up crée une VM et un Cloud TPU.

   disk-size-gb

   Taille du disque de la VM en Go.

   machine_type

   Le type de machine de la VM créée par la commande ctpu up.

   zone

   Zone dans laquelle vous prévoyez de créer votre Cloud TPU.

   tpu-size

   Type du Cloud TPU à créer.

   tf-version

   La version de Tensorflow que ctpu installe sur la VM.

   name

   Nom du Cloud TPU à créer.

   Pour plus d'informations sur l'utilitaire CTPU, consultez la section Référence CTPU.

7. La configuration que vous avez spécifiée apparaît. Saisissez y pour approuver ou n pour annuler.

8. Une fois l'exécution de la commande ctpu up terminée, vérifiez que l'invite de l'interface système est passée de username@projectname à username@vm-name. Cette modification indique que vous êtes maintenant connecté à votre VM Compute Engine.

   Remarque : Si vous n'êtes pas connecté à l'instance de VM Compute Engine, vous pouvez vous connecter en exécutant la commande suivante, en remplaçant vm-name par le nom de votre VM :

   gcloud compute ssh transformer-tutorial --zone=europe-west4-a
   

À mesure que vous appliquez ces instructions, exécutez chaque commande commençant par (vm)$ dans la fenêtre de session de la VM.

Générer l'ensemble de données d'entraînement

Sur la VM Compute Engine, effectuez les étapes ci-dessous :

1. Créez les variables d'environnement suivantes. Remplacez bucket-name par le nom de votre bucket :

   (vm)$ export STORAGE_BUCKET=gs://bucket-name
   

   (vm)$ export GCS_DATA_DIR=$STORAGE_BUCKET/data/transformer
   (vm)$ export PARAM_SET=big
   (vm)$ export MODEL_DIR=$STORAGE_BUCKET/transformer/model_$PARAM_SET
   (vm)$ export PYTHONPATH="$PYTHONPATH:/usr/share/models"
   (vm)$ export DATA_DIR=${HOME}/transformer/data
   (vm)$ export VOCAB_FILE=${DATA_DIR}/vocab.ende.32768
   

2. Remplacez le répertoire par le répertoire d'entraînement :

   (vm)$ cd /usr/share/models/official/nlp/transformer

   Remarque : Si vous exécutez TensorFlow 2.1, utilisez le chemin d'accès : /usr/share/models/official/transformer

3. Configurez les variables d'environnement de l'ensemble de données suivantes :

   (vm)$ export GCS_DATA_DIR=${STORAGE_BUCKET}/data/transformer
   (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET}
   

4. Téléchargez et préparez les ensembles de données.

   (vm)$ python3 data_download.py --data_dir=${DATA_DIR}
   (vm)$ gsutil cp -r ${DATA_DIR} ${GCS_DATA_DIR}
   

   Remarque : Si vous exécutez TensorFlow 2.1, accédez au répertoire v2 : cd /usr/share/models/official/transformer/v2

   data_download.py télécharge et prétraite les ensembles de données WMT d'entraînement et d'évaluation. Une fois les données téléchargées et extraites, les données d'entraînement sont utilisées pour générer un vocabulaire des sous-questions. Les chaînes d'évaluation et d'entraînement sont segmentées et les données obtenues sont partitionnées, mélangées et enregistrées au format TFRecords.

   1,75 Go de données compressées est téléchargé. Au total, les fichiers bruts (fichiers compressés, extraits et combinés) occupent 8,4 Go d'espace disque. Le fichier TFRecord et les fichiers de vocabulaire obtenus sont de 722 Mo. Le processus dure environ 40 minutes, la majeure partie du temps en téléchargement et environ 15 minutes de prétraitement.

Entraîner un modèle de traduction anglais/allemand sur un seul Cloud TPU

Remarque : Si vous souhaitez surveiller les résultats et les performances du modèle, suivez le guide de configuration de TensorBoard

.

Exécutez les commandes suivantes sur la VM Compute Engine :

1. Exécutez la commande suivante pour créer un Cloud TPU.

   (vm)$ ctpu up --tpu-only \
     --tpu-size=v3-8  \
     --zone=europe-west4-a \
     --tf-version=2.3.1 \
     --name=transformer-tutorial
   

   Description des options de commande

   tpu-only

   Crée un Cloud TPU uniquement. Par défaut, la commande ctpu up crée une VM et un Cloud TPU.

   tpu-size

   Spécifie le type de Cloud TPU, par exemple v3-8.

   zone

   Zone dans laquelle vous prévoyez de créer votre Cloud TPU. Il doit s'agir de la même zone que celle utilisée pour la VM Compute Engine. Par exemple, europe-west4-a.

   tf-version

   La version de Tensorflow que ctpu installe sur la VM.

   name

   Nom du Cloud TPU à créer.

   Pour plus d'informations sur l'utilitaire CTPU, consultez la section Référence CTPU.

   La configuration que vous avez spécifiée apparaît. Saisissez y pour approuver ou n pour annuler.

   Le message suivant s'affiche : Operation success; not ssh-ing to Compute Engine VM due to --tpu-only flag. Vous pouvez ignorer ce message puisque vous avez déjà effectué la propagation de clé SSH.

2. Définissez la variable de nom Cloud TPU. Il s'agit du nom que vous avez spécifié avec le paramètre --name sur ctpu up ou du nom d'utilisateur par défaut :

   (vm)$ export TPU_NAME=transformer-tutorial
   

3. Exécutez le script d'entraînement :

   (vm)$ python3 transformer_main.py \
       --tpu=${TPU_NAME} \
       --model_dir=${MODEL_DIR} \
       --data_dir=${GCS_DATA_DIR} \
       --vocab_file=${GCS_DATA_DIR}/vocab.ende.32768 \
       --bleu_source=${GCS_DATA_DIR}/newstest2014.en \
       --bleu_ref=${GCS_DATA_DIR}/newstest2014.de \
       --batch_size=6144 \
       --train_steps=2000 \
       --static_batch=true \
       --use_ctl=true \
       --param_set=big \
       --max_length=64 \
       --decode_batch_size=32 \
       --decode_max_length=97 \
       --padded_decode=true \
       --distribution_strategy=tpu

   Description des options de commande

   tpu

   Nom du Cloud TPU. Cette valeur est définie en spécifiant la variable d'environnement (TPU_NAME).

   model_dir

   Répertoire dans lequel sont stockés les points de contrôle et les résumés lors de l'entraînement du modèle. Si ce dossier n'existe pas, le programme va le créer. Lorsque vous utilisez un Cloud TPU, le chemin model_dir doit être un chemin Cloud Storage ("gs://..."). Vous pouvez réutiliser un dossier existant pour charger les données de point de contrôle actuelles et pour stocker des points de contrôle supplémentaires si les points de contrôle précédents ont été créés avec un Cloud TPU de la même taille et la même version de TensorFlow.

   data_dir

   Chemin d'accès Cloud Storage de l'entrée d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.

   vocab_file

   Fichier contenant le vocabulaire pour la traduction.

   bleu_source

   Fichier contenant des phrases sources de traduction.

   bleu_ref

   Fichier contenant la référence aux phrases de traduction.

   train_steps

   Nombre d'étapes d'entraînement du modèle. Une étape traite un lot de données. Cela inclut à la fois une propagation avant et une rétropropagation.

   batch_size

   Taille de lot d'entraînement.

   static_batch

   Indique si les lots de l'ensemble de données ont des formes statiques.

   use_ctl

   Indique si le script s'exécute avec une boucle d'entraînement personnalisée.

   param_set

   Ensemble de paramètres à utiliser lors de la création et de l'entraînement du modèle. Les paramètres définissent la forme d'entrée, la configuration du modèle et d'autres paramètres.

   max_length

   Longueur maximale d'un exemple dans l'ensemble de données.

   decode_batch_size

   Taille de lot globale utilisée pour le décodage autorégressif du transformateur sur un Cloud TPU.

   decode_max_length

   Longueur maximale de la séquence des données de décodage/d'évaluation. Cela est utilisé par le décodage autorégressif du transformateur sur une ressource Cloud TPU afin de réduire le volume de données remplies requis.

   padded_decode

   Indique si le décodage autorégressif s'exécute avec des données d'entrée remplies selon la longueur decode_max_length. Pour que le TPU/XLA-Tor fonctionne, cette option doit être définie en raison de la forme statique requise.

   distribution_strategy

   Pour entraîner le modèle ResNet sur un Cloud TPU, définissez distribution_strategy sur tpu.

Par défaut, le modèle est évalué toutes les 2 000 étapes. Pour vous entraîner à la convergence, remplacez train_steps par 200000. Vous pouvez augmenter le nombre d'étapes d'entraînement ou spécifier la fréquence d'exécution des évaluations en définissant ces paramètres :

• {--train_steps: définit le nombre total d'étapes d'entraînement à exécuter.
• --steps_between_evals: nombre d'étapes d'entraînement à exécuter entre les évaluations.

L'entraînement et l'évaluation prennent environ sept minutes sur un Cloud TPU v3-8. Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :

INFO:tensorflow:Writing to file /tmp/tmpf2gn8vpa
I1125 21:22:30.734232 140328028010240 translate.py:182] Writing to file /tmp/tmpf2gn8vpa
I1125 21:22:42.785628 140328028010240 transformer_main.py:121] Bleu score (uncased): 0.01125154594774358
I1125 21:22:42.786558 140328028010240 transformer_main.py:122] Bleu score (cased): 0.01123994225054048

Calculer le score BLEU lors de l'évaluation du modèle

Utilisez ces indicateurs pour calculer le BLEU lors de l'évaluation du modèle:

• --bleu_source: chemin d'accès au fichier contenant le texte à traduire.
• --bleu_ref: chemin d'accès au fichier contenant la traduction de référence.

Vous pouvez maintenant terminer ce tutoriel et nettoyer vos ressources GCP. Vous pouvez également choisir d'explorer plus avant l'exécution du modèle dans un pod Cloud TPU.

Mettre à l'échelle votre modèle avec les pods Cloud TPU

Vous pouvez obtenir des résultats plus rapidement en adaptant votre modèle aux pods Cloud TPU. Le modèle Transformateur entièrement compatible peut fonctionner avec les tranches de pod suivantes :

• v2-32
• v3-32

1. Dans votre environnement Cloud Shell, exécutez ctpu delete avec l'indicateur tpu-only et l'indicateur --zone que vous avez utilisé lors de la configuration du service Cloud TPU. Cette opération ne supprime que votre Cloud TPU.

    (vm)$ ctpu delete --tpu-only --zone=europe-west4-a
    

2. Exécutez la commande ctpu up à l'aide du paramètre tpu-size pour spécifier la tranche de pod que vous souhaitez utiliser. Par exemple, la commande suivante utilise une tranche de pod v2-32.

   (vm)$ ctpu up --tpu-only \
   --tpu-size=v2-32  \
   --zone=europe-west4-a \
   --tf-version=2.3.1 \
   --name=transformer-tutorial

   Description des options de commande

   tpu-only

   Crée un Cloud TPU uniquement. Par défaut, la commande ctpu up crée une VM et un Cloud TPU.

   tpu-size

   Spécifie le type de Cloud TPU, par exemple v3-8.

   zone

   Zone dans laquelle vous prévoyez de créer votre Cloud TPU. Cette zone doit être la même que celle utilisée pour la VM Compute Engine. Par exemple, europe-west4-a.

   tf-version

   La version de Tensorflow que ctpu installe sur la VM.

   name

   Nom du Cloud TPU à créer.

   Pour plus d'informations sur l'utilitaire CTPU, consultez la section Référence CTPU.

   Remarque : Si vous n'êtes pas connecté à l'instance Compute Engine, exécutez la commande suivante :

   gcloud compute ssh transformer-tutorial --zone=europe-west4-a
   

3. Exportez le nom du TPU :

   (vm)$ export TPU_NAME=transformer-tutorial
   

4. Exportez la variable de répertoire de modèle :

   (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET}_pod
   

5. Remplacez le répertoire par le répertoire d'entraînement :

   (vm)$ cd /usr/share/models/official/nlp/transformer
   

   Remarque : Si vous exécutez TensorFlow 2.1, utilisez le chemin suivant : /usr/share/models/official/transformer/v2

6. Exécutez le script d'entraînement sur le pod :

   (vm)$ python3 transformer_main.py \
        --tpu=${TPU_NAME} \
        --model_dir=${MODEL_DIR} \
        --data_dir=${GCS_DATA_DIR} \
        --vocab_file=${GCS_DATA_DIR}/vocab.ende.32768 \
        --bleu_source=${GCS_DATA_DIR}/newstest2014.en \
        --bleu_ref=${GCS_DATA_DIR}/newstest2014.de \
        --batch_size=24576 \
        --train_steps=2000 \
        --static_batch=true \
        --use_ctl=true \
        --param_set=big \
        --max_length=64 \
        --decode_batch_size=32 \
        --decode_max_length=97 \
        --padded_decode=true \
        --steps_between_evals=2000 \
        --distribution_strategy=tpu
   

   Description des options de commande

   tpu

   Nom du Cloud TPU. Cette valeur est définie en spécifiant la variable d'environnement (TPU_NAME).

   model_dir

   Répertoire dans lequel sont stockés les points de contrôle et les résumés lors de l'entraînement du modèle. Si ce dossier n'existe pas, le programme va le créer. Lorsque vous utilisez un Cloud TPU, le chemin model_dir doit être un chemin d'accès à Cloud Storage ("gs://..."). Vous pouvez réutiliser un dossier existant pour charger les données de point de contrôle actuelles et stocker des points de contrôle supplémentaires si les points de contrôle précédents ont été créés avec un TPU de la même taille et la même version de TensorFlow.

   data_dir

   Chemin d'accès Cloud Storage de l'entrée d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.

   vocab_file

   Fichier contenant le vocabulaire pour la traduction.

   bleu_source

   Fichier contenant des phrases sources de traduction.

   bleu_ref

   Fichier contenant la référence aux phrases de traduction.

   batch_size

   Taille de lot d'entraînement.

   train_steps

   Nombre d'étapes d'entraînement du modèle. Une étape traite un lot de données. Cela inclut à la fois une propagation avant et une rétropropagation.

   static_batch

   Indique si les lots de l'ensemble de données ont des formes statiques.

   use_ctl

   Indique si le script s'exécute avec une boucle d'entraînement personnalisée.

   param_set

   Ensemble de paramètres à utiliser lors de la création et de l'entraînement du modèle. Les paramètres définissent la forme d'entrée, la configuration du modèle et d'autres paramètres.

   max_length

   Longueur maximale d'un exemple dans l'ensemble de données.

   decode_batch_size

   Taille de lot globale utilisée pour le décodage autorégressif du transformateur sur un Cloud TPU.

   decode_max_length

   Longueur maximale de la séquence des données de décodage/d'évaluation. Cela est utilisé par le décodage autorégressif du transformateur sur une ressource Cloud TPU afin de réduire le volume de données remplies requis.

   padded_decode

   Indique si le décodage autorégressif s'exécute avec des données d'entrée remplies selon la longueur decode_max_length. Pour que le TPU/XLA-Tor fonctionne, cette option doit être définie en raison de la forme statique requise.

   steps_between_evals

   Nombre d'étapes d'entraînement à exécuter entre les évaluations.

   distribution_strategy

   Pour entraîner le modèle ResNet sur un TPU, définissez distribution_strategy sur tpu.

Ce script d'entraînement comporte 2 000 étapes et effectue une évaluation toutes les 2 000 étapes. Cet entraînement et cette évaluation durent environ huit minutes sur un pod Cloud TPU v2-32.

Pour vous entraîner à la convergence, remplacez train_steps par 200 000. Vous pouvez augmenter le nombre d'étapes d'entraînement ou spécifier la fréquence d'exécution des évaluations en définissant ces paramètres :

• {--train_steps: définit le nombre total d'étapes d'entraînement à exécuter.
• --steps_between_evals: nombre d'étapes d'entraînement à exécuter entre les évaluations.

Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :

0509 00:27:59.984464 140553148962624 translate.py:184] Writing to file /tmp/tmp_rk3m8jp
I0509 00:28:11.189308 140553148962624 transformer_main.py:119] Bleu score (uncased): 1.3239131309092045
I0509 00:28:11.189623 140553148962624 transformer_main.py:120] Bleu score (cased): 1.2855342589318752

Nettoyer

Pour éviter que les ressources utilisées dans ce tutoriel soient facturées sur votre compte Google Cloud Platform :

1. Dans Cloud Shell, exécutez la commande "ctpu delete" avec l'option --zone utilisée lors de votre configuration Cloud TPU pour supprimer votre VM Compute Engine et votre Cloud TPU :

    $ ctpu delete --zone=europe-west4-a \
      --name=transformer-tutorial
    

1. Exécutez la commande suivante pour vérifier que la VM Compute Engine et Cloud TPU ont été arrêtés :

   $ ctpu status --zone=europe-west4-a
   

   La suppression peut prendre plusieurs minutes. Si vous n'avez plus d'instances allouées, une réponse de ce type s'affiche :

   2018/04/28 16:16:23 WARNING: Setting zone to "europe-west4-a"
   No instances currently exist.
           Compute Engine VM:     --
           Cloud TPU:             --
   

2. Exécutez gsutil comme indiqué, en remplaçant bucket-name par le nom du bucket Cloud Storage que vous avez créé pour ce tutoriel :

   $ gsutil rm -r gs://bucket-name
   

Étape suivante

Dans ce tutoriel, vous avez entraîné le modèle Transformer à l'aide d'un exemple d'ensemble de données. Les résultats de cet entraînement ne sont pas utilisables pour l'inférence dans la plupart des cas. Afin d'utiliser un modèle pour l'inférence, vous pouvez entraîner les données sur un ensemble de données accessible au public ou sur votre propre ensemble de données. Les modèles entraînés sur des appareils Cloud TPU nécessitent des ensembles de données au format TFRecord.

Vous pouvez utiliser l'exemple d'outil de conversion d'ensemble de données pour convertir un ensemble de données de classification d'images au format TFRecord. Si vous n'utilisez pas de modèle de classification d'images, vous devez convertir vous-même votre ensemble de données au format TFRecord. Pour en savoir plus, consultez la section TFRecord et tf.Example.

Réglages d'hyperparamètres

Pour améliorer les performances du modèle avec votre ensemble de données, vous pouvez régler ses hyperparamètres. Vous trouverez des informations sur les hyperparamètres communs à tous les modèles compatibles avec des TPU sur GitHub. Des informations sur les hyperparamètres spécifiques au modèle sont disponibles dans le code source de chaque modèle. Pour en savoir plus sur ces réglages, consultez les pages Présentation des réglages d'hyperparamètres, Utiliser le service de réglage d'hyperparamètres et Régler les hyperparamètres.

Inférence

Une fois que vous avez entraîné votre modèle, vous pouvez l'utiliser pour l'inférence (également appelée prédiction). AI Platform est une solution basée sur le cloud permettant de développer, d'entraîner et de déployer des modèles de machine learning. Une fois un modèle déployé, vous pouvez utiliser le service AI Platform Prediction.

• Obtenez plus d'informations sur ctpu et découvrez la façon de l'installer sur un ordinateur local.
• Découvrez d'autres modèles Tensor2Tensor pour les TPU.
• Testez d'autres exemples TPU.
• Découvrez les outils TPU dans TensorBoard.