Cette page a été traduite par l'API Cloud Translation.

Transformateur d'entraînement sur Cloud TPU (TX2)

Si vous ne connaissez pas Cloud TPU, nous vous recommandons vivement consultez les guide de démarrage rapide créer une VM TPU.

Ce tutoriel vous explique comment entraîner un modèle Transformer sur Cloud TPU. Transformer est une architecture de réseau de neurones qui résout des problèmes séquentiels à l'aide de mécanismes d'attention. Contrairement aux modèles de neurones seq2seq traditionnels, Transformer n'implique pas de connexions récurrentes. Le mécanisme d'attention apprend les dépendances entre les jetons dans deux séquences. Étant donné que les pondérations de l'attention s'appliquent à tous les jetons des séquences, le modèle Transformer est capable de capturer facilement les dépendances à longue distance.

La structure globale de Transformer suit le modèle standard encodeur-décodeur. L'encodeur utilise l'auto-attention pour calculer une représentation de la séquence d'entrée. Le décodeur génère la séquence de sortie un jeton à la fois, en prenant la sortie de l'encodeur et les précédents jetons de sortie du décodeur comme entrées.

Le modèle applique également des représentations vectorielles continues sur les jetons d'entrée et de sortie, et ajoute un encodage en position constante. L'encodage de position ajoute des informations sur la position de chaque jeton.

Objectifs

Créer un bucket Cloud Storage pour stocker votre ensemble de données et la sortie du modèle
Télécharger et prétraiter l'ensemble de données utilisé pour entraîner le modèle
Exécuter la tâche d'entraînement
Vérifier les résultats

Coûts

Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :

Compute Engine
Cloud TPU

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Avant de commencer

Avant de commencer ce tutoriel, vérifiez que votre projet Google Cloud est correctement configuré.

Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Vérifiez que la facturation est activée pour votre projet Google Cloud.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Vérifiez que la facturation est activée pour votre projet Google Cloud.

Ce tutoriel utilise des composants facturables de Google Cloud. Consultez la grille tarifaire de Cloud TPU pour estimer vos coûts. Veillez à nettoyer les ressources que vous avez créées lorsque vous avez terminé, afin d'éviter des frais inutiles.

Entraînement avec un seul appareil Cloud TPU

Cette section fournit des informations sur la configuration d'un bucket Cloud Storage et une VM TPU pour l'entraînement sur un seul appareil.

Ouvrez une fenêtre Cloud Shell.

Ouvrir Cloud Shell
Créez une variable d'environnement pour l'ID de votre projet.
```
export PROJECT_ID=project-id
```
Configurez la Google Cloud CLI pour utiliser le projet Google Cloud dans lequel vous souhaitez créer un Cloud TPU.
```
gcloud config set project ${PROJECT_ID}
```
La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page. pour autoriser gcloud à effectuer des appels d'API Google Cloud avec vos identifiants.
Créez un compte de service pour le projet Cloud TPU.

Les comptes de service permettent au service Cloud TPU d'accéder à d'autres services.
```
$ gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
```
La commande renvoie un compte de service Cloud TPU au format suivant:
```
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
```
Créez un bucket Cloud Storage à l'aide de la commande suivante :
```
$ gsutil mb -p ${PROJECT_ID} -c standard -l us-central2 gs://bucket-name
```
Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. La commande gcloud utilisée dans ce tutoriel pour configurer le TPU configure également les autorisations par défaut du compte de service Cloud TPU que vous avez configuré à l'étape précédente. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.

Entraîner le modèle Transformer sur un seul Cloud TPU

Lancez une VM Cloud TPU à l'aide de la commande gcloud.
```
  $ gcloud compute tpus tpu-vm create transformer-tutorial \
     --zone=us-central2-b \
     --accelerator-type=v4-8 \
     --version=tpu-vm-tf-2.17.0-pjrt
```
Description des options de commande

zone

Zone dans laquelle vous prévoyez de créer votre Cloud TPU.

accelerator-type

Le type d'accélérateur spécifie la version et la taille de la ressource Cloud TPU que vous souhaitez créer. Pour en savoir plus sur les types d'accélérateurs compatibles avec chaque version de TPU, consultez Versions de TPU.

version

Version logicielle de Cloud TPU.

Remarque :Si vous avez plusieurs projets Google Cloud, vous devez utiliser l'option --project pour spécifier l'ID dans lequel vous souhaitez créer le Cloud TPU.
Remarque :La première fois que vous exécutez gcloud compute tpus sur un projet il faut environ cinq minutes pour effectuer des tâches de démarrage telles que Propagation de la clé SSH et activation de l'API.
Connectez-vous à la VM Cloud TPU en exécutant la commande ssh suivante : .

Remarque :Une fois connecté à la VM Cloud TPU, une invite de votre interface système passe de username@projectname à username@vm-name:
```
gcloud compute tpus tpu-vm ssh transformer-tutorial --zone=us-central2-b
```
Important :À partir de ce moment-là, le préfixe (vm) $ signifie que vous devez exécutez la commande sur l'instance de VM Compute Engine.

Exporter des variables d'environnement

  (vm)$ export STORAGE_BUCKET=gs://bucket-name
  (vm)$ export SENTENCEPIECE_MODEL=sentencepiece
  (vm)$ export SENTENCEPIECE_MODEL_PATH=${STORAGE_BUCKET}/${SENTENCEPIECE_MODEL}.model
  (vm)$ export TFDS_DIR=${STORAGE_BUCKET}/tfds
  (vm)$ export PARAM_SET=big
  (vm)$ export TPU_NAME=local
  (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET}
  (vm)$  export PYTHONPATH="/usr/share/tpu/models:$PYTHONPATH"

Lors de la création de votre TPU, si vous définissez le paramètre --version sur une version se terminant par -pjrt, définissez les variables d'environnement suivantes pour activer l'environnement d'exécution PJRT:
```
  (vm)$ export NEXT_PLUGGABLE_DEVICE_USE_C_API=true
  (vm)$ export TF_PLUGGABLE_DEVICE_LIBRARY_PATH=/lib/libtpu.so
```

Installez les éléments requis pour TensorFlow.

(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt

Télécharger et prétraiter l'ensemble de données

  (vm)$ python3 -c "import tensorflow_datasets as tfds; tfds.load('wmt14_translate/de-en', split='train+validation', shuffle_files=True, download=True)"
  (vm)$ python3 /usr/share/tpu/models/official/nlp/data/train_sentencepiece.py --output_model_path=${SENTENCEPIECE_MODEL}

Copier l'ensemble de données dans le bucket Cloud Storage

  (vm)$ gsutil -m cp ${SENTENCEPIECE_MODEL}.model ${STORAGE_BUCKET}
  (vm)$ gsutil -m cp ${SENTENCEPIECE_MODEL}.vocab ${STORAGE_BUCKET}
  (vm)$ gsutil -m cp -r tensorflow_datasets/wmt14_translate ${TFDS_DIR}/wmt14_translate

Accéder au répertoire d'entraînement
```
(vm)$ cd /usr/share/tpu/models/
```
Exécuter le script d'entraînement
```
(vm)$ python3 official/nlp/train.py \
  --tpu=${TPU_NAME} \
  --experiment=wmt_transformer/large \
  --mode=train_and_eval \
  --model_dir=${MODEL_DIR} \
  --params_override="runtime.distribution_strategy=tpu, task.train_data.tfds_data_dir=${TFDS_DIR}, task.validation_data.tfds_data_dir=${TFDS_DIR}, task.sentencepiece_model_path=${SENTENCEPIECE_MODEL_PATH}, trainer.train_steps=10000, trainer.validation_interval=10000"
```
Description des options de commande

tpu

Nom du Cloud TPU. Cette valeur est définie en spécifiant la variable d'environnement (TPU_NAME).

experiment

Modèle à entraîner.

mode

Mode dans lequel exécuter le script.

model_dir

Bucket Cloud Storage où sont stockés les points de contrôle et les résumés pendant l'entraînement. Vous pouvez utiliser un dossier existant pour le charger des points de contrôle générés sur un TPU de même taille Version de TensorFlow.

params_override

Définit les paramètres du modèle.

Par défaut, l'évaluation du modèle est effectuée tous les 10 000 pas. Vous pouvez augmenter le nombre d'étapes d'entraînement ou spécifier la fréquence d'exécution des évaluations ; en définissant les paramètres suivants:
- train.train_steps: nombre total de pas d'entraînement à exécuter.
- trainer.validation_interval: nombre d'étapes d'entraînement à exécuter entre les évaluations.
L'entraînement et l'évaluation prennent environ 20 minutes sur une version v4-8 Cloud TPU. Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :
```
I0208 20:57:19.309512 140039467895872 controller.py:310]  eval | step:  10000 | eval time:   69.2 sec | output: 
{'bleu_score': 19.204771518707275,
 'sacrebleu_score': 18.307039308307356,
 'validation_loss': 2.0654342}
 eval | step:  10000 | eval time:   69.2 sec | output: 
{'bleu_score': 19.204771518707275,
 'sacrebleu_score': 18.307039308307356,
 'validation_loss': 2.0654342}
```
Vous avez à présent terminé l'entraînement sur un seul appareil. Suivez la procédure ci-dessous pour supprimer les ressources TPU individuelles.
Déconnectez-vous de l'instance Compute Engine :
```
(vm)$ exit
```
Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.
Supprimez la ressource TPU.
```
  $ gcloud compute tpus tpu-vm delete transformer-tutorial \
    --zone=us-central2-b
  
```
Description des options de commande

zone

Zone où se trouvait votre Cloud TPU.

À ce stade, vous pouvez terminer ce tutoriel et effectuer un nettoyage, ou continuer à explorer l'exécution du modèle sur des pods Cloud TPU.

Faire évoluer votre modèle avec des pods Cloud TPU

L'entraînement de votre modèle sur des pods Cloud TPU peut nécessiter quelques modifications votre script d'entraînement. Pour en savoir plus, consultez la section Entraîner sur des pods TPU.

Entraînement avec un pod TPU

Ouvrez une fenêtre Cloud Shell.

Ouvrir Cloud Shell
Créez une variable pour l'ID de votre projet.
```
export PROJECT_ID=project-id
```
Configurez la Google Cloud CLI pour utiliser le projet dans lequel vous souhaitez créer un Cloud TPU.
```
gcloud config set project ${PROJECT_ID}
```
La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page. pour autoriser gcloud à effectuer des appels d'API avec vos identifiants.

Créez un compte de service pour le projet Cloud TPU.

gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID

La commande renvoie un compte de service Cloud TPU au format suivant:

service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com

Créez un bucket Cloud Storage à l'aide de la commande suivante ou utilisez un bucket que vous avez créé précédemment pour votre projet :
```
gsutil mb -p ${PROJECT_ID} -c standard -l us-central1 gs://bucket-name
```
Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. La commande gcloud utilisée dans ce tutoriel configure les autorisations par défaut du compte de service Cloud TPU que vous avez configuré à l'étape précédente. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.

Important : Si vous avez créé un bucket Cloud Storage, vous devez télécharger et prétraiter l'ensemble de données. Pour en savoir plus, consultez la section Préparer l'ensemble de données.

Lancer les ressources des VM TPU

Lancez un pod de VM TPU à l'aide de la commande gcloud. Ce spécifie un pod v4-32. Pour les autres options de pod, consultez la section Types de TPU. types de TPU disponibles.
<ph type="x-smartling-placeholder">
</ph> Remarque:Si la capacité actuellement disponible est insuffisante pour créer le pod TPU, vous pouvez mettre votre requête en file d'attente à l'aide de ressources en file d'attente. Les ressources en file d'attente vous permettent de recevoir de la capacité une fois qu'elle devient disponible. Pour demander vos ressources Cloud TPU en tant que ressources en file d'attente, utilisez la gcloud alpha compute tpus queued-resources create. Pour en savoir plus, consultez Gérer les ressources en file d'attente
```
$ gcloud compute tpus tpu-vm create transformer-tutorial \
  --zone=us-central2-b \
  --accelerator-type=v3-32 \
  --version=tpu-vm-tf-2.17.0-pod-pjrt
```
Description des options de commande

zone

Zone dans laquelle vous prévoyez de créer votre Cloud TPU.

accelerator-type

Le type d'accélérateur spécifie la version et la taille de la ressource Cloud TPU que vous souhaitez créer. Pour en savoir plus sur les types d'accélérateurs compatibles avec chaque version de TPU, consultez Versions de TPU.

version

Version logicielle de Cloud TPU.
Connectez-vous à la VM TPU en exécutant la commande ssh suivante. Lorsque vous êtes connecté à la VM, votre invite d'interface système passe de username@vm-name à username@projectname :
```
gcloud compute tpus tpu-vm ssh transformer-tutorial --zone=us-central2-b
```

Installez la configuration requise pour TensorFlow.

(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt

Configurer et démarrer l'entraînement avec un pod

Exportez les variables de configuration Cloud TPU :

(vm)$ export PYTHONPATH="/usr/share/tpu/models:$PYTHONPATH"
(vm)$ export STORAGE_BUCKET=gs://bucket-name
(vm)$ export SENTENCEPIECE_MODEL=sentencepiece
(vm)$ export SENTENCEPIECE_MODEL_PATH=${STORAGE_BUCKET}/${SENTENCEPIECE_MODEL}.model
(vm)$ export TFDS_DIR=${STORAGE_BUCKET}/tfds
(vm)$ export TPU_NAME=transformer-tutorial
(vm)$ export PARAM_SET=big
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET} 
(vm)$ export TPU_LOAD_LIBRARY=0

Télécharger le jeu de données

(vm)$ python3 -c "import tensorflow_datasets as tfds; tfds.load('wmt14_translate/de-en', split='train+validation', shuffle_files=True, download=True)"
(vm)$ python3 /usr/share/tpu/models/official/nlp/data/train_sentencepiece.py --output_model_path=${SENTENCEPIECE_MODEL}

Copy the dataset to Cloud Storage bucket

(vm)$ gsutil -m cp ${SENTENCEPIECE_MODEL}.model ${STORAGE_BUCKET}
(vm)$ gsutil -m cp ${SENTENCEPIECE_MODEL}.vocab ${STORAGE_BUCKET}
(vm)$ gsutil -m cp -r tensorflow_datasets/wmt14_translate ${TFDS_DIR}/wmt14_translate

Accédez au répertoire d'entraînement :
```
(vm)$ cd /usr/share/tpu/models/
```

Exécutez le script d'entraînement :

(vm)$ python3 official/nlp/train.py 

  --tpu=${TPU_NAME} 

  --experiment=wmt_transformer/large 

  --mode=train_and_eval 

  --model_dir=${MODEL_DIR} 

  --params_override="runtime.distribution_strategy=tpu, task.train_data.tfds_data_dir=${TFDS_DIR}, task.validation_data.tfds_data_dir=${TFDS_DIR}, task.sentencepiece_model_path=${SENTENCEPIECE_MODEL_PATH}, trainer.train_steps=10000, trainer.validation_interval=10000"


  
  Command flag descriptions
  
  tpu
  The name of the Cloud TPU. This is set by specifying
      the environment variable (TPU_NAME).
  experiment
  The model to train.
  mode
  The mode in which to run the script.
  model_dir
  The Cloud Storage bucket where checkpoints and summaries are
      stored during training. You can use an existing folder to load previously
      generated checkpoints created on a TPU of the same size and
      TensorFlow version.
  params_override
  Set model parameters.

By default, the model will evaluate after every 10000 steps. In order to train to convergence, change train_steps to 200000. You can increase the number of training steps or specify how often to run evaluations by setting these parameters:

trainer.train_steps: Sets the total number of training steps to run.
trainer.validation_interval: Sets the number of training steps to run between evaluations.

Training and evaluation takes approximately 14 minutes on a v4-32 Cloud TPU. When the training and evaluation complete, messages similar to the following appear:

I0209 22:19:49.143219 139751309618240 controller.py:310]  eval | step:  10000 | eval time:   73.6 sec | output: 
    {'bleu_score': 19.401752948760986,
     'sacrebleu_score': 18.442741330886378,
     'validation_loss': 2.0558002}
 eval | step:  10000 | eval time:   73.6 sec | output: 
    {'bleu_score': 19.401752948760986,
     'sacrebleu_score': 18.442741330886378,
     'validation_loss': 2.0558002}

Ce script d'entraînement effectue un entraînement pour 20 000 pas et une évaluation tous les 2 000 pas. Cet entraînement et cette évaluation durent environ huit minutes sur un pod Cloud TPU v3-32. Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :

INFO:tensorflow:Writing to file /tmp/tmpdmlanxcf
I0218 21:09:19.100718 140509661046592 translate.py:184] Writing to file /tmp/tmpdmlanxcf
I0218 21:09:28.043537 140509661046592 transformer_main.py:118] Bleu score (uncased): 1.799112930893898
I0218 21:09:28.043911 140509661046592 transformer_main.py:119] Bleu score (cased): 1.730366237461567

Pour vous entraîner à la convergence, remplacez train_steps par 200 000. Vous pouvez augmenter le nombre d'étapes d'entraînement ou spécifier la fréquence d'exécution des évaluations en définissant ces paramètres :

--train_steps : définit le nombre total d'étapes d'entraînement à exécuter.
--steps_between_evals : nombre d'étapes d'entraînement à exécuter entre les évaluations.

Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :

0509 00:27:59.984464 140553148962624 translate.py:184] Writing to file /tmp/tmp_rk3m8jp
I0509 00:28:11.189308 140553148962624 transformer_main.py:119] Bleu score (uncased): 1.3239131309092045
I0509 00:28:11.189623 140553148962624 transformer_main.py:120] Bleu score (cased): 1.2855342589318752

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

Déconnectez-vous de l'instance Compute Engine, si vous ne l'avez pas déjà fait :
```
(vm)$ exit
```
Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

Supprimez vos ressources Cloud TPU et Compute Engine.

$ gcloud compute tpus tpu-vm delete transformer-tutorial \
  --zone=us-central2-b

Exécutez gsutil comme indiqué, en remplaçant bucket-name par le nom du bucket Cloud Storage que vous avez créé pour ce tutoriel :

Attention :Lorsque vous supprimez votre bucket, toutes les données d'entraînement sont perdues. Par conséquent, n'effectuez cette étape que lorsque vous avez terminé le tutoriel.
```
$ gsutil rm -r gs://bucket-name
```

Étape suivante

Les tutoriels TensorFlow Cloud TPU permettent généralement d'entraîner le modèle à l'aide d'un exemple d'ensemble de données. Les résultats de cet entraînement ne sont pas utilisables pour l'inférence. À utiliser un modèle pour l'inférence, vous pouvez entraîner les données sur une couche ensemble de données ou votre propre jeu de données. Modèles TensorFlow entraînés sur des Cloud TPU nécessitent généralement des jeux de données TFRecord.

Vous pouvez utiliser l'outil de conversion des ensembles de données exemple pour convertir une image de classification au format TFRecord. Si vous n'utilisez pas d'image vous devrez convertir votre ensemble de données Format TFRecord vous-même. Pour en savoir plus, consultez les sections TFRecord et tf.Example

Réglages d'hyperparamètres

Pour améliorer les performances du modèle avec votre ensemble de données, vous pouvez régler hyperparamètres. Vous trouverez des informations sur les hyperparamètres communs à tous Modèles compatibles TPU sur GitHub Pour en savoir plus sur les hyperparamètres propres au modèle, consultez la source de code pour chaque model. Pour en savoir plus sur le réglage des hyperparamètres, consultez la section Présentation réglage des hyperparamètres et régler hyperparamètres.

Inférence

Une fois votre modèle entraîné, vous pouvez l'utiliser pour l'inférence (également appelée des prédictions). Vous pouvez utiliser le convertisseur d'inférence Cloud TPU de Google pour préparer et optimiser Modèle TensorFlow pour l'inférence sur Cloud TPU v5e. Pour plus à propos de l'inférence sur Cloud TPU v5e, consultez la page Inférence Cloud TPU v5e présentation.

Transformateur d'entraînement sur Cloud TPU (TX2)

Objectifs

Coûts

Avant de commencer

Entraînement avec un seul appareil Cloud TPU

Entraîner le modèle Transformer sur un seul Cloud TPU

Description des options de commande

Description des options de commande

Description des options de commande

Faire évoluer votre modèle avec des pods Cloud TPU

Entraînement avec un pod TPU

Lancer les ressources des VM TPU

Description des options de commande

Configurer et démarrer l'entraînement avec un pod

Command flag descriptions

Effectuer un nettoyage

Étape suivante

Réglages d'hyperparamètres

Inférence