Si vous ne connaissez pas bien Cloud TPU, il est vivement recommandé de suivre le guide de démarrage rapide pour apprendre à créer une VM TPU.
Ce tutoriel vous explique comment entraîner un modèle Transformer sur Cloud TPU. Transformer est une architecture de réseau de neurones qui résout des problèmes séquentiels à l'aide de mécanismes d'attention. Contrairement aux modèles de neurones seq2seq traditionnels, Transformer n'implique pas de connexions récurrentes. Le mécanisme d'attention apprend les dépendances entre les jetons dans deux séquences. Étant donné que les pondérations de l'attention s'appliquent à tous les jetons des séquences, le modèle Transformer est capable de capturer facilement les dépendances à longue distance.
La structure globale de Transformer suit le modèle standard encodeur-décodeur. L'encodeur utilise l'auto-attention pour calculer une représentation de la séquence d'entrée. Le décodeur génère la séquence de sortie, un jeton à la fois, utilisant la sortie de l'encodeur et les jetons de sortie du décodeur comme entrées.
Le modèle applique également des représentations vectorielles continues sur les jetons d'entrée et de sortie, et ajoute un encodage en position constante. L'encodage de position ajoute des informations sur la position de chaque jeton.
Objectifs
- Créer un bucket Cloud Storage pour stocker votre ensemble de données et la sortie du modèle
- Télécharger et prétraiter l'ensemble de données utilisé pour entraîner le modèle
- Exécuter la tâche d'entraînement
- Vérifier les résultats
Coûts
Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :
- Compute Engine
- Cloud TPU
Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût.
Avant de commencer
Avant de commencer ce tutoriel, vérifiez que votre projet Google Cloud est correctement configuré.
- Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.
-
Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.
-
Vérifiez que la facturation est activée pour votre projet Google Cloud.
-
Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.
-
Vérifiez que la facturation est activée pour votre projet Google Cloud.
Ce tutoriel utilise des composants facturables de Google Cloud. Consultez la grille tarifaire de Cloud TPU pour estimer vos coûts. Veillez à nettoyer les ressources que vous avez créées lorsque vous avez terminé, afin d'éviter des frais inutiles.
Entraîner avec un seul appareil Cloud TPU
Cette section fournit des informations sur la configuration d'un bucket Cloud Storage et d'une VM TPU pour l'entraînement sur un seul appareil.
Ouvrez une fenêtre Cloud Shell.
Créez une variable d'environnement pour votre ID de projet.
export PROJECT_ID=project-id
Configurez Google Cloud CLI pour utiliser le projet Google Cloud dans lequel vous souhaitez créer un Cloud TPU.
gcloud config set project ${PROJECT_ID}
La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page
Authorize Cloud Shell
s'affiche. Cliquez surAuthorize
en bas de la page pour autorisergcloud
à effectuer des appels d'API Google Cloud avec vos identifiants.Créez un compte de service pour le projet Cloud TPU.
Les comptes de service permettent au service Cloud TPU d'accéder à d'autres services Google Cloud.
$ gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
La commande renvoie un compte de service Cloud TPU au format suivant :
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
Créez un bucket Cloud Storage à l'aide de la commande suivante :
$ gsutil mb -p ${PROJECT_ID} -c standard -l us-central2 gs://bucket-name
Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. La commande
gcloud
utilisée dans ce tutoriel pour configurer le TPU configure également les autorisations par défaut du compte de service Cloud TPU que vous avez configuré à l'étape précédente. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.
Entraîner le modèle Transformer sur un seul Cloud TPU
Lancez une VM Cloud TPU à l'aide de la commande
gcloud
.$ gcloud compute tpus tpu-vm create transformer-tutorial \ --zone=us-central2-b \ --accelerator-type=v4-8 \ --version=tpu-vm-tf-2.13.0
Connectez-vous à la VM Cloud TPU en exécutant la commande
ssh
suivante.gcloud compute tpus tpu-vm ssh transformer-tutorial --zone=us-central2-b
Exportez des variables d'environnement.
(vm)$ export STORAGE_BUCKET=gs://bucket-name (vm)$ export SENTENCEPIECE_MODEL=sentencepiece (vm)$ export SENTENCEPIECE_MODEL_PATH=${STORAGE_BUCKET}/${SENTENCEPIECE_MODEL}.model (vm)$ export TFDS_DIR=${STORAGE_BUCKET}/tfds (vm)$ export PARAM_SET=big (vm)$ export TPU_NAME=local (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET} (vm)$ export PYTHONPATH="/usr/share/tpu/models:$PYTHONPATH"
Installez les éléments requis pour TensorFlow.
(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt
Télécharger et prétraiter l'ensemble de données
(vm)$ python3 -c "import tensorflow_datasets as tfds; tfds.load('wmt14_translate/de-en', split='train+validation', shuffle_files=True, download=True)" (vm)$ python3 /usr/share/tpu/models/official/nlp/data/train_sentencepiece.py --output_model_path=${SENTENCEPIECE_MODEL}
Copier l'ensemble de données dans le bucket Cloud Storage
(vm)$ gsutil -m cp ${SENTENCEPIECE_MODEL}.model ${STORAGE_BUCKET} (vm)$ gsutil -m cp ${SENTENCEPIECE_MODEL}.vocab ${STORAGE_BUCKET} (vm)$ gsutil -m cp -r tensorflow_datasets/wmt14_translate ${TFDS_DIR}/wmt14_translate
Accéder au répertoire d'entraînement
(vm)$ cd /usr/share/tpu/models/
Exécuter le script d'entraînement
(vm)$ python3 official/nlp/train.py \ --tpu=${TPU_NAME} \ --experiment=wmt_transformer/large \ --mode=train_and_eval \ --model_dir=${MODEL_DIR} \ --params_override="runtime.distribution_strategy=tpu, task.train_data.tfds_data_dir=${TFDS_DIR}, task.validation_data.tfds_data_dir=${TFDS_DIR}, task.sentencepiece_model_path=${SENTENCEPIECE_MODEL_PATH}, trainer.train_steps=10000, trainer.validation_interval=10000"
Description des options de commande
tpu
- Nom du Cloud TPU. Cette valeur est définie en spécifiant la variable d'environnement (
TPU_NAME
). experiment
- Modèle à entraîner.
mode
- Mode dans lequel exécuter le script.
model_dir
- Bucket Cloud Storage où sont stockés les points de contrôle et les résumés pendant l'entraînement. Vous pouvez utiliser un dossier existant pour charger les points de contrôle générés précédemment et créés sur un TPU de la même taille et de la même version de TensorFlow.
params_override
- Définissez les paramètres du modèle.
Par défaut, il effectue une évaluation tous les 10 000 pas. Vous pouvez augmenter le nombre d'étapes d'entraînement ou spécifier la fréquence d'exécution des évaluations en définissant les paramètres suivants:
train.train_steps
: nombre total d'étapes d'entraînement à exécuter.trainer.validation_interval
: nombre d'étapes d'entraînement à exécuter entre les évaluations.
L'entraînement et l'évaluation prennent environ 20 minutes sur un Cloud TPU v4-8. Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :
I0208 20:57:19.309512 140039467895872 controller.py:310] eval | step: 10000 | eval time: 69.2 sec | output: {'bleu_score': 19.204771518707275, 'sacrebleu_score': 18.307039308307356, 'validation_loss': 2.0654342} eval | step: 10000 | eval time: 69.2 sec | output: {'bleu_score': 19.204771518707275, 'sacrebleu_score': 18.307039308307356, 'validation_loss': 2.0654342}
Vous avez à présent terminé l'entraînement sur un seul appareil. Suivez la procédure ci-dessous pour supprimer les ressources TPU individuelles.
Déconnectez-vous de l'instance Compute Engine :
(vm)$ exit
Votre invite devrait maintenant être
username@projectname
, indiquant que vous êtes dans Cloud Shell.Supprimez la ressource TPU.
$ gcloud compute tpus tpu-vm delete transformer-tutorial \ --zone=us-central2-b
Description des options de commande
zone
- Zone où réside votre Cloud TPU.
À ce stade, vous pouvez terminer ce tutoriel et effectuer un nettoyage, ou continuer à explorer l'exécution du modèle sur des pods Cloud TPU.
Faire évoluer votre modèle avec les pods Cloud TPU
L'entraînement de votre modèle sur des pods Cloud TPU peut nécessiter certaines modifications de votre script d'entraînement. Pour en savoir plus, consultez la section Entraîner sur des pods TPU.
Entraînement avec un pod TPU
Ouvrez une fenêtre Cloud Shell.
Créez une variable pour l'ID de votre projet.
export PROJECT_ID=project-id
Configurez Google Cloud CLI pour utiliser le projet dans lequel vous souhaitez créer un Cloud TPU.
gcloud config set project ${PROJECT_ID}
La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page
Authorize Cloud Shell
s'affiche. Cliquez surAuthorize
en bas de la page pour autorisergcloud
à effectuer des appels d'API avec vos identifiants.Créez un compte de service pour le projet Cloud TPU.
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
La commande renvoie un compte de service Cloud TPU au format suivant :
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
Créez un bucket Cloud Storage à l'aide de la commande suivante ou utilisez un bucket que vous avez créé précédemment pour votre projet :
gsutil mb -p ${PROJECT_ID} -c standard -l us-central1 gs://bucket-name
Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. La commande
gcloud
utilisée dans ce tutoriel configure les autorisations par défaut du compte de service Cloud TPU que vous avez configuré à l'étape précédente. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.
Lancer les ressources des VM TPU
Lancez un pod de VM TPU à l'aide de la commande
gcloud
. Ce tutoriel spécifie un pod v4-32. Pour connaître les autres options de pod, consultez la page Types de TPU sur la page des types de TPU disponibles.$ gcloud compute tpus tpu-vm create transformer-tutorial \ --zone=us-central2-b \ --accelerator-type=v3-32 \ --version=tpu-vm-tf-2.13.0-pod
Connectez-vous à la VM TPU en exécutant la commande
ssh
suivante. Lorsque vous êtes connecté à la VM, votre invite d'interface système passe deusername@vm-name
àusername@projectname
:gcloud compute tpus tpu-vm ssh transformer-tutorial --zone=us-central2-b
Installez la configuration requise pour TensorFlow.
(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt
Configurer et démarrer l'entraînement avec un pod
Exportez les variables de configuration Cloud TPU :
(vm)$ export PYTHONPATH="/usr/share/tpu/models:$PYTHONPATH" (vm)$ export STORAGE_BUCKET=gs://bucket-name (vm)$ export SENTENCEPIECE_MODEL=sentencepiece (vm)$ export SENTENCEPIECE_MODEL_PATH=${STORAGE_BUCKET}/${SENTENCEPIECE_MODEL}.model (vm)$ export TFDS_DIR=${STORAGE_BUCKET}/tfds (vm)$ export TPU_NAME=transformer-tutorial (vm)$ export PARAM_SET=big (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET} (vm)$ export TPU_LOAD_LIBRARY=0
Télécharger l'ensemble de données
(vm)$ python3 -c "import tensorflow_datasets as tfds; tfds.load('wmt14_translate/de-en', split='train+validation', shuffle_files=True, download=True)" (vm)$ python3 /usr/share/tpu/models/official/nlp/data/train_sentencepiece.py --output_model_path=${SENTENCEPIECE_MODEL}
Copier l'ensemble de données dans le bucket Cloud Storage
(vm)$ gsutil -m cp ${SENTENCEPIECE_MODEL}.model ${STORAGE_BUCKET} (vm)$ gsutil -m cp ${SENTENCEPIECE_MODEL}.vocab ${STORAGE_BUCKET} (vm)$ gsutil -m cp -r tensorflow_datasets/wmt14_translate ${TFDS_DIR}/wmt14_translate
Accédez au répertoire d'entraînement :
(vm)$ cd /usr/share/tpu/models/
Exécutez le script d'entraînement :
(vm)$ python3 official/nlp/train.py
--tpu=${TPU_NAME}
--experiment=wmt_transformer/large
--mode=train_and_eval
--model_dir=${MODEL_DIR}
--params_override="runtime.distribution_strategy=tpu, task.train_data.tfds_data_dir=${TFDS_DIR}, task.validation_data.tfds_data_dir=${TFDS_DIR}, task.sentencepiece_model_path=${SENTENCEPIECE_MODEL_PATH}, trainer.train_steps=10000, trainer.validation_interval=10000"Command flag descriptions
tpu
- The name of the Cloud TPU. This is set by specifying
the environment variable (
TPU_NAME
). experiment
- The model to train.
mode
- The mode in which to run the script.
model_dir
- The Cloud Storage bucket where checkpoints and summaries are stored during training. You can use an existing folder to load previously generated checkpoints created on a TPU of the same size and TensorFlow version.
params_override
- Set model parameters.
Par défaut, il effectue une évaluation tous les 10 000 pas. Pour vous entraîner à la convergence, remplacez train_steps
par 200000.
Vous pouvez augmenter le nombre d'étapes d'entraînement ou spécifier la fréquence d'exécution des évaluations en définissant ces paramètres :
trainer.train_steps
: définit le nombre total d'étapes d'entraînement à exécuter.trainer.validation_interval
: définit le nombre d'étapes d'entraînement à exécuter entre les évaluations.
L'entraînement et l'évaluation prennent environ 14 minutes sur un Cloud TPU v4-32. Une fois l'entraînement et l'évaluation terminés, des messages semblables aux suivants s'affichent :
I0209 22:19:49.143219 139751309618240 controller.py:310] eval | step: 10000 | eval time: 73.6 sec | output: {'bleu_score': 19.401752948760986, 'sacrebleu_score': 18.442741330886378, 'validation_loss': 2.0558002} eval | step: 10000 | eval time: 73.6 sec | output: {'bleu_score': 19.401752948760986, 'sacrebleu_score': 18.442741330886378, 'validation_loss': 2.0558002}
Ce script d'entraînement effectue un entraînement pour 20 000 pas et une évaluation tous les 2 000 pas. Cet entraînement et cette évaluation durent environ huit minutes sur un pod Cloud TPU v3-32. Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :
INFO:tensorflow:Writing to file /tmp/tmpdmlanxcf I0218 21:09:19.100718 140509661046592 translate.py:184] Writing to file /tmp/tmpdmlanxcf I0218 21:09:28.043537 140509661046592 transformer_main.py:118] Bleu score (uncased): 1.799112930893898 I0218 21:09:28.043911 140509661046592 transformer_main.py:119] Bleu score (cased): 1.730366237461567
Pour vous entraîner à la convergence, remplacez train_steps
par 200 000. Vous pouvez augmenter le nombre d'étapes d'entraînement ou spécifier la fréquence d'exécution des évaluations en définissant ces paramètres :
--train_steps
: définit le nombre total d'étapes d'entraînement à exécuter.--steps_between_evals
: nombre d'étapes d'entraînement à exécuter entre les évaluations.
Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :
0509 00:27:59.984464 140553148962624 translate.py:184] Writing to file /tmp/tmp_rk3m8jp I0509 00:28:11.189308 140553148962624 transformer_main.py:119] Bleu score (uncased): 1.3239131309092045 I0509 00:28:11.189623 140553148962624 transformer_main.py:120] Bleu score (cased): 1.2855342589318752
Effectuer un nettoyage
Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.
Déconnectez-vous de l'instance Compute Engine, si vous ne l'avez pas déjà fait :
(vm)$ exit
Votre invite devrait maintenant être
username@projectname
, indiquant que vous êtes dans Cloud Shell.Supprimez vos ressources Cloud TPU et Compute Engine.
$ gcloud compute tpus tpu-vm delete transformer-tutorial \ --zone=us-central2-b
Exécutez
gsutil
comme indiqué, en remplaçant bucket-name par le nom du bucket Cloud Storage que vous avez créé pour ce tutoriel :$ gsutil rm -r gs://bucket-name
Étapes suivantes
Les tutoriels TensorFlow Cloud TPU permettent généralement d'entraîner le modèle à l'aide d'un exemple d'ensemble de données. Les résultats de cet entraînement ne sont pas utilisables pour l'inférence. Pour utiliser un modèle pour l'inférence, vous pouvez entraîner les données sur un ensemble de données accessible au public ou sur votre propre ensemble de données. Les modèles TensorFlow entraînés sur des Cloud TPU nécessitent généralement des ensembles de données au format TFRecord.
Vous pouvez utiliser l'exemple d'outil de conversion d'ensemble de données pour convertir un ensemble de données de classification d'images au format TFRecord. Si vous n'utilisez pas de modèle de classification d'images, vous devez convertir vous-même votre ensemble de données au format TFRecord. Pour en savoir plus, consultez la page TFRecord et tf.Example.
Réglages d'hyperparamètres
Pour améliorer les performances du modèle sur votre ensemble de données, vous pouvez régler ses hyperparamètres. Vous trouverez des informations sur les hyperparamètres communs à tous les modèles compatibles avec des TPU sur GitHub. Des informations sur les hyperparamètres spécifiques aux modèles sont disponibles dans le code source de chaque modèle. Pour en savoir plus sur ces réglages, consultez les pages Présentation des réglages d'hyperparamètres, Utiliser le service de réglage d'hyperparamètres et Régler les hyperparamètres.
Inférence
Une fois votre modèle entraîné, vous pouvez l'utiliser pour l'inférence (également appelée prédiction). AI Platform est une solution cloud permettant de développer, d'entraîner et de déployer des modèles de machine learning. Une fois un modèle déployé, vous pouvez utiliser le service AI Platform Prediction.