Entraîner Transformer sur Cloud TPU (TF 2.x)

Si vous ne connaissez pas bien Cloud TPU, il vous est vivement recommandé de consulter le guide de démarrage rapide pour apprendre à créer un TPU et une VM Compute Engine.

Ce tutoriel vous explique comment entraîner un modèle Transformer sur Cloud TPU. Transformer est une architecture de réseau de neurones qui résout des problèmes séquentiels à l'aide de mécanismes d'attention. Contrairement aux modèles de neurones seq2seq traditionnels, Transformer n'implique pas de connexions récurrentes. Le mécanisme d'attention apprend les dépendances entre les jetons dans deux séquences. Étant donné que les pondérations de l'attention s'appliquent à tous les jetons des séquences, le modèle Transformer est capable de capturer facilement les dépendances à longue distance.

La structure globale de Transformer suit le modèle standard encodeur-décodeur. L'encodeur utilise l'auto-attention pour calculer une représentation de la séquence d'entrée. Le décodeur génère la séquence de sortie un jeton à la fois, en prenant comme entrées la sortie de l'encodeur et les jetons précédemment générés par le décodeur.

Le modèle applique également des représentations vectorielles continues sur les jetons d'entrée et de sortie, et ajoute un encodage en position constante. L'encodage de position ajoute des informations sur la position de chaque jeton.

Attention : Ce tutoriel utilise un ensemble de données tiers. Google ne formule aucune déclaration ni garantie quant à la validité ou à tout autre aspect de cet ensemble de données.

Objectifs

• Créer un bucket Cloud Storage pour stocker votre ensemble de données et la sortie du modèle
• Télécharger et prétraiter l'ensemble de données utilisé pour entraîner le modèle
• Exécuter la tâche d'entraînement
• Vérifier les résultats

Coûts

Ce tutoriel utilise les composants facturables suivants de Google Cloud :

• Compute Engine
• Cloud TPU

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Avant de commencer

Important : Vous pouvez utiliser ce tutoriel avec une architecture de VM TPU ou de nœud TPU. Les deux architectures de VM sont décrites dans la section Architecture du système. Les commandes gcloud que vous utilisez dépendent de la configuration TPU que vous utilisez. Dans ce tutoriel, chaque commande gcloud s'affiche dans une section à onglets. Choisissez l'onglet correspondant à la configuration TPU que vous souhaitez utiliser. La page Web affiche la commande gcloud appropriée. Nous vous recommandons d'utiliser des VM TPU, sauf si vous avez besoin d'utiliser des nœuds TPU.

Avant de commencer ce tutoriel, vérifiez que votre projet Google Cloud est correctement configuré.

1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

2. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   Accéder au sélecteur de projet

3. Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier si la facturation est activée sur un projet.

4. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   Accéder au sélecteur de projet

5. Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier si la facturation est activée sur un projet.

Ce tutoriel utilise des composants facturables de Google Cloud. Consultez la grille tarifaire de Cloud TPU pour estimer vos coûts. Veillez à nettoyer les ressources que vous avez créées lorsque vous avez terminé, afin d'éviter des frais inutiles.

Entraînement sur un seul appareil Cloud TPU

Remarque : Effectuez-vous l'entraînement du modèle à l'aide d'un pod Cloud TPU ? Consultez la page Entraîner un pod TPU.

Cette section fournit des informations sur la configuration des buckets Cloud Storage, des VM et des ressources Cloud TPU pour l'entraînement sur un seul appareil.

Important : Configurez toutes les ressources (votre VM Compute Engine, votre nœud Cloud TPU et votre bucket Cloud Storage) dans la même région ou zone pour réduire la latence et les coûts du réseau. Les VM et les nœuds TPU sont situés dans des zones spécifiques, qui sont des subdivisions au sein d'une région.

1. Ouvrez une fenêtre Cloud Shell.

   Ouvrir Cloud Shell

2. Créez une variable pour l'ID de votre projet.

   export PROJECT_ID=project-id

3. Configurez l'interface de ligne de commande Google Cloud pour utiliser le projet dans lequel vous souhaitez créer un Cloud TPU.

   gcloud config set project ${PROJECT_ID}

   La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page pour autoriser gcloud à effectuer des appels d'API GCP avec vos identifiants.

4. Créez un compte de service pour le projet Cloud TPU.

   Les comptes de service permettent au service Cloud TPU d'accéder à d'autres services Google Cloud Platform.

   $ gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
   

   La commande renvoie un compte de service Cloud TPU au format suivant :

   [e-mail]
   

5. Créez un bucket Cloud Storage à l'aide de la commande suivante :

   $ gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name
   

   Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. La commande gcloud utilisée dans ce tutoriel pour configurer le TPU configure également les autorisations par défaut du compte de service Cloud TPU que vous avez configuré à l'étape précédente. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.

Préparer l'ensemble de données

Afin de réduire vos coûts globaux, nous vous recommandons d'utiliser une VM Compute Engine pour effectuer toute opération de téléchargement ou prétraitement de vos données de longue durée.

1. Ouvrez une fenêtre Cloud Shell.

   Important : Cloud Shell est utilisé ici à des fins de démonstration. Les connexions Cloud Shell s'interrompent au bout d'une heure d'inactivité. Pour en savoir plus, consultez la section Limites d'utilisation de Cloud Shell. Pour les sessions de longue durée, nous vous recommandons d'utiliser une interface système locale.

   Ouvrir Cloud Shell

2. Créez une VM Compute Engine pour télécharger et prétraiter vos données.

   gcloud compute tpus execution-groups create --name=transformer-tutorial \
     --disk-size=300 \
     --machine-type=n1-standard-8 \
     --zone=europe-west4-a \
     --tf-version=2.8.0 \
     --vm-only

3. Si vous n'êtes pas automatiquement connecté à l'instance Compute Engine, connectez-vous avec la commande ssh suivante. Lorsque vous êtes connecté à la VM, votre invite d'interface système passe de username@vm-name à username@projectname :

   gcloud compute ssh transformer-tutorial --zone=europe-west4-a

   À mesure que vous appliquez ces instructions, exécutez chaque commande commençant par (vm)$ dans votre instance Compute Engine.

4. Exporter les variables de configuration TPU

   Exportez votre ID de projet, le nom que vous souhaitez utiliser pour vos ressources TPU et la zone dans laquelle vous allez entraîner le modèle et stocker les données d'entraînement.

   $ export TPU_NAME=transformer-tutorial
   $ export ZONE=europe-west4-a
   

5. Exportez les variables de bucket Cloud Storage. Remplacez bucket-name par le nom de votre bucket :

   (vm)$ export STORAGE_BUCKET=gs://bucket-name
   (vm)$ export GCS_DATA_DIR=${STORAGE_BUCKET}/data/transformer
   (vm)$ export DATA_DIR=${HOME}/transformer/data
   

6. Installez les éléments requis pour TensorFlow et définissez la variable d'environnement PYTHONPATH.

   (vm)$ pip3 install -r /usr/share/models/official/requirements.txt
   (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
   

7. Accédez au répertoire où le modèle est stocké :

   (vm)$ cd /usr/share/models/official/legacy/transformer

8. Téléchargez et prétraitez les ensembles de données :

   (vm)$ python3 data_download.py --data_dir=${DATA_DIR}
   (vm)$ gsutil cp -r ${DATA_DIR} ${GCS_DATA_DIR}
   

   data_download.py télécharge et prétraite les ensembles de données WMT d'entraînement et d'évaluation. Une fois les données téléchargées et extraites, les données d'entraînement sont utilisées pour générer un vocabulaire des sous-jetons. Les chaînes d'évaluation et d'entraînement sont segmentées et les données obtenues sont partitionnées, mélangées et enregistrées au format TFRecords.

   Un volume de 1,75 Go de données compressées est téléchargé. Au total, les fichiers bruts (fichiers compressés, extraits et combinés) occupent 8,4 Go d'espace disque. Le fichier TFRecord et les fichiers de vocabulaire obtenus sont de 722 Mo. Le script enregistre 460 000 cas et son exécution prend environ 40 minutes.

9. Nettoyer les ressources de la VM

   Une fois l'ensemble de données converti au format TFRecord et copié dans le bucket DATA_DIR sur votre bucket Cloud Storage, vous pouvez supprimer l'instance Compute Engine.

   Déconnectez-vous de l'instance Compute Engine :

   (vm)$ exit
   

   Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

10. Supprimez votre instance Compute Engine.

    $ gcloud compute instances delete transformer-tutorial \
        --zone=europe-west4-a

Entraîner un modèle de traduction anglais/allemand sur un seul Cloud TPU

1. Lancez une VM Compute Engine et Cloud TPU à l'aide de la commande gcloud. La commande à utiliser varie selon que vous utilisez des VM TPU ou des nœuds TPU. Pour en savoir plus sur les deux architectures de VM, consultez la page Architecture du système.

   VM TPU

   $ gcloud alpha compute tpus tpu-vm create transformer-tutorial \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --version=tpu-vm-tf-2.8.0
   

   Description des options de commande

   zone

   La zone dans laquelle vous prévoyez de créer votre Cloud TPU.

   accelerator-type

   Type du Cloud TPU à créer.

   version

   Version du logiciel Cloud TPU.

   Nœud TPU

   $ gcloud compute tpus execution-groups create \
   --name=transformer-tutorial \
   --disk-size=300 \
   --machine-type=n1-standard-8 \
   --zone=europe-west4-a \
   --tf-version=2.8.0
   

   Description des options de commande

   disk-size

   Taille du disque pour la VM en Go.

   machine_type

   Type de machine de la VM créée par la commande gcloud.

   tf-version

   Version de TensorFlow gcloud compute tpus execution-groups installée sur la VM.

   Remarque: : Si vous avez plusieurs projets, vous devez spécifier le nom du projet avec l'option --project.
   Remarque : La première fois que vous exécutez gcloud compute tpus sur un projet, les tâches de démarrage, telles que la propagation de clé SSH et l'activation de l'API, prennent environ cinq minutes.

2. Si vous n'êtes pas automatiquement connecté à l'instance Compute Engine, connectez-vous en exécutant la commande ssh suivante.

   Remarque : Lorsque vous êtes connecté à la VM, votre invite de l'interface système passe de username@projectname à username@vm-name :

   VM TPU

   gcloud alpha compute tpus tpu-vm ssh transformer-tutorial --zone=europe-west4-a
   

   Nœud TPU

   gcloud compute ssh transformer-tutorial --zone=europe-west4-a
   

   Point clé : À partir de ce point, le préfixe (vm) $ signifie que vous devez exécuter la commande sur l'instance de VM Compute Engine.

3. Exportez les variables associées au stockage des données.

   (vm)$ export STORAGE_BUCKET=gs://bucket-name
   (vm)$ export GCS_DATA_DIR=${STORAGE_BUCKET}/data/transformer
   (vm)$ export DATA_DIR=${HOME}/transformer/data
   (vm)$ export PARAM_SET=big
   (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET}
   

4. Installez les éléments requis pour TensorFlow.

   VM TPU

   (vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt
   (vm)$  export PYTHONPATH="/usr/share/tpu/models:$PYTHONPATH"
   

   Nœud TPU

   (vm)$ pip3 install --user -r /usr/share/models/official/requirements.txt
   (vm)$ export PYTHONPATH="/usr/share/models:$PYTHONPATH"
   

5. Exportez une variable Cloud TPU.

   VM TPU

   (vm)$ export TPU_NAME=local

   Nœud TPU

   (vm)$ export TPU_NAME=transformer-tutorial
   

6. Accédez au répertoire d'entraînement.

   VM TPU

   (vm)$ cd /usr/share/tpu/models/official/legacy/transformer

   Nœud TPU

   (vm)$ cd /usr/share/models/official/legacy/transformer

7. Exécutez le script d'entraînement :

   (vm)$ python3 transformer_main.py \
       --tpu=${TPU_NAME} \
       --model_dir=${MODEL_DIR} \
       --data_dir=${GCS_DATA_DIR} \
       --vocab_file=${GCS_DATA_DIR}/vocab.ende.32768 \
       --bleu_source=${GCS_DATA_DIR}/newstest2014.en \
       --bleu_ref=${GCS_DATA_DIR}/newstest2014.de \
       --batch_size=6144 \
       --train_steps=2000 \
       --static_batch=true \
       --use_ctl=true \
       --param_set=big \
       --max_length=64 \
       --decode_batch_size=32 \
       --decode_max_length=97 \
       --padded_decode=true \
       --distribution_strategy=tpu
   

   Description des options de commande

   tpu

   Nom du Cloud TPU. Cette valeur est définie en spécifiant la variable d'environnement (TPU_NAME).

   model_dir

   Bucket Cloud Storage où sont stockés les points de contrôle et les résumés pendant l'entraînement. Vous pouvez utiliser un dossier existant pour charger des points de contrôle précédemment créés sur un TPU de la même taille et de la même version TensorFlow.

   data_dir

   Chemin d'accès Cloud Storage de l'entrée d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.

   vocab_file

   Un fichier contenant le vocabulaire de traduction.

   bleu_source

   Un fichier contenant des phrases sources à traduire.

   bleu_ref

   Un fichier contenant les références des phrases de traduction.

   train_steps

   Nombre d'étapes d'entraînement du modèle. Une étape traite un lot de données. Cela inclut à la fois une propagation avant et une rétropropagation.

   batch_size

   Taille du lot d'entraînement.

   static_batch

   Indique si les lots dans l'ensemble de données ont des formes statiques.

   use_ctl

   Indique si le script s'exécute avec une boucle d'entraînement personnalisée.

   param_set

   Ensemble de paramètres à utiliser lors de la création et de l'entraînement du modèle. Les paramètres définissent la forme d'entrée, la configuration du modèle et d'autres paramètres.

   max_length

   Longueur maximale d'un exemple dans l'ensemble de données.

   decode_batch_size

   Taille globale du lot utilisée pour le décodage automatique par régression du transformateur pour un Cloud TPU.

   decode_max_length

   Longueur maximale de la séquence des données de décodage/d'évaluation. Cette valeur est utilisée par le décodage autorégressif du modèle Transformer sur une ressource Cloud TPU afin de réduire le volume de remplissage de données requis.

   padded_decode

   Indique si le décodage autorégressif s'exécute avec des données d'entrée remplies jusqu'à atteindre la longueur decode_max_length. Pour que le TPU/XLA-GPU fonctionne, cette option doit être définie en raison de la forme statique requise.

   distribution_strategy

   Pour entraîner le modèle ResNet sur une ressource Cloud TPU, définissez distribution_strategy sur tpu.

   Par défaut, le modèle est évalué toutes les 2 000 étapes. Pour vous entraîner à la convergence, remplacez train_steps par 200000. Vous pouvez augmenter le nombre d'étapes d'entraînement ou spécifier la fréquence d'exécution des évaluations en définissant ces paramètres :

   • --train_steps : définit le nombre total d'étapes d'entraînement à exécuter.
   • --steps_between_evals : nombre d'étapes d'entraînement à exécuter entre les évaluations.

   L'entraînement et l'évaluation prennent environ sept minutes sur un Cloud TPU v3-8. Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :

   INFO:tensorflow:Writing to file /tmp/tmpej76vasn
   I0218 20:07:26.020797 140707963950912 translate.py:184] Writing to file /tmp/tmpej76vasn
   I0218 20:07:35.099256 140707963950912 transformer_main.py:118] Bleu score (uncased): 0.99971704185009
   I0218 20:07:35.099616 140707963950912 transformer_main.py:119] Bleu score (cased): 0.9768599644303322
   

   Vous avez à présent terminé l'entraînement sur un seul appareil. Suivez la procédure ci-dessous pour supprimer les ressources TPU individuelles.

8. Déconnectez-vous de l'instance Compute Engine :

   (vm)$ exit
   

   Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

9. Supprimez la ressource TPU.

   VM TPU

   $ gcloud alpha compute tpus tpu-vm delete transformer-tutorial \
   --zone=europe-west4-a
   

   Description des options de commande

   zone

   Zone dans laquelle se trouve votre Cloud TPU.

   Nœud TPU

   $ gcloud compute tpus execution-groups delete transformer-tutorial \
   --zone=europe-west4-a
   

   Description des options de commande

   tpu-only

   Ne supprime que le Cloud TPU. La VM reste disponible.

   zone

   Zone contenant le TPU à supprimer.

À ce stade, vous pouvez terminer ce tutoriel et effectuer un nettoyage, ou continuer à explorer l'exécution du modèle sur des pods Cloud TPU.

Effectuer le scaling de votre modèle avec des pods Cloud TPU

Important : Vous pouvez effectuer le scaling de votre modèle avec une configuration de VM TPU ou de nœud TPU. Les deux architectures de VM sont décrites dans la section Architecture du système. Pour l'entraînement avec des pods, il vous suffit de suivre les instructions correspondant à votre configuration TPU, VM TPU ou nœud TPU.

L'entraînement de votre modèle sur des pods Cloud TPU peut nécessiter des modifications dans votre script d'entraînement. Pour en savoir plus, consultez la section Entraînement sur les pods TPU.

Les instructions suivantes supposent que vous avez déjà ouvert une session Cloud Shell, configuré votre projet TPU et créé un bucket Cloud Storage comme expliqué au début de ce tutoriel.

Entraînement avec un pod TPU

Important : Si vous avez déjà configuré un projet Cloud TPU, un compte de service, un bucket de stockage et un ensemble de données pour l'entraînement d'un seul appareil, vous pouvez passer au [lancement de ressources TPU](#launch-tpuvm-resources).

Important : Configurez vos ressources Cloud TPU et votre bucket Cloud Storage dans la même région/zone afin de réduire la latence et les coûts du réseau. Les Cloud TPU sont situés dans des zones spécifiques, qui sont des subdivisions au sein d'une région.

1. Ouvrez une fenêtre Cloud Shell.

   Ouvrir Cloud Shell

2. Créez une variable pour l'ID de votre projet.

   export PROJECT_ID=project-id
   

3. Configurez l'interface de ligne de commande Google Cloud pour utiliser le projet dans lequel vous souhaitez créer un Cloud TPU.

   gcloud config set project ${PROJECT_ID}
   

   La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page pour autoriser gcloud à effectuer des appels d'API GCP avec vos identifiants.

4. Créez un compte de service pour le projet Cloud TPU.

   gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
   

   La commande renvoie un compte de service Cloud TPU au format suivant :

   [e-mail]
   

5. Créez un bucket Cloud Storage à l'aide de la commande suivante ou utilisez un bucket que vous avez créé précédemment pour votre projet :

   gsutil mb -p ${PROJECT_ID} -c standard -l us-central1 gs://bucket-name
   

   Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. La commande gcloud utilisée dans ce tutoriel configure les autorisations par défaut du compte de service Cloud TPU que vous avez configuré à l'étape précédente. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.

   Important : Si vous avez créé un bucket Cloud Storage, vous devez télécharger et prétraiter l'ensemble de données. Pour en savoir plus, consultez la section Préparer l'ensemble de données.

Lancer les ressources des VM TPU

1. Lancez un pod de VM TPU à l'aide de la commande gcloud. Ce tutoriel spécifie un pod v3-32. Pour connaître les autres options de pod, consultez la page Types de TPU disponibles.

   VM TPU

   $ gcloud alpha compute tpus tpu-vm create transformer-tutorial \
   --zone=europe-west4-a \
   --accelerator-type=v3-32 \
   --version=tpu-vm-tf-2.8.0-pod
   

   Description des options de commande

   zone

   La zone dans laquelle vous prévoyez de créer votre Cloud TPU.

   accelerator-type

   Type du Cloud TPU à créer.

   version

   Version du logiciel Cloud TPU.

   Nœud TPU

   (vm)$ gcloud compute tpus execution-groups create \
   --name=transformer-tutorial \
   --accelerator-type=v3-32 \
   --zone=europe-west4-a \
   --tf-version=2.8.0
   

   Description des options de commande

   tpu-only

   Crée un Cloud TPU uniquement. Par défaut, la commande gcloud compute tpus execution-groups crée une VM et un Cloud TPU.

   accelerator-type

   Type du Cloud TPU à créer.

   zone

   Zone dans laquelle vous prévoyez de créer votre Cloud TPU. Il doit s'agir de la même zone que celle utilisée pour la VM Compute Engine. Par exemple, europe-west4-a.

   tf-version

   Version de TensorFlow gcloud installée sur la VM.

   name

   Nom du Cloud TPU à créer.

2. Si vous n'êtes pas automatiquement connecté à l'instance Compute Engine, connectez-vous en exécutant la commande ssh suivante. Lorsque vous êtes connecté à la VM, votre invite d'interface système passe de username@vm-name à username@projectname :

   VM TPU

   gcloud alpha compute tpus tpu-vm ssh transformer-tutorial --zone=europe-west4-a
   

   Nœud TPU

   gcloud compute ssh transformer-tutorial --zone=europe-west4-a
   

Installer TensorFlow et ses dépendances

1. Installez la configuration requise pour TensorFlow.

     (vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt
     (vm)$  export PYTHONPATH="/usr/share/tpu/models:$PYTHONPATH"
     

2. Exportez la variable PYTHONPATH.

   VM TPU

   
   (vm)$ PYTHONPATH="/usr/share/tpu/models:$PYTHONPATH"

   Nœud TPU

   (vm)$ export PYTHONPATH="/usr/share/models:$PYTHONPATH"

Configurer et démarrer l'entraînement avec un pod

1. Exportez les variables de configuration Cloud TPU :

   (vm)$ export STORAGE_BUCKET=gs://bucket-name
   (vm)$ export GCS_DATA_DIR=${STORAGE_BUCKET}/data/transformer
   (vm)$ export DATA_DIR=${HOME}/transformer/data
   (vm)$ export PARAM_SET=big
   (vm)$ export TPU_LOAD_LIBRARY=0
   (vm)$ export RESNET_PRETRAIN_DIR=gs://cloud-tpu-checkpoints/retinanet/resnet50-checkpoint-2018-02-07
   (vm)$ export TRAIN_FILE_PATTERN=${DATA_DIR}/train-*
   (vm)$ export EVAL_FILE_PATTERN=${DATA_DIR}/val-*
   (vm)$ export VAL_JSON_FILE=${DATA_DIR}/instances_val2017.json
   (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET}_pod
   (vm)$ export TPU_NAME=transformer-tutorial
   

2. Accédez au répertoire d'entraînement :

   VM TPU

   (vm)$ cd /usr/share/tpu/models/official/legacy/transformer

   Nœud TPU

   (vm)$ cd /usr/share/models/official/legacy/transformer

3. Exécutez le script d'entraînement :

   (vm)$ python3 transformer_main.py \
       --tpu=${TPU_NAME} \
       --model_dir=${MODEL_DIR} \
       --data_dir=${GCS_DATA_DIR} \
       --vocab_file=${GCS_DATA_DIR}/vocab.ende.32768 \
       --bleu_source=${GCS_DATA_DIR}/newstest2014.en \
       --bleu_ref=${GCS_DATA_DIR}/newstest2014.de \
       --batch_size=6144 \
       --train_steps=2000 \
       --static_batch=true \
       --use_ctl=true \
       --param_set=big \
       --max_length=64 \
       --decode_batch_size=32 \
       --decode_max_length=97 \
       --padded_decode=true \
       --distribution_strategy=tpu

   Description des options de commande

   tpu

   Nom du Cloud TPU. Cette valeur est définie en spécifiant la variable d'environnement (TPU_NAME).

    <dt><code>model_dir</code></dt>
    <dd>The Cloud Storage bucket where checkpoints and summaries are
      stored during training. You can use an existing folder to load previously
      generated checkpoints created on a TPU of the same size and
      TensorFlow version.</dd>
   
    <dt><code>data_dir</code></dt>
    <dd>The Cloud Storage path of training input. It is set to the
      fake_imagenet dataset in this example.</dd>
   
    <dt><code>vocab_file</code></dt>
    <dd>A file that contains the vocabulary for translation.</dd>
   
    <dt><code>bleu_source</code></dt>
    <dd>A file that contains source sentences for translation.</dd>
   
    <dt><code>bleu_ref</code></dt>
    <dd>A file that contains the reference for the translation sentences.</dd>
   
    <dt><code>train_steps</code></dt>
    <dd>The number of steps to train the model. One step processes one batch
      of data. This includes both a forward pass and back propagation.</dd>
   
    <dt><code>batch_size</code></dt>
    <dd>The training batch size.</dd>
   
    <dt><code>static_batch</code></dt>
    <dd>Specifies whether the batches in the dataset has static shapes.</dd>
   
    <dt><code>use_ctl</code></dt>
    <dd>Specifies whether the script runs with a custom training loop.</dd>
   
    <dt><code>param_set</code></dt>
    <dd>The parameter set to use when creating and training the model. The
     parameters define the input shape, model configuration, and other
     settings.</dd>
   
    <dt><code>max_length</code></dt>
    <dd>The maximum length of an example in the dataset.</dd>
   
    <dt><code>decode_batch_size</code></dt>
    <dd>The global batch size used for Transformer auto-regressive decoding
      on a Cloud TPU.</dd>
   
    <dt><code>decode_max_length</code></dt>
    <dd>The maximum sequence length of the decode/eval data. This is used by
      the Transformer auto-regressive decoding on a Cloud TPU to minimize
      the amount of required data padding.</dd>
   
    <dt><code>padded_decode</code></dt>
    <dd>Specifies whether the auto-regressive decoding runs with input data
      padded to the decode_max_length. Tor TPU/XLA-GPU runs, this flag must
      be set due to the static shape requirement.</dd>
   
    <dt><code>distribution_strategy</code></dt>
    <dd>To train the ResNet model on a Cloud TPU, set <code>distribution_strategy</code>
      to <code>tpu</code>.</dd>
   </dl>
   

Par défaut, le modèle est évalué toutes les 2 000 étapes. Pour vous entraîner à la convergence, remplacez train_steps par 200000. Vous pouvez augmenter le nombre d'étapes d'entraînement ou spécifier la fréquence d'exécution des évaluations en définissant ces paramètres :

• --train_steps : définit le nombre total d'étapes d'entraînement à exécuter.
• --steps_between_evals : nombre d'étapes d'entraînement à exécuter entre les évaluations.

L'entraînement et l'évaluation prennent environ sept minutes sur un Cloud TPU v3-32. Une fois l'entraînement et l'évaluation terminés, des messages semblables aux suivants s'affichent :

I0415 00:28:33.108577 140097002981184 transformer_main.py:311] Train Step: 2000/2000 / loss = 5.139615058898926
I0415 00:28:33.108953 140097002981184 keras_utils.py:148] TimeHistory: 120.39 seconds, 102065.86 examples/second between steps 0 and 2000
.
.
.
I0415 00:32:01.785520 140097002981184 transformer_main.py:116] Bleu score (uncased): 0.8316259831190109
I0415 00:32:01.786150 140097002981184 transformer_main.py:117] Bleu score (cased): 0.7945530116558075

Important : Une fois l'entraînement et l'évaluation terminés, veillez à effectuer un nettoyage pour éviter que toute utilisation supplémentaire du TPU ne vous soit facturée.

Ce script d'entraînement comporte 2 000 étapes et effectue une évaluation toutes les 2 000 étapes. Cet entraînement et cette évaluation durent environ huit minutes sur un pod Cloud TPU v3-32. Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :

INFO:tensorflow:Writing to file /tmp/tmpdmlanxcf
I0218 21:09:19.100718 140509661046592 translate.py:184] Writing to file /tmp/tmpdmlanxcf
I0218 21:09:28.043537 140509661046592 transformer_main.py:118] Bleu score (uncased): 1.799112930893898
I0218 21:09:28.043911 140509661046592 transformer_main.py:119] Bleu score (cased): 1.730366237461567

Pour vous entraîner à la convergence, remplacez train_steps par 200 000. Vous pouvez augmenter le nombre d'étapes d'entraînement ou spécifier la fréquence d'exécution des évaluations en définissant ces paramètres :

• --train_steps : définit le nombre total d'étapes d'entraînement à exécuter.
• --steps_between_evals : nombre d'étapes d'entraînement à exécuter entre les évaluations.

Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :

0509 00:27:59.984464 140553148962624 translate.py:184] Writing to file /tmp/tmp_rk3m8jp
I0509 00:28:11.189308 140553148962624 transformer_main.py:119] Bleu score (uncased): 1.3239131309092045
I0509 00:28:11.189623 140553148962624 transformer_main.py:120] Bleu score (cased): 1.2855342589318752

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

1. Déconnectez-vous de l'instance Compute Engine, si vous ne l'avez pas déjà fait :

   (vm)$ exit
   

   Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

2. Supprimez vos ressources Cloud TPU et Compute Engine. La commande à utiliser pour supprimer vos ressources varie selon que vous utilisez des VM TPU ou des nœuds TPU. Pour en savoir plus, consultez la page Architecture du système.

   VM TPU

   $ gcloud alpha compute tpus tpu-vm delete transformer-tutorial \
   --zone=europe-west4-a
   

   Nœud TPU

   $ gcloud compute tpus execution-groups delete transformer-tutorial \
   --zone=europe-west4-a
   

3. Exécutez gsutil comme indiqué, en remplaçant bucket-name par le nom du bucket Cloud Storage que vous avez créé pour ce tutoriel :

   Attention : Toutes les données d'entraînement seront perdues lors de la suppression du bucket. Vous ne devez effectuer cette étape que lorsque vous aurez terminé le tutoriel.

   $ gsutil rm -r gs://bucket-name
   

Étapes suivantes

Les tutoriels TensorFlow Cloud TPU permettent généralement d'entraîner le modèle à l'aide d'un exemple d'ensemble de données. Les résultats de cet entraînement ne sont pas utilisables pour l'inférence. Pour utiliser un modèle d'inférence, vous pouvez entraîner les données à partir d'un ensemble de données public ou de votre propre ensemble de données. Les modèles TensorFlow entraînés sur des Cloud TPU nécessitent généralement des ensembles de données au format TFRecord.

Vous pouvez utiliser l'exemple d'outil de conversion d'ensemble de données pour convertir un ensemble de données de classification d'images au format TFRecord. Si vous n'utilisez pas de modèle de classification d'images, vous devez convertir vous-même votre ensemble de données au format TFRecord. Pour en savoir plus, consultez la page TFRecord et tf.Example.

Réglages d'hyperparamètres

Pour améliorer les performances du modèle sur votre ensemble de données, vous pouvez régler ses hyperparamètres. Vous trouverez des informations sur les hyperparamètres communs à tous les modèles compatibles avec des TPU sur GitHub. Des informations sur les hyperparamètres spécifiques aux modèles sont disponibles dans le code source de chaque modèle. Pour en savoir plus sur ces réglages, consultez les pages Présentation des réglages d'hyperparamètres, Utiliser le service de réglage d'hyperparamètres et Régler les hyperparamètres.

Inférence

Une fois votre modèle entraîné, vous pouvez l'utiliser pour l'inférence (également appelée prédiction). AI Platform est une solution cloud permettant de développer, d'entraîner et de déployer des modèles de machine learning. Une fois un modèle déployé, vous pouvez utiliser le service AI Platform Prediction.