Transformateur d'entraînement sur Cloud TPU (TX2)

Transformateur est une architecture de réseau de neurones qui résout des problèmes séquentiels à l'aide de mécanismes d'attention. Contrairement aux modèles de neurones seq2seq traditionnels, Transformateur n'implique pas de connexions récurrentes. Le mécanisme d'attention apprend les dépendances entre les jetons dans deux séquences. Étant donné que les pondérations de l'attention s'appliquent à tous les jetons des séquences, le modèle Transformateur est capable de capturer facilement les dépendances à longue distance.

La structure globale du transformateur suit le modèle standard encodeur-décodeur. L'encodeur utilise l'auto-attention pour calculer une représentation de la séquence d'entrée. Le décodeur génère la séquence de sortie un jeton à la fois, en prenant la sortie du codeur et les jetons générés par le décodeur précédent comme entrées.

Le modèle applique également des représentations vectorielles continues sur les jetons d'entrée et de sortie, et ajoute un encodage en position constante. L'encodage de position ajoute des informations sur la position de chaque jeton.

Coûts

Ce tutoriel utilise des composants facturables de Google Cloud, dont :

  • Instance
  • Cloud TPU

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Avant de commencer

Si vous prévoyez d'entraîner un modèle sur une tranche de pod TPU, veuillez consulter ce document pour en savoir plus sur les particularités des entraînements sur tranche de pod.

Avant de commencer ce tutoriel, suivez les étapes ci-dessous pour vérifier que votre projet Google Cloud est correctement configuré.

  1. Ouvrez une fenêtre Cloud Shell.

    Ouvrir Cloud Shell

  2. Créez une variable pour l'ID de votre projet.

    export PROJECT_ID=project-id
    
  3. Configurez l'outil de ligne de commande gcloud pour utiliser le projet dans lequel vous souhaitez créer Cloud TPU.

    gcloud config set project ${PROJECT_ID}
    

    La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page pour permettre à gcloud d'effectuer des appels d'API GCP avec vos identifiants.

  4. Créez un compte de service pour le projet Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    La commande renvoie un compte de service Cloud TPU au format suivant :

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Créez un bucket Cloud Storage à l'aide de la commande suivante :

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
    

    Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. L'outil gcloud utilisé dans ce tutoriel configure les autorisations par défaut pour le compte de service Cloud TPU que vous avez configuré à l'étape précédente. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.

  6. Lancez une VM Compute Engine et Cloud TPU à l'aide de la commande gcloud. La commande utilisée varie selon que vous utilisez des VM TPU ou des nœuds TPU. Pour en savoir plus sur l'architecture des deux VM, consultez la page Architecture système.

    VM TPU

    $ gcloud alpha compute tpus tpu-vm create transformer-tutorial \
     --zone=europe-west4-a \
     --accelerator-type=v3-8 \
     --version=v2-alpha
    

    Description des options de commande

    zone
    Zone dans laquelle vous prévoyez de créer votre Cloud TPU.
    accelerator-type
    Type du Cloud TPU à créer.
    version
    Version d'exécution de Cloud TPU.

    Nœud TPU

    $ gcloud compute tpus execution-groups create  \
    --disk-size=300 \
    --machine-type=n1-standard-8 \
    --zone=europe-west4-a \
    --tf-version=2.6.0
    

    Description des options de commande

    disk-size
    Taille du disque pour la VM en Go.
    machine_type
    Type de machine de la VM créée par la commande gcloud.
    tf-version
    Version de TensorFlow gcloud compute tpus execution-groups installée sur la VM.

    Pour plus d'informations sur la commande gcloud, consultez la documentation de référence sur gcloud.

  7. Si vous n'êtes pas automatiquement connecté à l'instance Compute Engine, connectez-vous en exécutant la commande ssh suivante. Lorsque vous êtes connecté à la VM, votre invite d'interface système passe de username@projectname à username@vm-name:

    VM TPU

    gcloud alpha compute tpus tpu-vm ssh transformer-tutorial --zone=europe-west4-a
    

    Nœud TPU

    gcloud compute ssh transformer-tutorial --zone=europe-west4-a
    

    À mesure que vous appliquez ces instructions, exécutez chaque commande commençant par (vm)$ dans la fenêtre de session de la VM.

Générer l'ensemble de données d'entraînement

Sur votre VM:

  1. Installez les exigences de TensorFlow et définissez la variable d'environnement PYTHONPATH.

    VM TPU

    (vm)$ git clone https://github.com/tensorflow/models.git
    (vm)$ pip3 install -r models/official/requirements.txt
    
    (vm)$ export PYTHONPATH="${PWD}/models:${PYTHONPATH}"
    

    Nœud TPU

    (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
    (vm)$ pip3 install -r /usr/share/models/official/requirements.txt
    
  2. Créez les variables d'environnement suivantes. Remplacez bucket-name par le nom de votre bucket :

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export GCS_DATA_DIR=${STORAGE_BUCKET}/data/transformer
    (vm)$ export PARAM_SET=big
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET}
    (vm)$ export DATA_DIR=${HOME}/transformer/data
    (vm)$ export VOCAB_FILE=${DATA_DIR}/vocab.ende.32768
    
  3. Accédez au répertoire où le modèle est stocké :

    VM TPU

    (vm)$ cd ~/models/official/nlp/transformer
    

    Nœud TPU

    (vm)$ cd /usr/share/models/official/nlp/transformer
    
  4. Configurez les variables d'environnement de l'ensemble de données suivantes :

    (vm)$ export GCS_DATA_DIR=${STORAGE_BUCKET}/data/transformer
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET}
    
  5. Téléchargez et préparez les ensembles de données.

    (vm)$ python3 data_download.py --data_dir=${DATA_DIR}
    (vm)$ gsutil cp -r ${DATA_DIR} ${GCS_DATA_DIR}
    

    data_download.py télécharge et prétraite les ensembles de données d'entraînement et d'évaluation WMT. Une fois les données téléchargées et extraites, les données d'entraînement sont utilisées pour générer un vocabulaire de sous-jetons. Les chaînes d'évaluation et d'entraînement sont segmentées et les données obtenues sont partitionnées, mélangées et enregistrées au format TFRecords.

    1,75 Go de données compressées est téléchargé. Au total, les fichiers bruts (fichiers compressés, extraits et combinés) occupent 8,4 Go d'espace disque. Le fichier TFRecord et les fichiers de vocabulaire obtenus sont de 722 Mo. Le script enregistre 460 000 cas et prend environ 40 minutes.

Entraîner un modèle de traduction anglais/allemand sur un seul Cloud TPU

.

Exécutez les commandes suivantes sur la VM Compute Engine :

  1. Définissez la variable de nom Cloud TPU.

    VM TPU

    (vm)$ export TPU_NAME=local
    

    Nœud TPU

    (vm)$ export TPU_NAME=transformer-tutorial
    
  2. Exécutez le script d'entraînement :

    (vm)$ python3 transformer_main.py \
        --tpu=${TPU_NAME} \
        --model_dir=${MODEL_DIR} \
        --data_dir=${GCS_DATA_DIR} \
        --vocab_file=${GCS_DATA_DIR}/vocab.ende.32768 \
        --bleu_source=${GCS_DATA_DIR}/newstest2014.en \
        --bleu_ref=${GCS_DATA_DIR}/newstest2014.de \
        --batch_size=6144 \
        --train_steps=2000 \
        --static_batch=true \
        --use_ctl=true \
        --param_set=big \
        --max_length=64 \
        --decode_batch_size=32 \
        --decode_max_length=97 \
        --padded_decode=true \
        --distribution_strategy=tpu
    

    Description des options de commande

    tpu
    Nom du Cloud TPU. Cette valeur est définie en spécifiant la variable d'environnement (TPU_NAME).
    model_dir
    Bucket Cloud Storage où les points de contrôle et les résumés sont stockés pendant l'entraînement. Vous pouvez utiliser un dossier existant pour charger des points de contrôle précédemment créés sur un TPU de la même taille et de la même version TensorFlow.
    data_dir
    Chemin d'accès Cloud Storage de l'entrée d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.
    vocab_file
    Fichier contenant le vocabulaire à traduire.
    bleu_source
    Fichier contenant des phrases sources à traduire.
    bleu_ref
    Fichier contenant la référence aux phrases de traduction.
    train_steps
    Nombre d'étapes d'entraînement du modèle. Une étape permet de traiter un lot de données. Cela inclut à la fois une propagation avant et une rétropropagation.
    batch_size
    Taille du lot d'entraînement.
    static_batch
    Spécifie si les lots de l'ensemble de données ont des formes statiques.
    use_ctl
    Spécifie si le script s'exécute avec une boucle d'entraînement personnalisée.
    param_set
    Ensemble de paramètres à utiliser lors de la création et de l'entraînement du modèle. Les paramètres définissent la forme d'entrée, la configuration du modèle et d'autres paramètres.
    max_length
    Longueur maximale d'un exemple dans l'ensemble de données.
    decode_batch_size
    Taille de lot globale utilisée pour le décodage régressif automatique de Transformer sur un Cloud TPU.
    decode_max_length
    Longueur maximale de la séquence des données de décodage/d'évaluation. Celle-ci est utilisée par le décodage automatique régressif de Transformer sur un Cloud TPU afin de réduire le volume de données requises.
    padded_decode
    Indique si le décodage auto régressif s'exécute avec des données d'entrée complétées jusqu'à la longueur decode_max_length. Pour les exécutions Tor TPU/XLA-GPU, cet indicateur doit être défini en raison des exigences de forme statique.
    distribution_strategy
    Pour entraîner le modèle ResNet sur un Cloud TPU, définissez distribution_strategy sur tpu.

    Par défaut, le modèle est évalué toutes les 2 000 étapes. Pour vous entraîner à la convergence, remplacez train_steps par 200000. Vous pouvez augmenter le nombre d'étapes d'entraînement ou spécifier la fréquence d'exécution des évaluations en définissant ces paramètres :

    • --train_steps : définit le nombre total d'étapes d'entraînement à exécuter.
    • --steps_between_evals: nombre d'étapes d'entraînement à exécuter entre les évaluations.

    L'entraînement et l'évaluation prennent environ sept minutes sur un Cloud TPU v3-8. Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :

    INFO:tensorflow:Writing to file /tmp/tmpej76vasn
    I0218 20:07:26.020797 140707963950912 translate.py:184] Writing to file /tmp/tmpej76vasn
    I0218 20:07:35.099256 140707963950912 transformer_main.py:118] Bleu score (uncased): 0.99971704185009
    I0218 20:07:35.099616 140707963950912 transformer_main.py:119] Bleu score (cased): 0.9768599644303322
    

    Vous avez terminé la formation sur un seul appareil. Suivez la procédure ci-dessous pour supprimer les ressources TPU mono-appareil actuelles.

  3. Déconnectez-vous de l'instance Compute Engine:

    (vm)$ exit
    

    Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

  4. Supprimez la ressource TPU.

    VM TPU

    $ gcloud alpha compute tpus tpu-vm delete transformer-tutorial \
    --zone=europe-west4-a
    

    Description des options de commande

    zone
    Zone où se trouve votre Cloud TPU.

    Nœud TPU

    $ gcloud compute tpus execution-groups delete transformer-tutorial \
    --tpu-only \
    --zone=europe-west4-a
    

    Description des options de commande

    tpu-only
    Supprime uniquement le Cloud TPU. La VM reste disponible.
    zone
    Zone contenant le TPU à supprimer.

À ce stade, vous pouvez terminer ce tutoriel et nettoyer l'instance, ou vous pouvez continuer à explorer l'exécution du modèle sur les pods Cloud TPU.

Mettre à l'échelle votre modèle avec les pods Cloud TPU

Entraînement avec un pod de VM TPU

Configurer les ressources du projet de pod

Cette section fournit des informations sur la configuration d'un bucket Cloud Storage et de ressources Cloud TPU pour l'entraînement de votre pod.

  1. Ouvrez une fenêtre Cloud Shell.

    Ouvrir Cloud Shell

  2. Créez une variable pour l'ID de votre projet.

    export PROJECT_ID=project-id
    
  3. Configurez l'outil de ligne de commande gcloud pour utiliser le projet dans lequel vous souhaitez créer Cloud TPU.

    gcloud config set project ${PROJECT_ID}
    

    La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page pour permettre à gcloud d'effectuer des appels d'API GCP avec vos identifiants.

  4. Créez un compte de service pour le projet Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    La commande renvoie un compte de service Cloud TPU au format suivant :

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Créez un bucket Cloud Storage à l'aide de la commande suivante ou utilisez un bucket que vous avez créé précédemment pour votre projet. Ignorez cette étape si vous utilisez un bucket que vous avez créé précédemment.

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name
    

    Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. La commande gcloud utilisée dans ce tutoriel configure les autorisations par défaut pour le compte de service Cloud TPU que vous avez configuré à l'étape précédente. Si vous souhaitez utiliser des autorisations plus précises, consultez la section sur les autorisations de niveau d'accès.

    L'emplacement du bucket doit se trouver dans la même région que votre VM et vos ressources TPU.

Lancer les ressources de VM TPU

  1. Lancez un pod de VM TPU à l'aide de la commande gcloud alpha compute tpus tpu-vm. Ce tutoriel spécifie un pod v3-32. Pour connaître les autres options relatives aux pods, consultez la page Types de TPU disponibles.

    $ gcloud alpha compute tpus tpu-vm create transformer-tutorial \
    --zone=europe-west4-a \
    --accelerator-type=v3-32 \
    --version=v2-alpha-pod
    

    Description des options de commande

    zone
    Zone dans laquelle vous prévoyez de créer votre Cloud TPU.
    accelerator-type
    Type du Cloud TPU à créer.
    version
    Version d'exécution de Cloud TPU.
    .
  2. Une fois l'exécution de la commande gcloud alpha compute tpus terminée, vérifiez que l'invite de l'interface système est passée de username@projectname à username@vm-name. Cette modification indique que vous êtes maintenant connecté à votre VM Compute Engine.

    Connectez-vous à l'instance Compute Engine en exécutant la commande suivante:

      gcloud alpha compute tpus tpu-vm ssh transformer-tutorial --zone=europe-west4-a
      

Générer l'ensemble de données d'entraînement

Sur votre VM:

  1. Installez les exigences de TensorFlow et définissez la variable d'environnement PYTHONPATH.

    (vm)$ git clone https://github.com/tensorflow/models.git
    (vm)$ pip3 install -r models/official/requirements.txt
    
    (vm)$ export PYTHONPATH="${PWD}/models:${PYTHONPATH}"
    
  2. Exportez le nom du TPU :

    (vm)$ export TPU_NAME=transformer-tutorial
    
  3. Configurez les variables d'environnement suivantes en remplaçant bucket-name par le nom de votre bucket Cloud Storage :

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export TPU_LOAD_LIBRARY=0
    (vm)$ export GCS_DATA_DIR=${STORAGE_BUCKET}/data/transformer
    (vm)$ export PARAM_SET=big
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET}_pod
    

    L'application d'entraînement s'attend à ce que vos données d'entraînement soient accessibles dans Cloud Storage. Elle exploite également le bucket Cloud Storage pour stocker des points de contrôle lors de l'entraînement.

  4. Accédez au répertoire du script :

    (vm)$ cd ~/models/official/nlp/transformer
    
  5. Téléchargez et préparez les ensembles de données.

    (vm)$ export DATA_DIR=${HOME}/transformer/data
    (vm)$ export VOCAB_FILE=${DATA_DIR}/vocab.ende.32768
    (vm)$ python3 data_download.py --data_dir=${DATA_DIR}
    (vm)$ gsutil cp -r ${DATA_DIR} ${GCS_DATA_DIR}
    

    data_download.py télécharge et prétraite les ensembles de données d'entraînement et d'évaluation WMT. Une fois les données téléchargées et extraites, les données d'entraînement sont utilisées pour générer un vocabulaire de sous-jetons. Les chaînes d'évaluation et d'entraînement sont segmentées et les données obtenues sont partitionnées, mélangées et enregistrées au format TFRecords.

    1,75 Go de données compressées est téléchargé. Au total, les fichiers bruts (fichiers compressés, extraits et combinés) occupent 8,4 Go d'espace disque. Le fichier TFRecord et les fichiers de vocabulaire obtenus sont de 722 Mo. Le script enregistre 460 000 cas et prend environ 40 minutes.

Installer les packages supplémentaires

  1. Le script d'entraînement nécessite un package supplémentaire. Installez-le maintenant :

    (vm)$ sudo pip3 install tensorflow-model-optimization>=0.1.3
    

Configurer et démarrer l'entraînement sur un pod

  1. Définissez certaines variables d'environnement requises :

    (vm)$ export TPU_LOAD_LIBRARY=0
    (vm)$ export PYTHONPATH="${PWD}/models:${PYTHONPATH}"
    (vm)$ export RESNET_PRETRAIN_DIR=gs://cloud-tpu-checkpoints/retinanet/resnet50-checkpoint-2018-02-07
    (vm)$ export TRAIN_FILE_PATTERN=${DATA_DIR}/train-*
    (vm)$ export EVAL_FILE_PATTERN=${DATA_DIR}/val-*
    (vm)$ export VAL_JSON_FILE=${DATA_DIR}/instances_val2017.json
    
  2. Exécutez le script d'entraînement :

    (vm)$ python3 transformer_main.py \
        --tpu=${TPU_NAME} \
        --model_dir=${MODEL_DIR} \
        --data_dir=${GCS_DATA_DIR} \
        --vocab_file=${GCS_DATA_DIR}/vocab.ende.32768 \
        --bleu_source=${GCS_DATA_DIR}/newstest2014.en \
        --bleu_ref=${GCS_DATA_DIR}/newstest2014.de \
        --batch_size=6144 \
        --train_steps=2000 \
        --static_batch=true \
        --use_ctl=true \
        --param_set=big \
        --max_length=64 \
        --decode_batch_size=32 \
        --decode_max_length=97 \
        --padded_decode=true \
        --distribution_strategy=tpu

    Description des options de commande

    tpu
    Nom du Cloud TPU. Cette valeur est définie en spécifiant la variable d'environnement (TPU_NAME).
    model_dir
    Bucket Cloud Storage où les points de contrôle et les résumés sont stockés pendant l'entraînement. Vous pouvez utiliser un dossier existant pour charger des points de contrôle précédemment créés sur un TPU de la même taille et de la même version TensorFlow.
    data_dir
    Chemin d'accès Cloud Storage de l'entrée d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.
    vocab_file
    Fichier contenant le vocabulaire à traduire.
    bleu_source
    Fichier contenant des phrases sources à traduire.
    bleu_ref
    Fichier contenant la référence aux phrases de traduction.
    train_steps
    Nombre d'étapes d'entraînement du modèle. Une étape permet de traiter un lot de données. Cela inclut à la fois une propagation avant et une rétropropagation.
    batch_size
    Taille du lot d'entraînement.
    static_batch
    Spécifie si les lots de l'ensemble de données ont des formes statiques.
    use_ctl
    Spécifie si le script s'exécute avec une boucle d'entraînement personnalisée.
    param_set
    Ensemble de paramètres à utiliser lors de la création et de l'entraînement du modèle. Les paramètres définissent la forme d'entrée, la configuration du modèle et d'autres paramètres.
    max_length
    Longueur maximale d'un exemple dans l'ensemble de données.
    decode_batch_size
    Taille de lot globale utilisée pour le décodage régressif automatique de Transformer sur un Cloud TPU.
    decode_max_length
    Longueur maximale de la séquence des données de décodage/d'évaluation. Celle-ci est utilisée par le décodage automatique régressif de Transformer sur un Cloud TPU afin de réduire le volume de données requises.
    padded_decode
    Indique si le décodage auto régressif s'exécute avec des données d'entrée complétées jusqu'à la longueur decode_max_length. Pour les exécutions Tor TPU/XLA-GPU, cet indicateur doit être défini en raison des exigences de forme statique.
    distribution_strategy
    Pour entraîner le modèle ResNet sur un Cloud TPU, définissez distribution_strategy sur tpu.

Par défaut, le modèle est évalué toutes les 2 000 étapes. Pour vous entraîner à la convergence, remplacez train_steps par 200000. Vous pouvez augmenter le nombre d'étapes d'entraînement ou spécifier la fréquence d'exécution des évaluations en définissant ces paramètres :

  • --train_steps : définit le nombre total d'étapes d'entraînement à exécuter.
  • --steps_between_evals: nombre d'étapes d'entraînement à exécuter entre les évaluations.

L'entraînement et l'évaluation prennent environ sept minutes sur un Cloud TPU v3-32. Une fois l'entraînement et l'évaluation terminés, des messages semblables aux suivants s'affichent:

I0415 00:28:33.108577 140097002981184 transformer_main.py:311] Train Step: 2000/2000 / loss = 5.139615058898926
I0415 00:28:33.108953 140097002981184 keras_utils.py:148] TimeHistory: 120.39 seconds, 102065.86 examples/second between steps 0 and 2000
.
.
.
I0415 00:32:01.785520 140097002981184 transformer_main.py:116] Bleu score (uncased): 0.8316259831190109
I0415 00:32:01.786150 140097002981184 transformer_main.py:117] Bleu score (cased): 0.7945530116558075

Entraînement du pod de nœud TPU

  1. Exécutez la commande gcloud compute tpus à l'aide du paramètre accelerator-type pour spécifier la tranche de pod que vous souhaitez utiliser. Par exemple, la commande suivante utilise une tranche de pod v3-32.

    (vm)$ gcloud compute tpus execution-groups create \
      --tpu-only \
      --accelerator-type=v3-32 \
      --zone=europe-west4-a \
      --tf-version=2.6.0
    

    Description des options de commande

    tpu-only
    Crée un Cloud TPU uniquement. Par défaut, la commande gcloud compute tpus execution-groups crée une VM et un Cloud TPU.
    accelerator-type
    Type du Cloud TPU à créer.
    zone
    Zone dans laquelle vous prévoyez de créer votre Cloud TPU. Cette zone doit être la même que celle utilisée pour la VM Compute Engine. Par exemple, europe-west4-a.
    tf-version
    La version de Tensorflow que gcloud installe sur la VM.
    name
    Nom du Cloud TPU à créer.
  2. Si vous n'êtes pas automatiquement connecté à l'instance Compute Engine, connectez-vous en exécutant la commande ssh suivante. Lorsque vous êtes connecté à la VM, votre invite d'interface système passe de username@projectname à username@vm-name:

        gcloud compute ssh transformer-tutorial --zone=europe-west4-a
     

  3. Exportez le nom du TPU :

    (vm)$ export TPU_NAME=transformer-tutorial
    
  4. Configurez les variables d'environnement suivantes en remplaçant bucket-name par le nom de votre bucket Cloud Storage :

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    

    L'application d'entraînement s'attend à ce que vos données d'entraînement soient accessibles dans Cloud Storage. Elle exploite également le bucket Cloud Storage pour stocker des points de contrôle lors de l'entraînement.

  5. Exportez la variable de répertoire de modèle :

    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET}_pod
    
  6. Remplacez le répertoire par le répertoire d'entraînement :

    (vm)$ cd /usr/share/models/official/nlp/transformer
    
  7. Exécutez le script d'entraînement sur le pod :

    (vm)$ python3 transformer_main.py \
         --tpu=${TPU_NAME} \
         --model_dir=${MODEL_DIR} \
         --data_dir=${GCS_DATA_DIR} \
         --vocab_file=${GCS_DATA_DIR}/vocab.ende.32768 \
         --bleu_source=${GCS_DATA_DIR}/newstest2014.en \
         --bleu_ref=${GCS_DATA_DIR}/newstest2014.de \
         --batch_size=24576 \
         --train_steps=2000 \
         --static_batch=true \
         --use_ctl=true \
         --param_set=big \
         --max_length=64 \
         --decode_batch_size=32 \
         --decode_max_length=97 \
         --padded_decode=true \
         --steps_between_evals=2000 \
         --distribution_strategy=tpu
    

    Description des options de commande

    tpu
    Nom du Cloud TPU. Cette valeur est définie en spécifiant la variable d'environnement (TPU_NAME).
    model_dir
    Bucket Cloud Storage où les points de contrôle et les résumés sont stockés pendant l'entraînement. Vous pouvez utiliser un dossier existant pour charger des points de contrôle précédemment créés sur un TPU de la même taille et de la même version TensorFlow.
    data_dir
    Chemin d'accès Cloud Storage de l'entrée d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.
    vocab_file
    Fichier contenant le vocabulaire à traduire.
    bleu_source
    Fichier contenant des phrases sources à traduire.
    bleu_ref
    Fichier contenant la référence aux phrases de traduction.
    batch_size
    Taille de lot d'entraînement.
    train_steps
    Nombre d'étapes d'entraînement du modèle. Une étape permet de traiter un lot de données. Cela inclut à la fois une propagation avant et une rétropropagation.
    static_batch
    Spécifie si les lots de l'ensemble de données ont des formes statiques.
    use_ctl
    Spécifie si le script s'exécute avec une boucle d'entraînement personnalisée.
    param_set
    Ensemble de paramètres à utiliser lors de la création et de l'entraînement du modèle. Les paramètres définissent la forme d'entrée, la configuration du modèle et d'autres paramètres.
    max_length
    Longueur maximale d'un exemple dans l'ensemble de données.
    decode_batch_size
    Taille de lot globale utilisée pour le décodage auto régressif de Transformer sur un Cloud TPU.
    decode_max_length
    Longueur maximale de la séquence des données de décodage/d'évaluation. Celle-ci est utilisée par le décodage automatique régressif de Transformer sur un Cloud TPU afin de réduire le volume de données requises.
    padded_decode
    Indique si le décodage auto régressif s'exécute avec des données d'entrée complétées jusqu'à la longueur decode_max_length. Pour les exécutions Tor TPU/XLA-GPU, cet indicateur doit être défini en raison des exigences de forme statique.
    steps_between_evals
    Nombre d'étapes d'entraînement à exécuter entre les évaluations.
    distribution_strategy
    Pour entraîner le modèle ResNet sur un TPU, définissez distribution_strategy sur tpu.

Ce script d'entraînement comporte 2 000 étapes et effectue une évaluation toutes les 2 000 étapes. Cette opération d'entraînement et d'évaluation prend environ huit minutes sur un pod Cloud TPU v3-32. Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :

INFO:tensorflow:Writing to file /tmp/tmpdmlanxcf
I0218 21:09:19.100718 140509661046592 translate.py:184] Writing to file /tmp/tmpdmlanxcf
I0218 21:09:28.043537 140509661046592 transformer_main.py:118] Bleu score (uncased): 1.799112930893898
I0218 21:09:28.043911 140509661046592 transformer_main.py:119] Bleu score (cased): 1.730366237461567

Pour vous entraîner à la convergence, remplacez train_steps par 200 000. Vous pouvez augmenter le nombre d'étapes d'entraînement ou spécifier la fréquence d'exécution des évaluations en définissant ces paramètres :

  • --train_steps : définit le nombre total d'étapes d'entraînement à exécuter.
  • --steps_between_evals : nombre d'étapes d'entraînement à exécuter entre les évaluations.

Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :

0509 00:27:59.984464 140553148962624 translate.py:184] Writing to file /tmp/tmp_rk3m8jp
I0509 00:28:11.189308 140553148962624 transformer_main.py:119] Bleu score (uncased): 1.3239131309092045
I0509 00:28:11.189623 140553148962624 transformer_main.py:120] Bleu score (cased): 1.2855342589318752

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

  1. Déconnectez-vous de l'instance Compute Engine, si vous ne l'avez pas déjà fait :

    (vm)$ exit
    

    Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

  2. Supprimez vos ressources Cloud TPU et Compute Engine. La commande utilisée pour supprimer vos ressources varie selon que vous utilisez des VM TPU ou des nœuds TPU. Pour en savoir plus, consultez la section Architecture système.

    VM TPU

    $ gcloud alpha compute tpus tpu-vm delete transformer-tutorial \
    --zone=europe-west4-a
    

    Nœud TPU

    $ gcloud compute tpus execution-groups delete transformer-tutorial \
    --zone=europe-west4-a
    
  3. Vérifiez que les ressources ont été supprimées en exécutant gcloud compute tpus execution-groups list. La suppression peut prendre plusieurs minutes. Une réponse semblable à celle ci-dessous indique que vos instances ont bien été supprimées.

    $ gcloud compute tpus execution-groups list --zone=europe-west4-a
    
    Listed 0 items.
    
  4. Exécutez gsutil comme indiqué, en remplaçant bucket-name par le nom du bucket Cloud Storage que vous avez créé pour ce tutoriel :

    $ gsutil rm -r gs://bucket-name
    

Étape suivante

Dans ce tutoriel, vous avez entraîné le modèle TRANSFORMER à l'aide d'un exemple d'ensemble de données. Les résultats de cet entraînement ne sont pas utilisables pour l'inférence dans la plupart des cas. Afin d'utiliser un modèle pour l'inférence, vous pouvez entraîner les données sur un ensemble de données accessible au public ou sur votre propre ensemble de données. Les modèles entraînés sur des appareils Cloud TPU nécessitent des ensembles de données au format TFRecord.

Vous pouvez utiliser l'exemple d'outil de conversion d'ensemble de données pour convertir un ensemble de données de classification d'images au format TFRecord. Si vous n'utilisez pas de modèle de classification d'images, vous devez convertir vous-même votre ensemble de données au format TFRecord. Pour en savoir plus, consultez TFRecord et tf.Example.

Réglages d'hyperparamètres

Pour améliorer les performances du modèle avec votre ensemble de données, vous pouvez régler ses hyperparamètres. Vous trouverez des informations sur les hyperparamètres communs à tous les modèles compatibles avec des TPU sur GitHub. Des informations sur les hyperparamètres spécifiques au modèle sont disponibles dans le code source de chaque modèle. Pour en savoir plus sur ces réglages, consultez les pages Présentation des réglages d'hyperparamètres, Utiliser le service de réglage d'hyperparamètres et Régler les hyperparamètres.

Inférence

Une fois que vous avez entraîné votre modèle, vous pouvez l'utiliser pour l'inférence (également appelée prédiction). AI Platform est une solution basée sur le cloud permettant de développer, d'entraîner et de déployer des modèles de machine learning. Une fois un modèle déployé, vous pouvez utiliser le service AI Platform Prediction.