Entraîner sur Cloud TPU (TF 2.x)

Ce tutoriel vous explique comment entraîner un modèle Keras Resnet-RS sur Cloud TPU à l'aide de tf.distribute.TPUStrategy. Pour plus d'informations sur ResNet-RS, consultez la page Revisiting ResNets: Improved Training and Scaling Strategies (Réexaminer les modèles ResNet : entraînements et stratégies de scaling améliorés).

Si vous ne connaissez pas bien Cloud TPU, il vous est vivement recommandé de consulter le quickstart pour apprendre à créer un TPU et une VM Compute Engine.

Objectifs

Créer un bucket Cloud Storage pour stocker votre ensemble de données et la sortie du modèle
Préparez un ensemble de données fake_imagenet, semblable à l'ensemble de données ImageNet.
Exécuter la tâche d'entraînement
Vérifier les résultats

Coûts

Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :

Compute Engine
Cloud TPU
Cloud Storage

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Avant de commencer

Avant de commencer ce tutoriel, vérifiez que votre projet Google Cloud est correctement configuré.

Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

Accéder au sélecteur de projet

Vérifiez que la facturation est activée pour votre projet Google Cloud.

Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

Accéder au sélecteur de projet

Vérifiez que la facturation est activée pour votre projet Google Cloud.

Ce tutoriel utilise des composants facturables de Google Cloud. Consultez la grille tarifaire de Cloud TPU pour estimer vos coûts. Veillez à nettoyer les ressources que vous avez créées lorsque vous avez terminé, afin d'éviter des frais inutiles.

Configurer vos ressources

Cette section fournit des informations sur la configuration des buckets Cloud Storage, des VM et des ressources Cloud TPU pour les tutoriels.

Ouvrez une fenêtre Cloud Shell.

Ouvrir Cloud Shell
Créez une variable pour l'ID de votre projet.
```
export PROJECT_ID=project-id
```
Configurez Google Cloud CLI pour utiliser le projet dans lequel vous souhaitez créer Cloud TPU.
```
gcloud config set project ${PROJECT_ID}
```
La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page pour autoriser gcloud à effectuer des appels d'API Google Cloud avec vos identifiants.

Créez un compte de service pour le projet Cloud TPU.

gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID

La commande renvoie un compte de service Cloud TPU au format suivant :

service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com

Créez un bucket Cloud Storage à l'aide de la commande suivante :
```
gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name
```
Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. L'outil gcloud compute tpus execution-groups utilisé dans ce tutoriel définit les autorisations par défaut pour le compte de service Cloud TPU que vous avez configuré à l'étape précédente. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.

L'emplacement du bucket doit être situé dans la même région que votre Compute Engine (VM) et votre nœud Cloud TPU.
Lancez une VM Compute Engine à l'aide de la commande gcloud.
```
$ gcloud compute tpus execution-groups create \
 --vm-only \
 --name=resnet-rs-tutorial \
 --zone=europe-west4-a \
 --disk-size=300 \
 --machine-type=n1-standard-16 \
 --tf-version=2.12.0
 
```
Description des options de commande

vm-only

Créer uniquement une VM, et non un TPU.

name

Nom du TPU à créer.

zone

Zone dans laquelle créer le Cloud TPU.

disk-size

Taille du disque dur en Go de la VM créée par la commande gcloud compute tpus execution-groups.

machine-type

Type de machine de la VM Compute Engine à créer.

Pour en savoir plus sur la commande gcloud, consultez la documentation de référence de gcloud.
Lorsque vous y êtes invité, appuyez sur y pour créer vos ressources Cloud TPU.

Remarque :La première fois que vous exécutez gcloud compute tpus execution-groups sur un projet, les tâches de démarrage telles que la propagation de clé SSH et l'activation de l'API prennent environ cinq minutes.

Une fois la commande gcloud compute tpus execution-groups terminée, vérifiez que l'invite de l'interface système est passée de username@projectname à username@vm-name. Cette modification indique que vous êtes maintenant connecté à votre VM Compute Engine.

Remarque :Si vous n'êtes pas connecté à l'instance Compute Engine, vous pouvez vous connecter en exécutant la commande suivante:
```
gcloud compute ssh resnet-rs-tutorial --zone=europe-west4-a
```
À mesure que vous appliquez ces instructions, exécutez chaque commande commençant par (vm)$ dans votre instance Compute Engine.

Installez les packages nécessaires.

$ pip3 install tensorflow-text==2.8.1 --no-deps

Définir des variables de bucket Cloud Storage

Configurez les variables d'environnement suivantes en remplaçant bucket-name par le nom de votre bucket Cloud Storage :

(vm)$ export STORAGE_BUCKET=gs://bucket-name

(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/resnet-rs-2x
(vm)$ export IMAGENET_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
(vm)$ export PYTHONPATH=/usr/share/models
(vm)$ export TPU_NAME=resnet-rs-tutorial

L'application d'entraînement s'attend à ce que vos données d'entraînement soient accessibles dans Cloud Storage. Elle exploite également le bucket Cloud Storage pour stocker des points de contrôle lors de l'entraînement.

Entraînement et évaluation des Cloud TPU sur un seul appareil

ImageNet est une base de données d'images. Les images de la base de données sont organisées hiérarchiquement, chaque nœud de cette hiérarchie étant représenté par des centaines de milliers d'images.

Ce tutoriel utilise une version de démonstration de l'ensemble de données complet ImageNet, appelée fake_imagenet. Cette version de démonstration vous permet de tester le tutoriel tout en réduisant les conditions de stockage et le temps généralement nécessaires à l'exécution d'un modèle par rapport à la base de données complète ImageNet.

L'ensemble de données fake_imagenet se trouve à cet emplacement sur Cloud Storage :

gs://cloud-tpu-test-datasets/fake_imagenet

Notez que l'ensemble de données fake_imagenet n'est utile que pour comprendre comment utiliser un Cloud TPU et valider les performances de bout en bout. La précision et le modèle enregistré ne sont pas représentatifs.

Pour plus d'informations sur le téléchargement et le traitement de l'ensemble de données complet ImageNet, consultez la page Télécharger, prétraiter et importer l'ensemble de données ImageNet.

Créez une ressource Cloud TPU à l'aide de la commande gcloud.
```
$ gcloud compute tpus execution-groups create \
 --tpu-only \
 --accelerator-type=v3-8  \
 --name=resnet-rs-tutorial \
 --zone=europe-west4-a \
 --tf-version=2.12.0
```
Description des options de commande

tpu-only

Créez un TPU uniquement, pas de VM.

accelerator-type

Type de Cloud TPU à créer.

name

Nom du TPU à créer.

zone

Zone dans laquelle créer le Cloud TPU.

tf-version

Version de TensorFlow installée sur la VM.

Définissez la variable de nom TPU_NAME.

(vm)$ export TPU_NAME=resnet-rs-tutorial

Exécutez le script d'entraînement.
```
(vm)$ python3 /usr/share/models/official/vision/beta/train.py \
--experiment=resnet_rs_imagenet \
--mode=train_and_eval \
--model_dir=$MODEL_DIR \
--tpu=$TPU_NAME \
--config_file=/usr/share/models/official/vision/beta/configs/experiments/image_classification/imagenet_resnetrs50_i160.yaml \
--params_override="task.train_data.input_path=$IMAGENET_DIR/train*, task.validation_data.input_path=$IMAGENET_DIR/valid*, trainer.train_steps=100"
```
Description des options de commande

experiment

Nom du test à exécuter.

mode

Mode dans lequel exécuter le script. Les valeurs valides sont : "train", "eval" ou "train_and_eval".

model_dir

Bucket Cloud Storage où sont stockés les points de contrôle et les résumés pendant l'entraînement. Vous pouvez utiliser un dossier existant pour charger des points de contrôle précédemment créés sur un TPU de la même taille et de la même version TensorFlow.

tpu

Nom du TPU à utiliser.

config_file

Chemin d'accès à un fichier de configuration de script.

params_override

Remplacer les paramètres définis dans le fichier de configuration du script.

Cela entraînera ResNet-RS pour 100 étapes d'entraînement, ce qui prend moins de cinq minutes sur un nœud TPU v3-8. Le résultat du script d'entraînement doit comporter un texte semblable à celui-ci :

{
  'train_loss': 1.435225,
  'train_accuracy': 0.00084427913
}

Le script d'entraînement effectue également l'évaluation. Le résultat de l'évaluation doit comporter un texte semblable à celui-ci :

Run stats:
{
  'eval_loss': 0.861013,
  'eval_acc': 0.001,
  'train_loss': 1.435225,
  'train_acc': 0.00084427913,
  'step_timestamp_log': [
    'BatchTimestamp<batch_index: 0,
    timestamp: 1606330585.7613473>',
    'BatchTimestamp<batch_index: 500,
    timestamp: 1606330883.8486104>',
    'BatchTimestamp<batch_index: 1000,
    timestamp: 1606331119.515312>',
    'BatchTimestamp<batch_index: 1251,
    timestamp: 1606331240.7516596>'
  ],
  'train_finish_time': 1606331296.395158,
  'avg_exp_per_second': 1951.6983246161021
}

Pour entraîner le modèle ResNet-RS jusqu'à convergence, omettez l'argument trainer.train_steps=100 comme indiqué dans le script suivant. L'entraînement et l'évaluation sont effectués ensemble.

(vm)$ python3 /usr/share/models/official/vision/beta/train.py \
  --experiment=resnet_rs_imagenet \
  --mode=train_and_eval \
  --model_dir=$MODEL_DIR \
  --tpu=$TPU_NAME \
  --config_file=/usr/share/models/official/vision/beta/configs/experiments/image_classification/imagenet_resnetrs50_i160.yaml \
  --params_override="task.train_data.input_path=$IMAGENET_DIR/train*, task.validation_data.input_path=$IMAGENET_DIR/valid*"

Description des options de commande

experiment: Nom du test à exécuter.
mode: Mode dans lequel exécuter le script. Les valeurs valides sont : "train", "eval" ou "train_and_eval".
model_dir: Bucket Cloud Storage où sont stockés les points de contrôle et les résumés pendant l'entraînement. Vous pouvez utiliser un dossier existant pour charger des points de contrôle précédemment créés sur un TPU de la même taille et de la même version TensorFlow.
tpu: Nom du TPU à utiliser.
config_file: Chemin d'accès à un fichier de configuration de script.
params_override: Remplacer les paramètres définis dans le fichier de configuration du script.

L'entraînement et l'évaluation ayant été effectués sur l'ensemble de données factice fake_dataset, les résultats de sortie ne reflètent pas le résultat réel qui apparaîtrait si l'entraînement et l'évaluation étaient effectués sur un ensemble de données réel.

À ce stade, vous pouvez soit terminer ce tutoriel et nettoyer vos ressources Google Cloud, soit explorer plus en détail l'exécution du modèle sur des pods Cloud TPU.

Utiliser des modèles plus volumineux

ResNet-RS fournit une famille de modèles de différentes tailles, les modèles plus volumineux offrant généralement une précision plus élevée, au prix de davantage de calcul. Pour en savoir plus, consultez la page Revisiting ResNets: Improved Training and Scaling Strategies (Réexaminer les modèles ResNet : entraînements et stratégies de scaling améliorés).

Vous pouvez choisir la taille du modèle à entraîner en modifiant le fichier config_file indiqué dans la commande suivante.

(vm)$ python3 /usr/share/models/official/vision/beta/train.py \
  --experiment=resnet_rs_imagenet \
  --mode=train_and_eval \
  --model_dir=$MODEL_DIR \
  --tpu=$TPU_NAME \
  --config_file=/usr/share/models/official/vision/beta/configs/experiments/image_classification/imagenet_resnetrs200_i256.yaml \
  --params_override="task.train_data.input_path=$IMAGENET_DIR/train*, task.validation_data.input_path=$IMAGENET_DIR/valid*"

Les configurations disponibles se trouvent dans le répertoire /usr/share/models/official/vision/beta/configs/experiments/ sur votre VM.

Faire évoluer votre modèle avec les pods Cloud TPU

L'entraînement de votre modèle sur des pods Cloud TPU peut nécessiter certaines modifications de votre script d'entraînement. Pour en savoir plus, consultez la section Entraîner sur des pods TPU.

Vous pouvez obtenir des résultats plus rapidement en adaptant votre modèle aux pods Cloud TPU. Le modèle ResNet-RS-50 est entièrement compatible et peut fonctionner avec les tranches de pod suivantes :

v2-32
v3-32

Avec les pods Cloud TPU, l'entraînement et l'évaluation sont effectués ensemble.

Entraîner avec les pods Cloud TPU

Supprimez la ressource Cloud TPU que vous avez créée pour entraîner le modèle sur un seul appareil.

(vm)$ gcloud compute tpus execution-groups delete resnet-rs-tutorial \
  --zone=europe-west4-a \
  --tpu-only

Créez une ressource Cloud TPU pour le pod, en utilisant le paramètre accelerator-type pour spécifier la tranche de pod à utiliser. Par exemple, la commande suivante utilise une tranche de pod v3-32.
```
(vm)$ gcloud compute tpus execution-groups  create --name=resnet-rs-tutorial \
  --accelerator-type=v3-32  \
  --zone=europe-west4-a \
  --tf-version=2.12.0 \
  --tpu-only
```
Description des options de commande

name

Nom du Cloud TPU à créer.

accelerator-type

Type de Cloud TPU à créer.

zone

Zone dans laquelle vous prévoyez de créer la ressource Cloud TPU.

tf-version

Version de TensorFlow gcloud installée sur la VM.

tpu-only

Crée un Cloud TPU uniquement. Par défaut, la commande gcloud crée une VM et un Cloud TPU.
Exécutez le script d'entraînement.
```
(vm)$ python3 /usr/share/models/official/vision/beta/train.py \
--experiment=resnet_rs_imagenet \
--mode=train_and_eval \
--model_dir=$MODEL_DIR \
--tpu=$TPU_NAME \
--config_file=/usr/share/models/official/vision/beta/configs/experiments/image_classification/imagenet_resnetrs50_i160.yaml \
--params_override="task.train_data.input_path=$IMAGENET_DIR/train*, task.validation_data.input_path=$IMAGENET_DIR/valid*, trainer.train_steps=100"
```
Description des options de commande

experiment

Nom du test à exécuter.

mode

Mode dans lequel exécuter le script. Les valeurs valides sont : "train", "eval" ou "train_and_eval".

model_dir

Bucket Cloud Storage où sont stockés les points de contrôle et les résumés pendant l'entraînement. Vous pouvez utiliser un dossier existant pour charger des points de contrôle précédemment créés sur un TPU de la même taille et de la même version TensorFlow.

tpu

Nom du TPU à utiliser.

config_file

Chemin d'accès à un fichier de configuration de script.

params_override

Remplacer les paramètres définis dans le fichier de configuration du script.

{
  'train_loss': 1.435225,
  'train_accuracy': 0.00084427913
}

Le script d'entraînement effectue également l'évaluation. Le résultat de l'évaluation doit comporter un texte semblable à celui-ci :

Run stats:
{
  'eval_loss': 0.861013,
  'eval_acc': 0.001,
  'train_loss': 1.435225,
  'train_acc': 0.00084427913,
  'step_timestamp_log': [
    'BatchTimestamp<batch_index: 0,
    timestamp: 1606330585.7613473>',
    'BatchTimestamp<batch_index: 500,
    timestamp: 1606330883.8486104>',
    'BatchTimestamp<batch_index: 1000,
    timestamp: 1606331119.515312>',
    'BatchTimestamp<batch_index: 1251,
    timestamp: 1606331240.7516596>'
  ],
  'train_finish_time': 1606331296.395158,
  'avg_exp_per_second': 1951.6983246161021
}

L'entraînement et l'évaluation sont effectués ensemble. Chaque époque comporte 1 251 étapes pour un total de 112 590 étapes d'entraînement et 48 étapes d'évaluation.

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

Déconnectez-vous de l'instance Compute Engine, si vous ne l'avez pas déjà fait :
```
(vm)$ exit
```
Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.
Dans Cloud Shell, utilisez la commande suivante pour supprimer la VM Compute Engine et votre ressource Cloud TPU :
```
$ gcloud compute tpus execution-groups delete resnet-rs-tutorial \
  --zone=europe-west4-a
```
Vérifiez que les ressources ont été supprimées en exécutant la commande gcloud compute tpus execution-groups list. La suppression peut prendre plusieurs minutes. Une réponse semblable à la suivante indique que vos instances ont bien été supprimées.
```
$ gcloud compute tpus execution-groups list \
 --zone=europe-west4-a
```
Vous devriez voir une liste vide de TPU comme ci-dessous:
```
   NAME             STATUS
```
Supprimez votre bucket Cloud Storage à l'aide de gsutil, comme indiqué ci-dessous. Remplacez bucket-name par le nom de votre bucket Cloud Storage.
```
$ gsutil rm -r gs://bucket-name
```

Étapes suivantes

Les tutoriels TensorFlow Cloud TPU permettent généralement d'entraîner le modèle à l'aide d'un exemple d'ensemble de données. Les résultats de cet entraînement ne sont pas utilisables pour l'inférence. Pour utiliser un modèle pour l'inférence, vous pouvez entraîner les données sur un ensemble de données public ou sur votre propre ensemble de données. Les modèles TensorFlow entraînés sur des Cloud TPU nécessitent généralement que les ensembles de données soient au format TFRecord.

Vous pouvez utiliser l'exemple d'outil de conversion d'ensemble de données pour convertir un ensemble de données de classification d'images au format TFRecord. Si vous n'utilisez pas de modèle de classification d'images, vous devrez convertir votre ensemble de données au format TFRecord. Pour en savoir plus, consultez TFRecord et tf.Example.

Réglage d'hyperparamètres

Pour améliorer les performances du modèle avec votre ensemble de données, vous pouvez régler les hyperparamètres du modèle. Vous trouverez des informations sur les hyperparamètres communs à tous les modèles compatibles avec TPU sur GitHub. Des informations sur les hyperparamètres propres aux modèles sont disponibles dans le code source de chaque modèle. Pour en savoir plus sur ces réglages, consultez les pages Présentation du réglage des hyperparamètres et Régler les hyperparamètres.

Inférence

Une fois que vous avez entraîné votre modèle, vous pouvez l'utiliser pour l'inférence (également appelée prédiction). Vous pouvez utiliser le convertisseur d'inférence Cloud TPU pour préparer et optimiser un modèle TensorFlow pour l'inférence sur Cloud TPU v5e. Pour plus d'informations sur l'inférence sur Cloud TPU v5e, consultez la page Présentation de l'inférence pour Cloud TPU v5e.