Entraîner EfficientNet sur Cloud TPU (TF 1.x)

Ce tutoriel vous explique comment entraîner un modèle Keras EfficientNet sur Cloud TPU à l'aide de tf.distribute.TPUStrategy.

Si vous ne connaissez pas bien Cloud TPU, il vous est vivement recommandé de consulter le quickstart pour apprendre à créer un Cloud TPU et une VM Compute Engine.

Objectifs

Créer un bucket Cloud Storage pour stocker votre ensemble de données et la sortie du modèle
Préparez un ensemble de données fake_imagenet, semblable à l'ensemble de données ImageNet.
Exécuter la tâche d'entraînement
Vérifier les résultats

Coûts

Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :

Compute Engine
Cloud TPU
Cloud Storage

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Avant de commencer

Avant de commencer ce tutoriel, vérifiez que votre projet Google Cloud est correctement configuré.

Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

Accéder au sélecteur de projet

Vérifiez que la facturation est activée pour votre projet Google Cloud.

Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

Accéder au sélecteur de projet

Vérifiez que la facturation est activée pour votre projet Google Cloud.

Ce tutoriel utilise des composants facturables de Google Cloud. Consultez la grille tarifaire de Cloud TPU pour estimer vos coûts. Veillez à nettoyer les ressources que vous avez créées lorsque vous avez terminé, afin d'éviter des frais inutiles.

Entraînement sur un seul appareil Cloud TPU

Cette section explique comment configurer des ressources Cloud TPU et entraîner le modèle EffectiveNet à l'aide d'un seul appareil Cloud TPU.

Ouvrez une fenêtre Cloud Shell.

Ouvrir Cloud Shell
Créez une variable pour l'ID de votre projet.
```
export PROJECT_ID=project-id
```
Configurez Google Cloud CLI pour utiliser le projet dans lequel vous souhaitez créer Cloud TPU.
```
gcloud config set project ${PROJECT_ID}
```
La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page pour autoriser gcloud à effectuer des appels d'API avec vos identifiants.

Pour en savoir plus sur la commande gcloud, consultez la documentation de référence de gcloud.
Créez un compte de service pour le projet Cloud TPU.

Les comptes de service permettent au service Cloud TPU d'accéder à d'autres services Google Cloud.
```
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
```
La commande renvoie un compte de service Cloud TPU au format suivant :
```
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
```
Exporter les variables de configuration TPU

Définissez la zone dans laquelle vous allez entraîner le modèle et stocker les données d'entraînement.
```
$ export ZONE=europe-west4-a
```
Créez un bucket Cloud Storage à l'aide de la commande suivante :
```
gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name/
```
Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. La commande gcloud compute tpus execution-groups utilisée dans ce tutoriel définit les autorisations par défaut pour le compte de service Cloud TPU que vous avez configuré à l'étape précédente. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.

L'emplacement du bucket doit être situé dans la même région que votre Compute Engine (VM) et votre nœud Cloud TPU.
Préparez votre ensemble de données ou utilisez fake_imagenet.

ImageNet est une base de données d'images. Les images de la base de données sont organisées hiérarchiquement, chaque nœud de cette hiérarchie étant représenté par des centaines de milliers d'images.

Ce tutoriel utilise une version de démonstration de l'ensemble de données complet ImageNet, appelée fake_imagenet. Cette version de démonstration vous permet de tester le tutoriel tout en réduisant les conditions de stockage et le temps généralement nécessaires à l'exécution d'un modèle par rapport à la base de données complète ImageNet.

L'ensemble de données fake_imagenet se trouve à cet emplacement sur Cloud Storage :
```
gs://cloud-tpu-test-datasets/fake_imagenet
```
Notez que l'ensemble de données fake_imagenet n'est utile que pour comprendre comment utiliser un Cloud TPU et valider les performances de bout en bout. La précision et le modèle enregistré ne sont pas représentatifs.

Si vous souhaitez utiliser l'ensemble de données ImageNet complet, consultez la page Télécharger, prétraiter et importer l'ensemble de données ImageNet.

Attention : Dans ce tutoriel, veillez à ne pas définir la variable d'environnement STORAGE_BUCKET sur le chemin de l'ensemble de données fake_imagenet. Vous pouvez lire depuis gs://cloud-tpu-test-datasets, mais vous ne pouvez pas écrire à cet emplacement. Vous n'avez donc pas la possibilité d'y créer des journaux d'entraînement. Assurez-vous que la variable d'environnement STORAGE_BUCKET est définie sur le bucket Cloud Storage, comme indiqué ci-dessus.
Lancez des ressources TPU à l'aide de la commande gcloud. La commande à utiliser varie selon que vous utilisez des VM TPU ou des nœuds TPU. Pour en savoir plus sur les deux architectures de VM, consultez la page Architecture du système.
VM TPU
```
$ gcloud compute tpus tpu-vm create efficientnet-tutorial \
--zone=${ZONE} \
--accelerator-type=v3-8 \
--version=tpu-vm-tf-2.16.1-pjrt
```
Description des options de commande

zone

Zone dans laquelle vous prévoyez de créer la ressource Cloud TPU.

accelerator-type

Le type d'accélérateur spécifie la version et la taille de la ressource Cloud TPU que vous souhaitez créer. Pour en savoir plus sur les types d'accélérateurs compatibles avec chaque version de TPU, consultez la section Versions de TPU.

version

Version du logiciel Cloud TPU.
Nœud TPU
```
gcloud compute tpus execution-groups create \
--name=efficientnet-tutorial \
--zone=${ZONE} \
--disk-size=300 \
--machine-type=n1-standard-16 \
--tf-version=2.12.0 \
--accelerator-type=v3-8
```
Description des options de commande

project

Votre ID de projet Google Cloud

name

Nom du Cloud TPU à créer.

zone

Zone dans laquelle vous prévoyez de créer la ressource Cloud TPU.

disk-size

Taille du disque dur en Go de la VM créée par la commande gcloud.

machine-type

Type de machine de la VM Compute Engine à créer.

tf-version

Version de TensorFlow gcloud installée sur la VM.

accelerator-type

Type de Cloud TPU à créer.
Remarque : Si vous avez plusieurs projets, vous devez spécifier l'ID du projet avec l'option --project.

Pour en savoir plus sur la commande gcloud, consultez la documentation de référence de gcloud.

Remarque :La première fois que vous exécutez gcloud compute tpus tpu-vm ou gcloud compute tpus execution-groups sur un projet, les tâches de démarrage telles que la propagation de clé SSH et l'activation de l'API prennent environ cinq minutes.
Si vous n'êtes pas automatiquement connecté à l'instance Compute Engine, connectez-vous en exécutant la commande ssh suivante. Lorsque vous êtes connecté à la VM, votre invite d'interface système passe de username@vm-name à username@projectname :
VM TPU
```
gcloud compute tpus tpu-vm ssh efficientnet-tutorial --zone=${ZONE}
```
Nœud TPU
```
gcloud compute ssh efficientnet-tutorial --zone=${ZONE}
```
Point clé : À partir de ce point, le préfixe (vm) $ signifie que vous devez exécuter la commande sur l'instance de VM Compute Engine.

Définissez la variable de nom Cloud TPU.

VM TPU

(vm)$ export TPU_NAME=local

Nœud TPU

(vm)$ export TPU_NAME=efficientnet-tutorial

Définir des variables de bucket Cloud Storage

Remplacez bucket-name par le nom de votre bucket Cloud Storage :
```
(vm)$ export STORAGE_BUCKET=gs://bucket-name
```
```
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/efficientnet-2x
(vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
```
L'application d'entraînement s'attend à ce que vos données d'entraînement soient accessibles dans Cloud Storage. Elle exploite également le bucket Cloud Storage pour stocker des points de contrôle lors de l'entraînement.
Lors de la création de votre TPU, si vous définissez le paramètre --version sur une version se terminant par -pjrt, définissez les variables d'environnement suivantes pour activer l'environnement d'exécution PJRT:
```
  (vm)$ export NEXT_PLUGGABLE_DEVICE_USE_C_API=true
  (vm)$ export TF_PLUGGABLE_DEVICE_LIBRARY_PATH=/lib/libtpu.so
```
Installez la configuration requise pour TensorFlow.

La commande à utiliser varie selon que vous utilisez des VM TPU ou des nœuds TPU.
VM TPU
```
(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt
```
Nœud TPU
```
(vm)$ pip3 install --user -r /usr/share/models/official/requirements.txt
```
Le script d'entraînement EfficientNet nécessite des packages supplémentaires (VM TPU uniquement). Installez-les maintenant :
VM TPU
```
(vm)$ sudo pip3 install tensorflow-addons
(vm)$ sudo pip3 install tensorflow-model-optimization>=0.1.3
```
Définissez certaines variables d'environnement requises :
VM TPU
```
(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/tpu/models"
```
Nœud TPU
```
(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
```
Le modèle EfficientNet est préinstallé sur votre VM Compute Engine.

Accédez au répertoire où le modèle est stocké :

VM TPU

(vm)$ cd /usr/share/tpu/models/official/legacy/image_classification

Nœud TPU

(vm)$ cd /usr/share/models/official/legacy/image_classification

Entraîner le modèle Cette méthode utilise un ensemble de données fake_imagenet et entraîne EfficientNet pour une époque.
```
(vm)$ python3 classifier_trainer.py \
  --mode=train_and_eval \
  --model_type=efficientnet \
  --dataset=imagenet \
  --tpu=${TPU_NAME} \
  --data_dir=${DATA_DIR} \
  --model_dir=${MODEL_DIR} \
  --config_file=configs/examples/efficientnet/imagenet/efficientnet-b0-tpu.yaml \
  --params_override="train.epochs=1, train_dataset.builder=records, validation_dataset.builder=records"
```
Description des options de commande

mode

Valeurs possibles : train, eval ou train_and_eval.

model_type

Type du modèle. Par exemple, efficientnet.

dataset

Nom de l'ensemble de données Par exemple, imagenet.

tpu

Nom du Cloud TPU utilisé pour exécuter l'entraînement ou l'évaluation.

data_dir

Spécifie le chemin d'accès à Cloud Storage pour la saisie des données d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.

model_dir

Chemin d'accès Cloud Storage où les points de contrôle et les résumés sont stockés lors de l'entraînement du modèle. Vous pouvez réutiliser un dossier existant pour charger les points de contrôle générés précédemment et stocker des points de contrôle supplémentaires si les points de contrôle précédents ont été créés à l'aide d'un Cloud TPU de la même taille et de la même version TensorFlow.

config_file

Chemin d'accès au fichier json contenant le modèle pré-entraîné EfficientNet. Ce fichier contient l'architecture du modèle.

params_override

Chaîne JSON qui remplace les paramètres de script par défaut. Pour en savoir plus sur les paramètres de script, consultez /usr/share/models/official/legacy/detection/main.py.

Cette opération entraîne EfficientNet pendant une époque et se termine sur un nœud Cloud TPU v3-8 en 40 minutes environ. À la fin de l'exécution du script d'entraînement, un résultat semblable à ce qui suit s'affiche :
```
Run stats:
{
  'accuracy_top_1': 0.0010172526817768812,
  'eval_loss': 7.104171276092529,
  'loss': 7.113735675811768,
  'training_accuracy_top_1': 0.0009773431811481714,
  'step_timestamp_log': [
    'BatchTimestamp<batch_index: 0,
    timestamp: 1604960724.2224622>',
    'BatchTimestamp<batch_index: 1251,
    timestamp: 1604961281.3745298>'
  ],
  'train_finish_time': 1604961342.6359076,
  'avg_exp_per_second': 2071.493269569079
}
```
Pour entraîner le modèle EfficientNet jusqu'à la convergence sur l'ensemble de données ImageNet, exécutez-le pendant 90 époques, comme indiqué dans le script suivant. L'entraînement et l'évaluation sont effectués ensemble. Chaque époque comporte 1 251 étapes pour un total de 112 590 étapes d'entraînement et 48 étapes d'évaluation.
```
(vm)$ python3 classifier_trainer.py \
     --mode=train_and_eval \
     --model_type=efficientnet \
     --dataset=imagenet \
     --tpu=${TPU_NAME} \
     --data_dir=${DATA_DIR} \
     --model_dir=${MODEL_DIR} \
     --config_file=configs/examples/efficientnet/imagenet/efficientnet-b0-tpu.yaml \
     --params_override="train_dataset.builder=records, validation_dataset.builder=records"
```
Description des options de commande

mode

Valeurs possibles : train, eval ou train_and_eval.

model_type

Type du modèle. Exemple : efficientnet, etc.

dataset

Nom de l'ensemble de données Par exemple, imagenet.

tpu

Nom du Cloud TPU sur lequel exécuter l'entraînement ou l'évaluation.

data_dir

Spécifie le chemin d'accès à Cloud Storage pour la saisie des données d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.

model_dir

Chemin d'accès Cloud Storage où les points de contrôle et les résumés sont stockés lors de l'entraînement du modèle. Vous pouvez réutiliser un dossier existant pour charger les points de contrôle générés précédemment et stocker des points de contrôle supplémentaires si les points de contrôle précédents ont été créés à l'aide d'un Cloud TPU de la même taille et de la même version TensorFlow.

config_file

Chemin d'accès au fichier json contenant le modèle pré-entraîné EfficientNet. Ce fichier contient l'architecture du modèle.

params_override

Chaîne JSON qui remplace les paramètres de script par défaut. Pour en savoir plus sur les paramètres de script, consultez /usr/share/models/official/legacy/detection/main.py.

Étant donné que l'entraînement a été effectué sur l'ensemble de données fake_imagenet, les résultats ne reflètent pas les résultats réels qui apparaîtraient si l'entraînement était effectué sur un ensemble de données réel.

Vous avez à présent terminé l'entraînement sur un seul appareil. Suivez la procédure ci-dessous pour supprimer les ressources TPU individuelles actuelles.
Déconnectez-vous de l'instance Compute Engine :
```
(vm)$ exit
```
Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.
Supprimez la ressource TPU.
VM TPU
```
$ gcloud compute tpus tpu-vm delete efficientnet-tutorial \
--zone=${ZONE}
```
Description des options de commande

zone

Zone dans laquelle se trouve votre Cloud TPU.
Nœud TPU
```
$ gcloud compute tpus execution-groups delete efficientnet-tutorial \
--tpu-only \
--zone=${ZONE}
```
Description des options de commande

tpu-only

Ne supprime que le Cloud TPU. La VM reste disponible.

zone

Zone contenant le TPU à supprimer.

À ce stade, vous pouvez terminer ce tutoriel et effectuer un nettoyage, ou continuer à explorer l'exécution du modèle sur des pods Cloud TPU.

Faire évoluer votre modèle avec les pods Cloud TPU

ou nœud TPU.

L'entraînement de votre modèle sur des pods Cloud TPU peut nécessiter certaines modifications de votre script d'entraînement. Pour en savoir plus, consultez la section Entraîner sur des pods TPU.

Entraînement sur un pod Cloud TPU

Cette section fournit des informations sur la configuration d'un bucket Cloud Storage et de ressources Cloud TPU pour l'entraînement des pods.

Ouvrez une fenêtre Cloud Shell.

Ouvrir Cloud Shell
Créez une variable pour l'ID de votre projet.
```
export PROJECT_ID=project-id
```
Configurez Google Cloud CLI pour utiliser le projet dans lequel vous souhaitez créer Cloud TPU.
```
gcloud config set project ${PROJECT_ID}
```
La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page pour autoriser gcloud à effectuer des appels d'API Google Cloud avec vos identifiants.
Créez un compte de service pour le projet Cloud TPU.

Les comptes de service permettent au service Cloud TPU d'accéder à d'autres services Google Cloud.
```
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
```
La commande renvoie un compte de service Cloud TPU au format suivant :
```
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
```
Créez un bucket Cloud Storage à l'aide de la commande suivante ou utilisez un bucket que vous avez créé précédemment pour votre projet :
```
gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name
```
Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. La commande gcloud utilisée dans ce tutoriel configure les autorisations par défaut du compte de service Cloud TPU que vous avez configuré à l'étape précédente. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.

Le bucket doit se trouver dans la même région que votre VM TPU.
Exporter les variables de configuration TPU

Définissez la zone dans laquelle vous allez entraîner le modèle et stocker les données d'entraînement.
```
$ export ZONE=europe-west4-a
```
Préparez votre ensemble de données ou utilisez fake_imagenet.

ImageNet est une base de données d'images. Les images de la base de données sont organisées hiérarchiquement, chaque nœud de cette hiérarchie étant représenté par des centaines de milliers d'images.

L'entraînement de pod par défaut accède à une version de démonstration de l'ensemble de données complet ImageNet, appelée fake_imagenet. Cette version de démonstration vous permet de tester l'entraînement des pods, tout en réduisant les exigences de stockage et de temps généralement associées à l'entraînement d'un modèle par rapport à la base de données ImageNet complète.

Notez que l'ensemble de données fake_imagenet n'est utile que pour comprendre comment utiliser un Cloud TPU et valider les performances de bout en bout. La précision et le modèle enregistré ne sont pas représentatifs.

Si vous souhaitez utiliser l'ensemble de données ImageNet complet, consultez la page Télécharger, prétraiter et importer l'ensemble de données ImageNet.

Attention : Veillez à ne pas définir la variable d'environnement STORAGE_BUCKET sur le chemin de l'ensemble de données fake_imagenet. Vous pouvez lire depuis gs://cloud-tpu-test-datasets, mais vous ne pouvez pas y écrire. Vous n'avez donc pas la possibilité d'y créer des journaux d'entraînement. Assurez-vous que la variable d'environnement STORAGE_BUCKET est définie sur votre propre bucket Cloud Storage.
Lancez vos ressources Cloud TPU à l'aide de la commande gcloud.

La commande à utiliser varie selon que vous utilisez une VM TPU ou un nœud TPU. Pour en savoir plus sur les deux architectures de VM, consultez la page Architecture du système. Pour en savoir plus sur la commande gcloud, consultez la documentation de référence de gcloud. Ce tutoriel spécifie un pod v3-32. Pour les autres options de pod, consultez la section Versions de TPU.
VM TPU
Remarque:Si la capacité actuellement disponible est insuffisante pour créer le pod TPU, vous pouvez mettre votre requête en file d'attente à l'aide de ressources en file d'attente. Les ressources en file d'attente vous permettent de bénéficier de la capacité dès qu'elle devient disponible. Pour demander vos ressources Cloud TPU en tant que ressources en file d'attente, utilisez plutôt la commande gcloud alpha compute tpus queued-resources create. Pour en savoir plus, consultez la section Gérer les ressources en file d'attente.
```
$ gcloud compute tpus tpu-vm create efficientnet-tutorial \
  --zone=${ZONE} \
  --accelerator-type=v3-32 \
  --version=tpu-vm-tf-2.16.1-pod-pjrt
```
Description des options de commande

zone

Zone dans laquelle vous prévoyez de créer la ressource Cloud TPU.

accelerator-type

Le type d'accélérateur spécifie la version et la taille de la ressource Cloud TPU que vous souhaitez créer. Pour en savoir plus sur les types d'accélérateurs compatibles avec chaque version de TPU, consultez la section Versions de TPU.

version

Version du logiciel Cloud TPU.

Remarque :La première fois que vous exécutez gcloud sur un projet, les tâches de démarrage telles que la propagation de clé SSH et l'activation de l'API prennent environ cinq minutes.
Nœud TPU
```
(vm)$ gcloud compute tpus execution-groups  create --name=efficientnet-tutorial \
 --accelerator-type=v3-32  \
 --zone=${ZONE} \
 --tf-version=2.12.0
```
Description des options de commande

name

Nom du Cloud TPU à créer.

accelerator-type

Type de Cloud TPU à créer.

zone

Zone dans laquelle vous prévoyez de créer la ressource Cloud TPU.

tf-version

Version de TensorFlow gcloud installée sur la VM.

tpu-only

Crée un Cloud TPU uniquement. Par défaut, la commande gcloud crée une VM et un Cloud TPU.

Remarque :La première fois que vous exécutez gcloud sur un projet, les tâches de démarrage telles que la propagation de clé SSH et l'activation de l'API prennent environ cinq minutes.
Si vous n'êtes pas automatiquement connecté à l'instance Compute Engine, connectez-vous en exécutant la commande ssh suivante. Lorsque vous êtes connecté à la VM, votre invite d'interface système passe de username@vm-name à username@projectname :
VM TPU
```
$ gcloud compute tpus tpu-vm ssh efficientnet-tutorial --zone=${ZONE}
```
Nœud TPU
```
$ gcloud compute ssh efficientnet-tutorial --zone=${ZONE}
```
Point clé : À partir de ce point, le préfixe (vm) $ signifie que vous devez exécuter la commande sur l'instance de VM Compute Engine.

À mesure que vous appliquez ces instructions, exécutez chaque commande commençant par (vm)$ dans la fenêtre de session de la VM.
Exporter les variables de configuration TPU :
```
(vm)$ export STORAGE_BUCKET=gs://bucket-name
```
```
(vm)$ export TPU_NAME=efficientnet-tutorial
(vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/efficientnet-2x-pod
```
L'application d'entraînement s'attend à ce que vos données d'entraînement soient accessibles dans Cloud Storage. Elle exploite également le bucket Cloud Storage pour stocker des points de contrôle lors de l'entraînement.

Installez la configuration requise pour TensorFlow.

VM TPU

(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt

Nœud TPU

(vm)$ pip3 install -r /usr/share/models/official/requirements.txt

Définissez certaines variables d'environnement requises :

VM TPU

(vm)$ export PYTHONPATH="/usr/share/tpu/models:${PYTHONPATH}"
(vm)$ export TPU_LOAD_LIBRARY=0

Nœud TPU

(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"

Le modèle EfficientNet est préinstallé sur votre VM Compute Engine.

Accédez au répertoire où le modèle est stocké :

VM TPU

(vm)$ cd /usr/share/tpu/models/official/legacy/image_classification/

Nœud TPU

(vm)$ cd /usr/share/models/official/legacy/image_classification/

Entraîner le modèle
```
(vm)$ python3 classifier_trainer.py \
--mode=train_and_eval \
--model_type=efficientnet \
--dataset=imagenet \
--tpu=${TPU_NAME} \
--data_dir=${DATA_DIR} \
--model_dir=${MODEL_DIR} \
--config_file=configs/examples/efficientnet/imagenet/efficientnet-b0-tpu.yaml \
--params_override="train.epochs=1, train_dataset.builder=records, validation_dataset.builder=records"
```
Description des options de commande

mode

Si défini sur train_and_eval, ce script entraîne et évalue le modèle. Si défini sur export_only, ce script exporte un modèle enregistré.

model_type

Type du modèle. Exemple : efficientnet, etc.

dataset

Nom de l'ensemble de données Par exemple, imagenet.

tpu

Utilise le nom spécifié dans la variable TPU_NAME.

data_dir

Spécifie le chemin d'accès à Cloud Storage pour la saisie des données d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.

model_dir

Chemin d'accès Cloud Storage où les points de contrôle et les résumés sont stockés lors de l'entraînement du modèle. Vous pouvez réutiliser un dossier existant pour charger les points de contrôle générés précédemment et stocker des points de contrôle supplémentaires si les points de contrôle précédents ont été créés à l'aide d'un Cloud TPU de la même taille et de la même version TensorFlow.

config_file

Chemin d'accès au fichier json contenant le modèle pré-entraîné EfficientNet. Ce fichier contient l'architecture du modèle.

params_override

Chaîne JSON qui remplace les paramètres de script par défaut. Pour en savoir plus sur les paramètres de script, consultez /usr/share/models/official/legacy/detection/main.py.

La procédure entraîne le modèle sur l'ensemble de données fake_imagenet sur une époque (312 pas d'entraînement et 12 pas d'évaluation). Cet entraînement dure environ 2 minutes sur un Cloud TPU v3-32. Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :

Run stats:
{
  'accuracy_top_1': 0.0009969075908884406,
  'eval_loss': 7.105168342590332,
  'loss': 7.114983081817627,
  'training_accuracy_top_1': 0.0010031675919890404,
  'step_timestamp_log': [
    'BatchTimestamp<batch_index: 0,
    timestamp: 1605041621.4997303>',
    'BatchTimestamp<batch_index: 312,
    timestamp: 1605041970.8633356>'
  ],
  'train_finish_time': 1605042032.2274444,
  'avg_exp_per_second': 3111.5120716536226
}

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

Déconnectez-vous de l'instance Compute Engine, si vous ne l'avez pas déjà fait :
```
(vm)$ exit
```
Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

Supprimez vos ressources Cloud TPU et Compute Engine.

VM TPU

$ gcloud compute tpus tpu-vm delete efficientnet-tutorial \
--zone=${ZONE}

Nœud TPU

$ gcloud compute tpus execution-groups delete efficientnet-tutorial \
--zone=${ZONE}

Vérifiez que les ressources ont été supprimées en exécutant la commande gcloud compute tpus execution-groups list. La suppression peut prendre plusieurs minutes. Le résultat de la commande suivante ne doit inclure aucune des ressources TPU créées dans ce tutoriel :
```
$ gcloud compute tpus execution-groups list --zone=${ZONE}
```
Supprimez votre bucket Cloud Storage à l'aide de gsutil, comme indiqué ci-dessous. Remplacez bucket-name par le nom de votre bucket Cloud Storage.
```
$ gsutil rm -r gs://bucket-name
```

Étapes suivantes

Les tutoriels TensorFlow Cloud TPU permettent généralement d'entraîner le modèle à l'aide d'un exemple d'ensemble de données. Les résultats de cet entraînement ne sont pas utilisables pour l'inférence. Pour utiliser un modèle pour l'inférence, vous pouvez entraîner les données sur un ensemble de données public ou sur votre propre ensemble de données. Les modèles TensorFlow entraînés sur des Cloud TPU nécessitent généralement que les ensembles de données soient au format TFRecord.

Vous pouvez utiliser l'exemple d'outil de conversion d'ensemble de données pour convertir un ensemble de données de classification d'images au format TFRecord. Si vous n'utilisez pas de modèle de classification d'images, vous devrez convertir votre ensemble de données au format TFRecord. Pour en savoir plus, consultez TFRecord et tf.Example.

Régler les hyperparamètres

Pour améliorer les performances du modèle avec votre ensemble de données, vous pouvez régler les hyperparamètres du modèle. Vous trouverez des informations sur les hyperparamètres communs à tous les modèles compatibles avec TPU sur GitHub. Des informations sur les hyperparamètres propres aux modèles sont disponibles dans le code source de chaque modèle. Pour en savoir plus sur ces réglages, consultez les pages Présentation du réglage des hyperparamètres et Régler les hyperparamètres.

Inférence

Une fois que vous avez entraîné votre modèle, vous pouvez l'utiliser pour l'inférence (également appelée prédiction). Vous pouvez utiliser le convertisseur d'inférence Cloud TPU pour préparer et optimiser un modèle TensorFlow pour l'inférence sur Cloud TPU v5e. Pour plus d'informations sur l'inférence sur Cloud TPU v5e, consultez la page Présentation de l'inférence pour Cloud TPU v5e.

Découvrez comment entraîner et évaluer avec vos propres données, au lieu des ensembles de données fake_imagenet ou ImageNet, en suivant le tutoriel de conversion des ensembles de données. Le tutoriel explique comment utiliser l'exemple de script de conversion de données de classification d'images pour convertir un ensemble de données brut au format TFRecords, utilisable par les modèles Tensorflow de Cloud TPU.
Exécutez un colab Cloud TPU qui montre comment exécuter un modèle de classification d'images à l'aide de vos propres données d'image.
Découvrez les autres tutoriels Cloud TPU.
Apprenez à utiliser les outils de surveillance TPU dans TensorBoard.

Entraîner EfficientNet sur Cloud TPU (TF 1.x)

Objectifs

Coûts

Avant de commencer

Entraînement sur un seul appareil Cloud TPU

VM TPU

Description des options de commande

Nœud TPU

Description des options de commande

VM TPU

Nœud TPU

VM TPU

Nœud TPU

VM TPU

Nœud TPU

VM TPU

VM TPU

Nœud TPU

VM TPU

Nœud TPU

Description des options de commande

Description des options de commande

VM TPU

Description des options de commande

Nœud TPU

Description des options de commande

Faire évoluer votre modèle avec les pods Cloud TPU

Entraînement sur un pod Cloud TPU

VM TPU

Description des options de commande

Nœud TPU

Description des options de commande

VM TPU

Nœud TPU

VM TPU

Nœud TPU

VM TPU

Nœud TPU

VM TPU

Nœud TPU

Description des options de commande

Effectuer un nettoyage

VM TPU

Nœud TPU

Étapes suivantes

Régler les hyperparamètres

Inférence