Cette page a été traduite par l'API Cloud Translation.

Entraîner EfficientNet sur Cloud TPU (TF 1.x)

Ce tutoriel explique comment entraîner un modèle Keras EffectiveNet sur Cloud TPU avec tf.distribute.TPUStrategy.

Si vous ne connaissez pas Cloud TPU, nous vous recommandons vivement consulter le guide de démarrage rapide pour apprendre à créer Cloud TPU et une VM Compute Engine.

Objectifs

Créer un bucket Cloud Storage pour stocker votre ensemble de données et la sortie du modèle
Préparez un ensemble de données fake_imagenet, semblable à l'ensemble de données ImageNet.
Exécuter la tâche d'entraînement
Vérifier les résultats

Coûts

Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :

Compute Engine
Cloud TPU
Cloud Storage

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Avant de commencer

Avant de commencer ce tutoriel, vérifiez que votre projet Google Cloud est correctement configuré.

Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Go to project selector

Make sure that billing is enabled for your Google Cloud project.

Ce tutoriel utilise des composants facturables de Google Cloud. Consultez la grille tarifaire de Cloud TPU pour estimer vos coûts. Veillez à nettoyer les ressources de la VM TPU que vous avez créées lorsque vous avez terminé, afin d'éviter des frais inutiles.

Entraînement sur un seul appareil Cloud TPU

Cette section explique comment configurer des ressources Cloud TPU et entraîner le modèle EffectiveNet à l'aide d'un seul appareil Cloud TPU ;

Ouvrez une fenêtre Cloud Shell.

Ouvrir Cloud Shell
Créez une variable pour l'ID de votre projet.
```
export PROJECT_ID=project-id
```
Configurez Google Cloud CLI pour utiliser le projet dans lequel vous souhaitez créer un Cloud TPU.
```
gcloud config set project ${PROJECT_ID}
```
La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page pour autoriser gcloud à effectuer des appels d'API avec vos identifiants.

Pour en savoir plus sur la commande gcloud, consultez la documentation de référence de gcloud.
Créez un compte de service pour le projet Cloud TPU.

Les comptes de service permettent au service Cloud TPU d'accéder à d'autres aux services Google Cloud.
```
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
```
La commande renvoie un compte de service Cloud TPU au format suivant :
```
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
```
Exporter les variables de configuration TPU

Définissez la zone dans laquelle vous allez entraîner le modèle et stocker les données d'entraînement.
```
$ export ZONE=europe-west4-a
```
Créez un bucket Cloud Storage à l'aide de la commande suivante :
```
gcloud storage buckets create gs://bucket-name --project=${PROJECT_ID} --location=europe-west4
```
Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. Vous utilisez la commande gcloud compute tpus tpu-vm pour configurer les autorisations par défaut du compte de service Cloud TPU que vous avez configuré à l'étape précédente. Si vous souhaitez utiliser des autorisations plus précises, consultez le autorisations de niveau d'accès.

L'emplacement du bucket doit être situé dans la même région que votre Compute Engine (VM) et votre nœud Cloud TPU.
Préparez votre ensemble de données ou utilisez fake_imagenet.

ImageNet est une base de données d'images. Les images de la base de données sont organisées hiérarchiquement, chaque nœud de cette hiérarchie étant représenté par des centaines de milliers d'images.

Ce tutoriel utilise une version de démonstration de l'ensemble de données complet ImageNet, appelée fake_imagenet. Cette version de démonstration vous permet de tester le tutoriel tout en réduisant les conditions de stockage et le temps généralement nécessaires à l'exécution d'un modèle par rapport à la base de données complète ImageNet.

L'ensemble de données fake_imagenet se trouve à cet emplacement sur Cloud Storage :
```
gs://cloud-tpu-test-datasets/fake_imagenet
```
Notez que l'ensemble de données fake_imagenet n'est utile que pour comprendre comment utiliser un Cloud TPU et valider les performances de bout en bout. La précision et le modèle enregistré ne sont pas représentatifs.

Si vous souhaitez utiliser l'ensemble de données ImageNet complet, consultez la page Télécharger, prétraiter et importer l'ensemble de données ImageNet.

Attention : La variable d'environnement STORAGE_BUCKET spécifie l'emplacement où le script d'entraînement écrit les journaux d'entraînement. Définissez-le sur le bucket Cloud Storage que vous avez créé.
Lancez des ressources TPU à l'aide de la commande gcloud.
```
$ gcloud compute tpus tpu-vm create efficientnet-tutorial \
  --zone=${ZONE} \
  --accelerator-type=v3-8 \
  --version=tpu-vm-tf-2.17.0-pjrt
```
Description des options de commande

zone

Zone dans laquelle vous prévoyez de créer votre Cloud TPU.

accelerator-type

Le type d'accélérateur spécifie la version et la taille du Cloud TPU que vous souhaitez créer. Pour en savoir plus sur les types d'accélérateurs compatibles avec chaque version de TPU, consultez Versions de TPU.

version

Version logicielle de Cloud TPU.

Remarque : Si vous avez plusieurs projets, vous devez spécifier l'ID du projet avec l'option --project.

Pour en savoir plus sur la commande gcloud, consultez la documentation de référence de gcloud.

Remarque : La première fois que vous exécutez gcloud compute tpus tpu-vm ou gcloud compute tpus execution-groups sur un projet, les tâches de démarrage telles que la propagation de clé SSH et l'activation de l'API prennent environ cinq minutes.
Connectez-vous à l'instance Compute Engine via SSH. Lorsque vous êtes connecté à la VM, l'invite de l'interface système passe de username@projectname à username@vm-name:
```
gcloud compute tpus tpu-vm ssh efficientnet-tutorial --zone=${ZONE}
```
Important :À partir de ce moment-là, le préfixe (vm) $ signifie que vous devez exécutez la commande sur l'instance de VM Compute Engine.
Définissez la variable de nom Cloud TPU.
```
(vm)$ export TPU_NAME=local
```
Définir des variables de bucket Cloud Storage

Remplacez bucket-name par le nom de votre bucket Cloud Storage :
```
(vm)$ export STORAGE_BUCKET=gs://bucket-name
```
```
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/efficientnet-2x
(vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
```
L'application d'entraînement s'attend à ce que vos données d'entraînement soient accessibles dans Cloud Storage. Elle exploite également le bucket Cloud Storage pour stocker des points de contrôle lors de l'entraînement.
Lors de la création de votre TPU, si vous définissez le paramètre --version sur une version se terminant par -pjrt, définissez les variables d'environnement suivantes pour activer l'environnement d'exécution PJRT:
```
  (vm)$ export NEXT_PLUGGABLE_DEVICE_USE_C_API=true
  (vm)$ export TF_PLUGGABLE_DEVICE_LIBRARY_PATH=/lib/libtpu.so
```

Installez la configuration requise pour TensorFlow.

(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt

Le script d'entraînement EffectiveNet nécessite des packages supplémentaires. Installez-les maintenant :

(vm)$ sudo pip3 install tensorflow-addons
(vm)$ sudo pip3 install tensorflow-model-optimization>=0.1.3

Définissez certaines variables d'environnement requises :
```
(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/tpu/models"
```
Le modèle EffectiveNet est préinstallé sur votre VM Cloud TPU.

Accédez au répertoire où le modèle est stocké :

(vm)$ cd /usr/share/tpu/models/official/legacy/image_classification

Entraîner le modèle Cette méthode utilise un ensemble de données fake_imagenet et entraîne EfficientNet pour une époque.
```
(vm)$ python3 classifier_trainer.py \
  --mode=train_and_eval \
  --model_type=efficientnet \
  --dataset=imagenet \
  --tpu=${TPU_NAME} \
  --data_dir=${DATA_DIR} \
  --model_dir=${MODEL_DIR} \
  --config_file=configs/examples/efficientnet/imagenet/efficientnet-b0-tpu.yaml \
  --params_override="train.epochs=1, train_dataset.builder=records, validation_dataset.builder=records"
```
Description des options de commande

mode

Spécifiez l'un des types suivants : train, eval ou train_and_eval.

model_type

Type du modèle. Exemple :efficientnet

dataset

Nom de l'ensemble de données Exemple :imagenet

tpu

Nom du Cloud TPU utilisé pour exécuter l'entraînement ou l'évaluation.

data_dir

Spécifie le chemin d'accès à Cloud Storage pour la saisie des données d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.

model_dir

Chemin d'accès Cloud Storage où les points de contrôle et les résumés sont stockés lors de l'entraînement du modèle. Vous pouvez réutiliser un dossier existant pour le charger les points de contrôle précédemment générés et pour en stocker d'autres tant que les points de contrôle précédents ont été créés à l'aide d'un Cloud TPU de même taille et la même version de TensorFlow.

config_file

Chemin d'accès au fichier JSON contenant la classe EffectiveNet pré-entraînée du modèle. Ce fichier contient l'architecture du modèle.

params_override

Chaîne JSON qui remplace les paramètres de script par défaut. Pour plus pour en savoir plus sur les paramètres de script, consultez /usr/share/models/official/legacy/detection/main.py.

Cette opération entraîne EfficientNet pendant une époque et se termine sur un nœud Cloud TPU v3-8 en 40 minutes environ. Lorsque le script d'entraînement se termine, un résultat semblable à celui-ci s'affiche:
```
Run stats:
{
  'accuracy_top_1': 0.0010172526817768812,
  'eval_loss': 7.104171276092529,
  'loss': 7.113735675811768,
  'training_accuracy_top_1': 0.0009773431811481714,
  'step_timestamp_log': [
    'BatchTimestamp&lt;batch_index: 0,
    timestamp: 1604960724.2224622&gt;',
    'BatchTimestamp&lt;batch_index: 1251,
    timestamp: 1604961281.3745298&gt;'
  ],
  'train_finish_time': 1604961342.6359076,
  'avg_exp_per_second': 2071.493269569079
}
```
Pour entraîner EffectiveNet à convergence sur l'ensemble de données ImageNet, exécutez-le 90 époques, comme illustré dans le script suivant. L'entraînement et l'évaluation sont effectués ensemble. Chaque époque comporte 1 251 étapes pour un total de 112 590 étapes d'entraînement et 48 étapes d'évaluation.
```
(vm)$ python3 classifier_trainer.py \
     --mode=train_and_eval \
     --model_type=efficientnet \
     --dataset=imagenet \
     --tpu=${TPU_NAME} \
     --data_dir=${DATA_DIR} \
     --model_dir=${MODEL_DIR} \
     --config_file=configs/examples/efficientnet/imagenet/efficientnet-b0-tpu.yaml \
     --params_override="train_dataset.builder=records, validation_dataset.builder=records"
```
Description des options de commande

mode

train, eval ou train_and_eval.

model_type

Type du modèle. Exemple :efficientnet

dataset

Nom de l'ensemble de données Exemple :imagenet

tpu

Nom du Cloud TPU utilisé pour exécuter l'entraînement ou l'évaluation.

data_dir

Spécifie le chemin d'accès à Cloud Storage pour la saisie des données d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.

model_dir

Chemin d'accès Cloud Storage où les points de contrôle et les résumés sont stockés lors de l'entraînement du modèle. Vous pouvez réutiliser un dossier existant pour le charger les points de contrôle précédemment générés et pour en stocker d'autres tant que les points de contrôle précédents ont été créés à l'aide d'un Cloud TPU de même taille et la même version de TensorFlow.

config_file

Chemin d'accès au fichier JSON contenant la classe EffectiveNet pré-entraînée du modèle. Ce fichier contient l'architecture du modèle.

params_override

Chaîne JSON qui remplace les paramètres de script par défaut. Pour plus sur les paramètres de script, consultez /usr/share/models/official/legacy/detection/main.py

Comme l'entraînement a été effectué sur l'ensemble de données fake_imagenet, la sortie ne reflètent pas le résultat réel qui apparaîtrait si l'entraînement sur un jeu de données réel.

Vous avez à présent terminé l'entraînement sur un seul appareil. Procédez comme suit pour supprimer les ressources TPU actuelles sur un seul appareil.
Déconnectez-vous de l'instance Compute Engine :
```
(vm)$ exit
```
Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.
Supprimez la ressource TPU.
```
$ gcloud compute tpus tpu-vm delete efficientnet-tutorial \
 --zone=${ZONE}
```
Description des options de commande

zone

Zone dans laquelle se trouve votre Cloud TPU.

À ce stade, vous pouvez terminer ce tutoriel et effectuer un nettoyage, ou continuer à explorer l'exécution du modèle sur des pods Cloud TPU.

Faire évoluer votre modèle avec des pods Cloud TPU

L'entraînement de votre modèle sur des pods Cloud TPU peut nécessiter quelques modifications à votre script d'entraînement. Pour en savoir plus, consultez la section Entraînement sur pods TPU.

Entraînement sur un pod Cloud TPU

Cette section fournit des informations sur la configuration d'un bucket Cloud Storage et de ressources Cloud TPU pour l'entraînement des pods.

Ouvrez une fenêtre Cloud Shell.

Ouvrir Cloud Shell
Créez une variable pour l'ID de votre projet.
```
export PROJECT_ID=project-id
```
Configurez Google Cloud CLI pour utiliser le projet dans lequel vous souhaitez créer un Cloud TPU.
```
gcloud config set project ${PROJECT_ID}
```
La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page. de la page pour permettre à gcloud d'effectuer des appels d'API Google Cloud avec vos identifiants.
Créez un compte de service pour le projet Cloud TPU.

Les comptes de service permettent au service Cloud TPU d'accéder à d'autres aux services Google Cloud.
```
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
```
La commande renvoie un compte de service Cloud TPU au format suivant :
```
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
```
Créez un bucket Cloud Storage à l'aide de la commande suivante ou utilisez un bucket que vous avez créé précédemment pour votre projet :
```
gcloud storage buckets create gs://bucket-name --project=${PROJECT_ID} --location=europe-west4
```
Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. La commande gcloud utilisée dans ce tutoriel configure les autorisations par défaut du compte de service Cloud TPU que vous avez configuré à l'étape précédente. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.

Le bucket doit se trouver dans la même région que votre VM TPU.
Exporter les variables de configuration TPU

Définissez la zone dans laquelle vous allez entraîner le modèle et stocker les données d'entraînement.
```
$ export ZONE=europe-west4-a
```
Prepare your dataset or use fake_imagenet

ImageNet is an image database. The images in the database are organized into a hierarchy, with each node of the hierarchy depicted by hundreds and thousands of images.

The default Pod training accesses a demonstration version of the full ImageNet dataset, referred to as fake_imagenet. This demonstration version allows you to test Pod training, while reducing the storage and time requirements typically associated with training a model against the full ImageNet database.

The fake_imagenet dataset is only useful for understanding how to use a Cloud TPU and validating end-to-end performance. The accuracy numbers and saved model will not be meaningful.

If you want to use the full ImageNet dataset, see Downloading, preprocessing, and uploading the ImageNet dataset.

Caution: Make sure you do not set the STORAGE_BUCKET environment variable to the path of the fake_imagenet dataset. You can read from gs://cloud-tpu-test-datasets but you can't write to it. As a result, you can't use it to write out training logs. Make sure the STORAGE_BUCKET environment variable is set to your own Cloud Storage bucket.
Launch your Cloud TPU resources using the gcloud command.

For more information on the gcloud command, see the gcloud Reference. This tutorial specifies a v3-32 Pod. For other Pod options, see the available TPU types page.

This tutorial specifies a v3-32 Pod. For other Pod options, see the available TPU types page.

Note: If there is not enough capacity currently available to create the TPU Pod, you can queue your request using queued resources. Queued resources allow you to receive capacity once it becomes available. To request your Cloud TPU resources as queued resources, use the gcloud compute tpus queued-resources create command instead. For more information, see Manage Queued Resources.
```
$ gcloud compute tpus tpu-vm create efficientnet-tutorial \
 --zone=${ZONE} \
 --accelerator-type=v3-32 \
 --version=tpu-vm-tf-2.17.0-pod-pjrt
```
Description des options de commande

zone

Zone dans laquelle vous prévoyez de créer votre Cloud TPU.

accelerator-type

Le type d'accélérateur spécifie la version et la taille du Cloud TPU que vous souhaitez créer. Pour en savoir plus sur les types d'accélérateurs compatibles avec chaque version de TPU, consultez la section Versions de TPU.

version

Version logicielle de Cloud TPU.

Remarque : La première fois que vous exécutez gcloud sur un projet, les tâches de démarrage telles que la propagation de clé SSH et l'activation de l'API prennent environ cinq minutes.
Connectez-vous à l'instance Compute Engine via SSH. Lorsque vous êtes connecté à la VM, votre invite de l'interface système passe de username@projectname à username@vm-name :
```
gcloud compute tpus tpu-vm ssh efficientnet-tutorial --zone=europe-west4-a
```
Important :À partir de ce moment-là, le préfixe (vm) $ signifie que vous devez exécuter sur l'instance de VM Compute Engine.
Exporter les variables de configuration TPU :
```
(vm)$ export STORAGE_BUCKET=gs://bucket-name
```
```
(vm)$ export TPU_NAME=efficientnet-tutorial
(vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/efficientnet-2x-pod
```
L'application d'entraînement s'attend à ce que vos données d'entraînement soient accessibles dans Cloud Storage. Elle exploite également le bucket Cloud Storage pour stocker des points de contrôle lors de l'entraînement.

Installez la configuration requise pour TensorFlow.

(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt

Définissez certaines variables d'environnement requises :

(vm)$ export PYTHONPATH="/usr/share/tpu/models:${PYTHONPATH}"
(vm)$ export TPU_LOAD_LIBRARY=0

Accédez au répertoire où le modèle est stocké :

(vm)$ cd /usr/share/tpu/models/official/legacy/image_classification/

Entraîner le modèle
```
(vm)$ python3 classifier_trainer.py \
--mode=train_and_eval \
--model_type=efficientnet \
--dataset=imagenet \
--tpu=${TPU_NAME} \
--data_dir=${DATA_DIR} \
--model_dir=${MODEL_DIR} \
--config_file=configs/examples/efficientnet/imagenet/efficientnet-b0-tpu.yaml \
--params_override="train.epochs=1, train_dataset.builder=records, validation_dataset.builder=records"
```
Description des options de commande

mode

Lorsqu'il est défini sur train_and_eval, ce script entraîne et pour évaluer le modèle. Si défini sur export_only, ce script exporte un modèle enregistré.

model_type

Type du modèle. Exemple :efficientnet

dataset

Nom de l'ensemble de données Exemple :imagenet

tpu

Utilise le nom spécifié dans la variable TPU_NAME.

data_dir

Spécifie le chemin d'accès à Cloud Storage pour la saisie des données d'entraînement. Elle est définie sur le jeu de données fake_imagenet dans cet exemple.

model_dir

Chemin d'accès Cloud Storage où sont stockés les points de contrôle et les résumés pendant l'entraînement du modèle. Vous pouvez réutiliser un dossier existant pour charger les points de contrôle générés précédemment et stocker des points de contrôle supplémentaires si les points de contrôle précédents ont été créés à l'aide d'un Cloud TPU de la même taille et de la même version TensorFlow.

config_file

Chemin d'accès au fichier JSON contenant la classe EffectiveNet pré-entraînée du modèle. Ce fichier contient l'architecture du modèle.

params_override

Chaîne JSON qui remplace les paramètres de script par défaut. Pour plus pour en savoir plus sur les paramètres de script, consultez /usr/share/models/official/legacy/detection/main.py.

Cette procédure entraîne le modèle sur l'ensemble de données fake_imagenet sur une époque (312 nombre total d'étapes d'entraînement et 12 étapes d'évaluation). Cette formation prend environ 2 minutes sur un Cloud TPU v3-32. Lorsque l'entraînement et l'évaluation terminé, un message semblable au suivant s'affiche:

Run stats:
{
  'accuracy_top_1': 0.0009969075908884406,
  'eval_loss': 7.105168342590332,
  'loss': 7.114983081817627,
  'training_accuracy_top_1': 0.0010031675919890404,
  'step_timestamp_log': [
    'BatchTimestamp&lt;batch_index: 0,
    timestamp: 1605041621.4997303&gt;',
    'BatchTimestamp&lt;batch_index: 312,
    timestamp: 1605041970.8633356&gt;'
  ],
  'train_finish_time': 1605042032.2274444,
  'avg_exp_per_second': 3111.5120716536226
}

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

Déconnectez-vous de l'instance Compute Engine, si vous ne l'avez pas déjà fait :
```
(vm)$ exit
```
Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

Supprimez vos ressources Cloud TPU et Compute Engine.

$ gcloud compute tpus tpu-vm delete efficientnet-tutorial \
--zone=${ZONE}

Vérifiez que les ressources ont été supprimées en exécutant la commande gcloud compute tpus execution-groups list. La suppression peut prendre plusieurs minutes. Le résultat de la commande suivante ne doit inclure aucune des ressources TPU créées dans ce tutoriel:
```
$ gcloud compute tpus execution-groups list --zone=${ZONE}
```
Supprimez votre bucket Cloud Storage à l'aide de gcloud CLI, comme indiqué. dans l'exemple suivant. Remplacez bucket-name par le nom de votre bucket Cloud Storage.
```
$ gcloud storage rm gs://bucket-name --recursive
```

Étape suivante

Les tutoriels TensorFlow Cloud TPU permettent généralement d'entraîner le modèle à l'aide d'un exemple d'ensemble de données. Les résultats de cet entraînement ne sont pas utilisables pour l'inférence. Afin d'utiliser un modèle pour l'inférence, vous pouvez entraîner les données sur un ensemble de données accessible au public ou sur votre propre ensemble de données. Les modèles TensorFlow entraînés sur des Cloud TPU nécessitent généralement des ensembles de données au format TFRecord.

Vous pouvez utiliser l'exemple d'outil de conversion d'ensemble de données pour convertir un ensemble de données de classification d'images au format TFRecord. Si vous n'utilisez pas de modèle de classification d'images, vous devez convertir vous-même votre ensemble de données au format TFRecord. Pour en savoir plus, consultez TFRecord et tf.Example.

Réglages d'hyperparamètres

Pour améliorer les performances du modèle avec votre ensemble de données, vous pouvez régler ses hyperparamètres. Vous trouverez des informations sur les hyperparamètres communs à tous Modèles compatibles TPU sur GitHub Pour en savoir plus sur les hyperparamètres propres au modèle, consultez la source de code pour chaque du modèle. Pour en savoir plus sur le réglage d'hyperparamètres, consultez les pages Présentation des réglages d'hyperparamètres et Régler les hyperparamètres.

Inférence

Une fois votre modèle entraîné, vous pouvez l'utiliser pour l'inférence (également appelée prédiction). Vous pouvez utiliser l'outil de conversion d'inférence Cloud TPU pour préparer et optimiser un modèle TensorFlow pour l'inférence sur Cloud TPU v5e. Pour en savoir plus sur l'inférence sur Cloud TPU v5e, consultez la présentation de l'inférence Cloud TPU v5e.

Découvrez comment entraîner et évaluer avec vos propres données, au lieu des ensembles de données fake_imagenet ou ImageNet, en suivant le tutoriel de conversion des ensembles de données. Le tutoriel explique comment utiliser l'exemple de script de conversion de données de classification d'images pour convertir un ensemble de données brut au format TFRecords, utilisable par les modèles Tensorflow de Cloud TPU.
Exécutez un colab Cloud TPU qui montre comment exécuter un modèle de classification d'images à l'aide de vos propres données d'image.
Découvrez les autres tutoriels Cloud TPU.
Apprenez à utiliser les outils de surveillance TPU dans TensorBoard.

Entraîner EfficientNet sur Cloud TPU (TF 1.x)

Objectifs

Coûts

Avant de commencer

Entraînement sur un seul appareil Cloud TPU

Description des options de commande

Description des options de commande

Description des options de commande

Description des options de commande

Faire évoluer votre modèle avec des pods Cloud TPU

Entraînement sur un pod Cloud TPU

Description des options de commande

Description des options de commande

Effectuer un nettoyage

Étape suivante

Réglages d'hyperparamètres

Inférence