Entraîner EfficientNet sur Cloud TPU

Les modèles EfficientNet appartiennent à une famille de modèles de classification d'images atteignant une précision inégalée, tout en étant plus rapides et moins volumineux que d'autres modèles. Les TPU EfficientNet-Edge sont des modèles personnalisés qui fonctionnent de manière efficace sur les appareils TPU Google Edge.

Le modèle utilisé dans ce tutoriel est basé sur l'article EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks (EfficientNet : Repenser la mise à l'échelle du modèle pour les réseaux de neurones convolutifs). Les chercheurs ont développé une nouvelle technique pour améliorer les performances du modèle : équilibrer soigneusement la profondeur, la largeur et la résolution du réseau à l'aide d'un coefficient composé simple mais très efficace.

La famille de modèles, de efficientnet-b0 à efficientnet-b7, permet d'obtenir une bonne précision de classification des images pour les appareils Edge TPU de Google disposant de ressources limitées.

efficientnet-b0, le modèle utilisé dans ce tutoriel, correspond au plus petit modèle de base, tandis que efficientnet-b7 correspond au modèle le plus puissant, mais au coût de calcul élevé. Le tutoriel décrit l'entraînement du modèle à l'aide de TPUEstimator.

Objectifs

  • Créer un bucket Cloud Storage pour stocker votre ensemble de données et la sortie du modèle
  • Préparer une version de test de l'ensemble de données ImageNet, appelée ici fake_imagenet
  • Exécuter la tâche d'entraînement
  • Vérifier les résultats

Coûts

Ce tutoriel utilise les composants facturables suivants de Google Cloud :

  • Compute Engine
  • Cloud TPU
  • Cloud Storage

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Avant de commencer

Avant de commencer ce tutoriel, vérifiez que votre projet Google Cloud est correctement configuré.

  1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.
  2. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

    Accéder au sélecteur de projet

  3. Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier si la facturation est activée sur un projet.

  4. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

    Accéder au sélecteur de projet

  5. Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier si la facturation est activée sur un projet.

  6. Ce tutoriel utilise des composants facturables de Google Cloud. Consultez la grille tarifaire de Cloud TPU pour estimer vos coûts. Veillez à nettoyer les ressources que vous avez créées lorsque vous avez terminé, afin d'éviter des frais inutiles.

Configurer vos ressources

Cette section fournit des informations sur la configuration de Cloud Storage, des ressources de VM et des ressources Cloud TPU pour les tutoriels.

  1. Ouvrez une fenêtre Cloud Shell.

    Ouvrir Cloud Shell

  2. Créez une variable pour l'ID de votre projet.

    export PROJECT_ID=project-id
    
  3. Configurez la CLI Google Cloud pour utiliser le projet dans lequel vous souhaitez créer un Cloud TPU.

    gcloud config set project ${PROJECT_ID}
    

    La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page pour permettre à gcloud d'effectuer des appels d'API GCP avec vos identifiants.

  4. Créez un compte de service pour le projet Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    La commande renvoie un compte de service Cloud TPU au format suivant :

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Créez un bucket Cloud Storage à l'aide de la commande suivante :

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
    

    Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. L'outil gcloud compute tpus execution-groups utilisé dans ce tutoriel définit les autorisations par défaut pour le compte de service Cloud TPU. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.

    L'emplacement du bucket doit se trouver dans la même région que votre machine virtuelle (VM) et votre nœud TPU. Les VM et les nœuds TPU sont situés dans des zones spécifiques, qui sont des subdivisions au sein d'une région.

  6. Lancez les ressources Compute Engine et Cloud TPU requises à l'aide de la commande gcloud compute tpus execution-groups.

    gcloud compute tpus execution-groups create \
     --vm-only \
     --name=efficientnet-tutorial \
     --zone=europe-west4-a \
     --disk-size=300 \
     --machine-type=n1-standard-8 \
     --tf-version=1.15.5
    

    Description des options de commande

    vm-only
    Crée la VM Compute Engine uniquement, et non un Cloud TPU.
    name
    Nom du Cloud TPU à créer.
    zone
    Zone dans laquelle vous prévoyez de créer votre Cloud TPU.
    disk-size
    Taille du disque dur en Go de la VM créée par la commande gcloud.
    machine-type
    Type de machine de la VM Compute Engine à créer.
    tf-version
    Version de TensorFlow gcloud installée sur la VM.

    Pour en savoir plus sur la commande gcloud, consultez la documentation de référence de gcloud.

  7. Lorsque vous y êtes invité, appuyez sur y pour créer vos ressources Cloud TPU.

    Une fois la commande gcloud compute tpus execution-groups terminée, vérifiez que l'invite de l'interface système est passée de username@projectname à username@vm-name. Cette modification indique que vous êtes maintenant connecté à votre VM Compute Engine.

    gcloud compute ssh efficientnet-tutorial --zone=europe-west4-a
    

    À partir de là, le préfixe (vm)$ signifie que vous devez exécuter la commande sur l'instance de VM Compute Engine.

Préparer les données

Configurez les variables d'environnement suivantes en remplaçant bucket-name par le nom de votre bucket Cloud Storage :

  1. Créez une variable d'environnement pour votre nom de bucket. Remplacez bucket-name par le nom de votre bucket.

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
  2. Créez des variables d'environnement supplémentaires.

    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/efficientnet
    (vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
    (vm)$ export TPU_NAME=efficientnet-tutorial
    (vm)$ export PYTHONPATH=$PYTHONPATH:/usr/share/tpu/models
    

L'application d'entraînement s'attend à ce que vos données d'entraînement soient accessibles dans Cloud Storage. Elle exploite également le bucket Cloud Storage pour stocker des points de contrôle lors de l'entraînement.

Entraîner et évaluer le modèle EfficientNet avec fake_imagenet

ImageNet est une base de données d'images. Les images de la base de données sont organisées hiérarchiquement, chaque nœud de cette hiérarchie étant représenté par des centaines de milliers d'images.

Ce tutoriel utilise une version de démonstration de l'ensemble de données complet ImageNet, appelée fake_imagenet. Cette version de démonstration vous permet de tester le tutoriel tout en réduisant les conditions de stockage et le temps généralement nécessaires à l'exécution d'un modèle par rapport à la base de données complète ImageNet.

L'ensemble de données fake_imagenet se trouve à cet emplacement sur Cloud Storage :

gs://cloud-tpu-test-datasets/fake_imagenet

Notez que l'ensemble de données fake_imagenet n'est utile que pour comprendre comment utiliser un Cloud TPU et valider les performances de bout en bout. La précision et le modèle enregistré ne sont pas représentatifs.

Pour plus d'informations sur le téléchargement et le traitement de l'ensemble de données complet ImageNet, consultez la page Télécharger, prétraiter et importer l'ensemble de données ImageNet.

  1. Lancez une ressource Cloud TPU.

    (vm)$ gcloud compute tpus execution-groups create \
     --tpu-only \
     --name=efficientnet-tutorial \
     --zone=europe-west4-a \
     --disk-size=300 \
     --machine-type=n1-standard-8 \
     --tf-version=1.15.5
    

    Description des options de commande

    tpu-only
    Crée le Cloud TPU uniquement et ne crée pas de Compute Engine.
    name
    Nom du Cloud TPU à créer.
    zone
    Zone dans laquelle vous prévoyez de créer votre Cloud TPU.
    disk-size
    Taille du disque dur en Go de la VM créée par la commande gcloud.
    machine-type
    Type de machine de la VM Compute Engine à créer.
    tf-version
    Version de TensorFlow gcloud installée sur la VM.
  2. Accédez au répertoire du modèle :

    (vm)$ cd /usr/share/tpu/models/official/efficientnet/
    
  3. Exécutez le script d'entraînement.

    (vm)$ python3 main.py \
      --tpu=${TPU_NAME} \
      --data_dir=${DATA_DIR} \
      --model_dir=${MODEL_DIR} \
      --model_name='efficientnet-b0' \
      --skip_host_call=true \
      --train_batch_size=2048 \
      --train_steps=1000
    

    Description des options de commande

    tpu
    Utilise le nom spécifié dans la variable TPU_NAME.
    data_dir
    Spécifie le chemin d'accès à Cloud Storage pour la saisie des données d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.
    model_dir
    Chemin d'accès Cloud Storage où les points de contrôle et les résumés sont stockés lors de l'entraînement du modèle. Vous pouvez réutiliser un dossier existant pour charger les points de contrôle générés précédemment et stocker des points de contrôle supplémentaires si les points de contrôle précédents ont été créés à l'aide d'un Cloud TPU de la même taille et de la même version TensorFlow.
    model_name
    Nom du modèle à entraîner. Exemple : efficientnet.
    skip_host_call
    Définissez sur true pour indiquer au script d'ignorer l'élément host_call qui est exécuté à chaque étape de l'entraînement. Cette option est généralement utilisée pour générer des résumés d'entraînement (perte d'entraînement, taux d'apprentissage, etc.). Si la valeur est skip_host_call=false, cela peut entraîner une baisse des performances si la fonction host_call est lente et ne peut pas suivre le calcul côté TPU.
    train_batch_size
    Taille du lot d'entraînement.
    train_steps
    Nombre d'étapes à utiliser pour l'entraînement. La valeur par défaut est de 218 949 étapes, soit environ 350 époques avec une taille de lot de 2 048. Cette option doit être ajustée en fonction de la valeur de l'option train_batch_size.

Cela permet d'entraîner le modèle EfficientNet (variante efficientnet-b0) pour seulement 1 000 étapes, car il utilise l'ensemble de données factices ImageNet. Lors de l'entraînement avec l'ensemble de données complet ImageNet, vous pouvez effectuer l'entraînement jusqu'à la convergence à l'aide de la commande suivante :

(vm)$ python3 main.py \
  --tpu=${TPU_NAME} \
  --data_dir=${DATA_DIR} \
  --model_dir=${MODEL_DIR} \
  --model_name='efficientnet-b0' \
  --skip_host_call=true \
  --train_batch_size=2048 \
  --train_steps=218948

Cela permet d'entraîner le modèle EfficientNet pour 350 époques et de l'évaluer après le traitement d'un lot de données. À l'aide des options spécifiées, l'entraînement du modèle devrait prendre environ 23 heures. Ces paramètres devraient permettre d'obtenir une précision de premier niveau d'environ 76,5 % pour l'ensemble de données de validation ImageNet. Le meilleur point de contrôle du modèle et le résultat de l'évaluation correspondant se trouvent dans le dossier archive du répertoire du modèle : ${STORAGE_BUCKET}/efficientnet/archive.

Mettre à l'échelle votre modèle avec les pods Cloud TPU

La mise à l'échelle de votre modèle à l'aide de pods Cloud TPU permet d'obtenir des résultats plus rapidement. Le modèle entièrement compatible peut fonctionner avec les tranches de pod suivantes :

  • v2-32
  • v3-32

Lorsque vous utilisez des pods TPU Cloud, vous devez d'abord entraîner le modèle à l'aide d'un pod, puis utiliser un seul appareil Cloud TPU pour évaluer le modèle.

Entraîner avec les pods Cloud TPU

.
  1. Supprimez la ressource Cloud TPU que vous avez créée pour entraîner le modèle sur un seul appareil.

    (vm)$ gcloud compute tpus execution-groups delete efficientnet-tutorial \
      --zone=europe-west4-a \
      --tpu-only
    
  2. Exécutez la commande gcloud compute tpus execution-groups à l'aide du paramètre accelerator-type pour spécifier la tranche de pod que vous souhaitez utiliser. Par exemple, la commande suivante utilise une tranche de pod v3-32.

    (vm)$ gcloud compute tpus execution-groups  create --tpu-only \
      --name=efficientnet-tutorial \
      --zone=europe-west4-a \
      --accelerator-type=v2-32 \
      --tf-version=1.15.5
    

    Description des options de commande

    tpu-only
    Crée un Cloud TPU uniquement. Par défaut, la commande gcloud crée une VM et un Cloud TPU.
    name
    Nom du Cloud TPU à créer.
    zone
    Zone dans laquelle vous prévoyez de créer votre Cloud TPU.
    accelerator-type
    Type du Cloud TPU à créer.
    tf-version
    Version de TensorFlow gcloud compute tpus execution-groups installée sur la VM.
  3. Créez une variable d'environnement pour votre nom de TPU.

    (vm)$ export TPU_NAME=efficientnet-tutorial
    
  4. Mettez à jour le répertoire MODEL_DIR pour stocker les données d'entraînement.

    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/efficientnet-tutorial
    
  5. Entraîner le modèle

    (vm)$ python3 main.py \
      --tpu=${TPU_NAME} \
      --data_dir=${DATA_DIR} \
      --model_dir=${MODEL_DIR} \
      --model_name='efficientnet-b3' \
      --skip_host_call=true \
      --mode=train \
      --train_steps=1000 \
      --train_batch_size=4096 \
      --iterations_per_loop=100
    

    Description des options de commande

    tpu
    Nom du Cloud TPU.
    data_dir
    Chemin d'accès Cloud Storage pour l'entrée d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.
    model_dir
    Chemin d'accès Cloud Storage où les points de contrôle et les résumés sont stockés lors de l'entraînement du modèle. Vous pouvez réutiliser un dossier existant pour charger les points de contrôle générés précédemment et stocker des points de contrôle supplémentaires si les points de contrôle précédents ont été créés à l'aide d'un Cloud TPU de la même taille et de la même version TensorFlow.
    model_name
    Nom du modèle à entraîner.
    skip_host_call
    Définissez sur true pour indiquer au script d'ignorer l'élément host_call qui est exécuté à chaque étape de l'entraînement. Cette option est généralement utilisée pour générer des résumés d'entraînement (perte d'entraînement, taux d'apprentissage, etc.). Si la valeur est skip_host_call=false, cela peut entraîner une baisse des performances si la fonction host_call est lente et ne peut pas suivre le calcul côté TPU.
    mode
    L'un des éléments train_and_eval, train ou eval. train_and_eval entraîne et évalue le modèle. train entraîne le modèle. eval évalue le modèle.
    train_steps
    Spécifie le nombre d'étapes d'entraînement.
    train_batch_size
    Taille du lot d'entraînement.
    iterations_per_loop
    Nombre d'étapes d'entraînement à exécuter sur le TPU avant d'envoyer des métriques au processeur.

Cette commande entraîne le modèle EfficientNet (variante efficientnet-b0) pour 1 000 étapes seulement, car il utilise l'ensemble de données factices ImageNet. Lors de l'entraînement avec l'ensemble de données complet ImageNet, vous pouvez effectuer l'entraînement jusqu'à la convergence à l'aide de la commande suivante :

(vm)$ python3 main.py \
  --tpu=${TPU_NAME} \
  --data_dir=${DATA_DIR} \
  --model_dir=${MODEL_DIR} \
  --model_name='efficientnet-b3' \
  --skip_host_call=true \
  --mode=train \
  --train_steps=109474 \
  --train_batch_size=4096 \
  --iterations_per_loop=100

Cette commande permet d'entraîner le modèle EfficientNet (variante efficientnet-b3) sur 350 époques. Le modèle devrait obtenir une précision de 81,1 % pour l'ensemble de développement ImageNet, et l'entraînement prendre environ 20 heures. Le meilleur point de contrôle du modèle et le résultat de l'évaluation correspondant se trouvent dans le dossier archive du répertoire du modèle : ${STORAGE_BUCKET}/efficientnet/archive.

.

Évaluer le modèle

Au cours de ces étapes, vous allez utiliser Cloud TPU pour évaluer le modèle entraîné ci-dessus par rapport aux données de validation fake_imagenet.

  1. Supprimez la ressource Cloud TPU que vous avez créée pour entraîner le modèle sur un pod.

    (vm)$ gcloud compute tpus execution-groups delete efficientnet-tutorial \
      --tpu-only \
      --zone=europe-west4-a
      
  2. Démarrez un Cloud TPU v2-8 pour exécuter l'évaluation. Utilisez le même nom que celui utilisé pour la VM Compute Engine, qui devrait toujours être en cours d'exécution.

    (vm)$ gcloud compute tpus execution-groups  create --tpu-only \
     --name=efficientnet-tutorial \
     --accelerator-type=v2-8 \
     --zone=europe-west4-a \
     --tf-version=1.15.5
    

    Description des options de commande

    tpu-only
    Crée un Cloud TPU uniquement. Par défaut, la commande gcloud crée une VM et un Cloud TPU.
    name
    Nom du Cloud TPU à créer.
    accelerator-type
    Type du Cloud TPU à créer.
    zone
    Zone dans laquelle vous prévoyez de créer votre Cloud TPU.
    tf-version
    Version de TensorFlow gcloud installée sur la VM.
  3. Créez une variable d'environnement pour votre nom de TPU.

    (vm)$ export TPU_NAME=efficientnet-tutorial
    
  4. Exécutez l'évaluation du modèle. Cette fois, ajoutez l'option mode et définissez-la sur eval.

    (vm)$ python3 main.py \
       --tpu=${TPU_NAME} \
       --data_dir=${DATA_DIR} \
       --model_dir=${MODEL_DIR} \
       --model_name='efficientnet-b3' \
       --skip_host_call=true \
       --mode=eval
    

    Description des options de commande

    tpu
    Utilise le nom spécifié dans la variable TPU_NAME.
    data_dir
    Spécifie le chemin d'accès à Cloud Storage pour la saisie des données d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.
    model_dir
    Chemin d'accès Cloud Storage où les points de contrôle et les résumés sont stockés lors de l'entraînement du modèle. Vous pouvez réutiliser un dossier existant pour charger les points de contrôle générés précédemment et stocker des points de contrôle supplémentaires si les points de contrôle précédents ont été créés à l'aide d'un Cloud TPU de la même taille et de la même version TensorFlow.
    model_name
    Nom du modèle à entraîner. Exemple : efficientnet, etc.
    skip_host_call
    Définissez sur true pour indiquer au script d'ignorer l'élément host_call qui est exécuté à chaque étape de l'entraînement. Cette option est généralement utilisée pour générer des résumés d'entraînement (perte d'entraînement, taux d'apprentissage, etc.). Si la valeur est skip_host_call=false, cela peut entraîner une baisse des performances si la fonction host_call est lente et ne peut pas suivre le calcul côté TPU.
    mode
    Si défini sur train_and_eval, ce script entraîne et évalue le modèle. Si défini sur export_only, ce script exporte un modèle enregistré.

    Un résultat semblable à celui-ci doit s'afficher :

    Eval results: {
    'loss': 7.532023,
    'top_1_accuracy': 0.0010172526,
    'global_step': 100,
    'top_5_accuracy': 0.005065918
    }
    Elapsed seconds: 88

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

  1. Déconnectez-vous de l'instance Compute Engine, si vous ne l'avez pas déjà fait :

    (vm)$ exit
    

    Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

  2. Dans Cloud Shell, utilisez la commande suivante pour supprimer la VM Compute Engine et votre ressource Cloud TPU :

    $ gcloud compute tpus execution-groups delete efficientnet-tutorial \
      --zone=europe-west4-a
    
  3. Vérifiez que les ressources ont été supprimées en exécutant la commande gcloud compute tpus execution-groups list. La suppression peut prendre plusieurs minutes. Si vos instances ont bien été supprimées, une réponse de ce type s'affiche :

    $ gcloud compute tpus execution-groups list \
     --zone=europe-west4-a
    

    Vous devriez voir une liste vide de TPU comme ci-dessous:

       NAME             STATUS
    
  4. Supprimez votre bucket Cloud Storage à l'aide de gsutil, comme indiqué ci-dessous. Remplacez bucket-name par le nom de votre bucket Cloud Storage.

    $ gsutil rm -r gs://bucket-name
    

Étapes suivantes

Les tutoriels TensorFlow Cloud TPU permettent généralement d'entraîner le modèle à l'aide d'un exemple d'ensemble de données. Les résultats de cet entraînement ne sont pas utilisables pour l'inférence. Pour utiliser un modèle d'inférence, vous pouvez entraîner les données sur un ensemble de données public ou votre propre ensemble de données. Les modèles TensorFlow entraînés sur des Cloud TPU nécessitent généralement des ensembles de données au format TFRecord.

Vous pouvez utiliser l'exemple d'outil de conversion d'ensemble de données pour convertir un ensemble de données de classification d'images au format TFRecord. Si vous n'utilisez pas de modèle de classification d'images, vous devez convertir vous-même votre ensemble de données au format TFRecord. Pour en savoir plus, consultez la page TFRecord et tf.Example.

Réglages d'hyperparamètres

Pour améliorer les performances du modèle sur votre ensemble de données, vous pouvez régler ses hyperparamètres. Vous trouverez des informations sur les hyperparamètres communs à tous les modèles compatibles avec des TPU sur GitHub. Des informations sur les hyperparamètres spécifiques aux modèles sont disponibles dans le code source de chaque modèle. Pour en savoir plus sur ces réglages, consultez les pages Présentation des réglages d'hyperparamètres, Utiliser le service de réglage d'hyperparamètres et Régler les hyperparamètres.

Inférence

Une fois votre modèle entraîné, vous pouvez l'utiliser pour l'inférence (également appelée prédiction). AI Platform est une solution cloud permettant de développer, d'entraîner et de déployer des modèles de machine learning. Une fois un modèle déployé, vous pouvez utiliser le service AI Platform Prediction.