Entraîner AmoebaNet-D sur Cloud TPU

Le modèle AmoebaNet-D est l'une des architectures de classificateur d'images découvertes grâce à la solution AutoML évolutive. Il est basé sur les résultats de l'article consacré à AmoebaNet : Regularized Evolution for Image Classifier Architecture Search (Évolution régularisée associée à la recherche d'architectures de classificateur d'images), Real E., Aggarwal A., Huang Y. et Le QV, 2018, prépublication arXiv:1802.01548.

Ce modèle exploite TPUEstimator, une API TensorFlow de haut niveau recommandée pour créer et exécuter un modèle de machine learning sur une ressource Cloud TPU.

Cette API simplifie le processus de développement des modèles en masquant la plupart des mises en œuvre de bas niveau, ce qui facilite le basculement entre le TPU et d'autres plates-formes telles que le GPU ou le processeur.

Objectifs

  • Créer un bucket Cloud Storage pour stocker votre ensemble de données et la sortie du modèle
  • Préparer une version de test de l'ensemble de données ImageNet, appelée ici fake_imagenet
  • Exécuter la tâche d'entraînement
  • Vérifier les résultats

Coûts

Ce tutoriel utilise des composants facturables de Google Cloud, dont :

  • Instance
  • Cloud TPU
  • Cloud Storage

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Avant de commencer

Avant de commencer ce tutoriel, vérifiez que votre projet Google Cloud est correctement configuré.

  1. Connectez-vous à votre compte Google.

    Si vous n'en possédez pas déjà un, vous devez en créer un.

  2. Dans Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Cloud.

    Accéder à la page de sélection du projet

  3. Vérifiez que la facturation est activée pour votre projet Google Cloud. Découvrez comment vérifier que la facturation est activée pour votre projet.

  4. Ce tutoriel utilise des composants facturables de Google Cloud. Consultez la grille tarifaire de Cloud TPU pour estimer vos coûts. Veillez à nettoyer les ressources que vous avez créées lorsque vous avez terminé, afin d'éviter des frais inutiles.

Configurer vos ressources

Cette section fournit des informations sur la configuration des buckets Cloud Storage, des VM et des ressources Cloud TPU pour les tutoriels.

  1. Ouvrez une fenêtre Cloud Shell.

    Ouvrir Cloud Shell

  2. Créez une variable pour l'ID de votre projet.

    export PROJECT_ID=project-id
    
  3. Configurez l'outil de ligne de commande gcloud pour utiliser le projet dans lequel vous souhaitez créer Cloud TPU.

    gcloud config set project ${PROJECT_ID}
    
  4. Créez un bucket Cloud Storage à l'aide de la commande suivante :

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
    

    Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. L'outil ctpu up utilisé dans ce tutoriel définit les autorisations par défaut pour le compte de service Cloud TPU. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.

    L'emplacement du bucket doit se trouver dans la même région que votre machine virtuelle (VM) et votre nœud TPU. Les VM et les nœuds TPU sont situés dans des zones spécifiques, qui sont des subdivisions au sein d'une région.

  5. Lancez les ressources Compute Engine et Cloud TPU requises à l'aide de la commande ctpu up.

    ctpu up --zone=europe-west4-a \
     --vm-only \
     --disk-size-gb=300 \
     --machine-type=n1-standard-8 \
     --tf-version=1.15.3 \
     --name=amoebanet-tutorial

    Pour plus d'informations sur l'utilitaire CTPU, consultez la section Référence CTPU.

  6. Lorsque vous y êtes invité, appuyez sur y pour créer vos ressources Cloud TPU.

    .

Une fois la commande ctpu up terminée, vérifiez que l'invite de l'interface système est passée de username@projectname à username@vm-name. Cette modification indique que vous êtes maintenant connecté à votre VM Compute Engine. Si vous n'êtes pas connecté à l'instance Compute Engine, exécutez la commande suivante :

gcloud compute ssh amoebanet-tutorial --zone=europe-west4-a

À partir de là, le préfixe (vm)$ signifie que vous devez exécuter la commande sur l'instance de VM Compute Engine.

Préparer les données

L'application d'entraînement s'attend à ce que vos données d'entraînement soient accessibles dans Cloud Storage. Elle exploite également le bucket Cloud Storage pour stocker des points de contrôle lors de l'entraînement.

Entraîner et évaluer le modèle AmoebaNet-D avec fake_imagenet

ImageNet est une base de données d'images. Les images de la base de données sont organisées hiérarchiquement, chaque nœud de cette hiérarchie étant représenté par des centaines de milliers d'images.

Ce tutoriel utilise une version de démonstration de l'ensemble de données complet ImageNet, appelée fake_imagenet. Cette version de démonstration vous permet de tester le tutoriel tout en réduisant les conditions de stockage et le temps généralement nécessaires à l'exécution d'un modèle par rapport à la base de données complète ImageNet.

Notez que l'ensemble de données fake_imagenet n'est utile que pour comprendre comment utiliser un Cloud TPU et valider les performances de bout en bout. La précision et le modèle enregistré ne sont pas représentatifs.

Pour plus d'informations sur le téléchargement et le traitement de l'ensemble de données ImageNet, consultez la page Télécharger, prétraiter et importer l'ensemble de données ImageNet.

Dans les étapes suivantes, un préfixe (vm)$ signifie que vous devez exécuter la commande sur votre VM Compute Engine.

.
  1. Lancez une ressource Cloud TPU à l'aide de l'utilitaire ctpu.

    (vm)$ ctpu up --tpu-only \
     --name=amoebanet-tutorial \
     --tf-version=1.15.3
    
  2. Configurez les variables d'environnement suivantes en remplaçant bucket-name par le nom de votre bucket Cloud Storage :

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/amoebanet
    (vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
    (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/tpu/models"
    
    (vm)$ export TPU_NAME=amoebanet-tutorial
    
  3. Accédez au répertoire :

    (vm)$ cd /usr/share/tpu/models/official/amoeba_net/
    
  4. Exécutez le script d'entraînement.

    (vm)$ python3 amoeba_net.py \
       --tpu=${TPU_NAME} \
       --data_dir=${DATA_DIR} \
       --model_dir=${MODEL_DIR} \
       --num_epochs=1
    
    Réglage Description
    tpu Spécifie le nom du Cloud TPU. Notez que ctpu transmet ce nom à la VM Compute Engine en tant que variable d'environnement (TPU_NAME).
    data_dir Spécifie le chemin d'accès à Cloud Storage pour l'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.
    model_dir Spécifie le répertoire dans lequel sont stockés les points de contrôle et les résumés lors de l'entraînement du modèle. Si ce dossier est absent, le programme le crée. Lorsque vous utilisez Cloud TPU, le répertoire model_dir doit être un chemin d'accès à Cloud Storage (gs://...). Vous pouvez réutiliser un dossier existant pour charger les données de point de contrôle actuelles et stocker des points de contrôle supplémentaires si les points de contrôle précédents ont été créés avec la même dimension de TPU et la même version de TensorFlow.

Pour un seul appareil Cloud TPU, cette procédure entraîne le modèle AmoebaNet-D pour une époque et évalue tous les nombres de pas fixes. À l'aide des options spécifiées, l'entraînement du modèle devrait prendre environ 30 minutes sur une ressource Cloud TPU v3-8. L'entraînement jusqu'à convergence prend environ 90 époques et environ 10 heures.

L'entraînement et l'évaluation ayant été effectués sur l'ensemble de données factice fake_dataset, les résultats de sortie ne reflètent pas le résultat réel qui apparaîtrait si l'entraînement et l'évaluation étaient effectués sur un ensemble de données réel.

Vous pouvez maintenant terminer ce tutoriel et nettoyer vos ressources GCP. Vous pouvez également choisir d'explorer plus avant l'exécution du modèle dans un pod Cloud TPU.

Mise à l'échelle de votre modèle avec les pods Cloud TPU

Vous pouvez obtenir des résultats plus rapidement en adaptant votre modèle aux pods Cloud TPU. Le modèle entièrement compatible AmoebaNet peut fonctionner avec les tranches de pod suivantes :

  • v2-32
  • v3-32

Lorsque vous utilisez des pods TPU Cloud, vous devez d'abord entraîner le modèle à l'aide d'un pod, puis utiliser un seul appareil Cloud TPU pour évaluer le modèle.

Entraîner avec les pods Cloud TPU

.
  1. Supprimez la ressource Cloud TPU que vous avez créée pour entraîner le modèle sur un seul appareil.

    (vm)$ ctpu delete --tpu-only \
     --name=amoebanet-tutorial \
     --zone=europe-west4-a
  2. Exécutez la commande ctpu up à l'aide du paramètre tpu-size pour spécifier la tranche de pod que vous souhaitez utiliser. Par exemple, la commande suivante utilise une tranche de pod v2-32.

    (vm)$ ctpu up --tpu-only \
    --tf-version=1.15.3 \
    --tpu-size=v2-32 \
    --name=amoebanet-tutorial-pod \
    --zone=europe-west4-a
    
  3. Mettez à jour le répertoire MODEL_BUCKET pour stocker les données d'entraînement sur pod.

    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/amoebanet-tutorial-pod
    (vm)$ export TPU_NAME=amoebanet-tutorial-pod
    
  4. Entraînez le modèle sur votre VM Compute Engine avec les options suivantes :

    (vm)$ python3 amoeba_net.py \
       --tpu=${TPU_NAME} \
       --data_dir=${DATA_DIR} \
       --model_dir=${MODEL_DIR} \
       --num_cells=6 \
       --image_size=224 \
       --num_epochs=1 \
       --train_batch_size=4096 \
       --eval_batch_size=1000 \
       --lr=10.24 \
       --lr_decay_value=0.88 \
       --num_shards=32 \
       --lr_warmup_epochs=0.35 \
       --mode=train \
       --iterations_per_loop=1000
    
    Réglage Description
    tpu Spécifie le nom du Cloud TPU. Notez que ctpu transmet ce nom à la VM Compute Engine en tant que variable d'environnement (TPU_NAME).
    data_dir Spécifie le chemin d'accès à Cloud Storage pour l'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.
    model_dir Spécifie le répertoire dans lequel les points de contrôle et les résumés sont stockés lors de l'entraînement du modèle. Si ce dossier n'existe pas, le programme le crée. Lorsque vous utilisez Cloud TPU, le fichier mod_moteur doit être un chemin d'accès à Cloud Storage (gs://...). Vous pouvez réutiliser un dossier existant pour charger les données de point de contrôle actuelles et stocker des points de contrôle supplémentaires tant que les points de contrôle précédents ont été créés avec un TPU de la même taille et la même version de TensorFlow.

La procédure entraîne le modèle AmoebaNet-D sur l'ensemble de données fake_imagnet sur 1 époque. Cet entraînement dure environ 10 minutes sur un Cloud TPU v2-32. Il sera entraîné jusqu'à convergence en 35 époques environ.

Évaluer le modèle

L'évaluation doit être exécutée sur un seul appareil Cloud TPU. Vous devez donc supprimer le pod TPU et créer un appareil Cloud TPU unique. Vous utilisez ensuite ce Cloud TPU pour évaluer le modèle entraîné ci-dessus par rapport aux données de validation fake_imagène.

  1. Supprimez la ressource Cloud TPU que vous avez créée pour entraîner le modèle sur un seul appareil.

    (vm)$ ctpu delete --tpu-only \
     --name=amoebanet-tutorial-pod \
     --zone=europe-west4-a
  2. Exécutez la commande ctpu up à l'aide du paramètre tpu-size pour spécifier la ressource Cloud TPU que vous souhaitez utiliser. Par exemple, la commande suivante utilise un type de TPU v3-8.

    (vm)$ ctpu up --tpu-only \
    --tf-version=1.15.3 \
    --tpu-size=v3-8 \
    --name=amoebanet-tutorial-eval \
    --zone=europe-west4-a
    
  3. Mettez à jour le répertoire MODEL_BUCKET pour le faire pointer vers les données d'entraînement sur pod.

    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/amoebanet-tutorial-pod
    (vm)$ export TPU_NAME=amoebanet-tutorial-eval
    
  4. Exécutez l'évaluation du modèle avec les indicateurs suivants :

    (vm)$ python3 amoeba_net.py \
    --tpu=${TPU_NAME} \
    --data_dir=${DATA_DIR} \
    --model_dir=${MODEL_DIR} \
    --num_cells=6 \
    --image_size=224 \
    --train_batch_size=4096 \
    --eval_batch_size=1000 \
    --mode=eval \
    --iterations_per_loop=1000
    

Un résultat semblable à celui-ci doit s'afficher :

Evaluation results: {'loss': 6.908725, 'top_1_accuracy': 0.001, 'global_step': 10955, 'top_5_accuracy': 0.005}

Étant donné que l'entraînement et l'évaluation ont été effectués sur l'ensemble de données fake_imagenet, les résultats ne reflètent pas les résultats réels qui apparaîtraient si l'entraînement et l'évaluation étaient effectuées sur un ensemble de données réel.

Utiliser des tranches de pod Cloud TPU plus volumineuses

Vous pouvez également essayer le modèle à l'aide de tranches de pod Cloud TPU plus volumineuses. Le tableau suivant indique les valeurs recommandées pour ces tranches.

.
Réglage Description 128 Cœurs 256 Cœurs
num_cells Nombre total de cellules 6 6
image_size Taille de l'image, en supposant sa hauteur et sa largeur 224 224
num_epochs Nombre de pas utilisés pour l'entraînement 60 90
train_batch_size Taille du lot global (pas par partition) pour l'entraînement 8 192 16 384
lr Taux d'apprentissage 20,48 40,96
lr_decay_value Taux de décroissance exponentiel utilisé dans l'ajustement du taux d'apprentissage 0,91 0,94
num_shards Nombre de segments (cœurs de TPU) 128 256

Nettoyer

Pour éviter que les ressources utilisées dans ce tutoriel soient facturées sur votre compte Google Cloud Platform :

  1. Supprimez votre Cloud TPU :

    $ ctpu delete --tpu-only \
      --name=amoebanet-tutorial-eval \
      --zone=europe-west4-a
    
  2. Déconnectez-vous de l'instance Compute Engine, si vous ne l'avez pas déjà fait :

    (vm)$ exit
    

    Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

  3. Dans Cloud Shell, exécutez la commande ctpu delete avec l'option --zone utilisée lors de votre configuration Cloud TPU pour supprimer votre VM Compute Engine et votre Cloud TPU :

    $ ctpu delete --vm-only --name=amoebanet-tutorial --zone=europe-west4-a
    
  4. Exécutez ctpu status pour vérifier qu'il ne reste aucune instance allouée afin d'éviter des frais inutiles liés à l'utilisation des ressources TPU. La suppression peut prendre plusieurs minutes. Si vous n'avez plus d'instances allouées, une réponse de ce type s'affiche :

    2018/04/28 16:16:23 WARNING: Setting zone to "europe-west4-a"
    No instances currently exist.
            Compute Engine VM:     --
            Cloud TPU:             --
    
  5. Exécutez gsutil comme indiqué, en remplaçant bucket-name par le nom du bucket Cloud Storage que vous avez créé pour ce tutoriel :

    $ gsutil rm -r gs://bucket-name
    

Étape suivante

Dans ce tutoriel, vous avez entraîné le modèle AmoebaNet-D à l'aide d'un exemple d'ensemble de données. Les résultats de cet entraînement ne sont pas utilisables pour l'inférence dans la plupart des cas. Afin d'utiliser un modèle pour l'inférence, vous pouvez entraîner les données sur un ensemble de données accessible au public ou sur votre propre ensemble de données. Les modèles entraînés sur des appareils Cloud TPU nécessitent des ensembles de données au format TFRecord.

Vous pouvez utiliser l'exemple d'outil de conversion d'ensemble de données pour convertir un ensemble de données de classification d'images au format TFRecord. Si vous n'utilisez pas de modèle de classification d'images, vous devez convertir vous-même votre ensemble de données au format TFRecord. Pour en savoir plus, consultez la section TFRecord et tf.Example.

Réglages d'hyperparamètres

Pour améliorer les performances du modèle avec votre ensemble de données, vous pouvez régler ses hyperparamètres. Vous trouverez des informations sur les hyperparamètres communs à tous les modèles compatibles avec des TPU sur GitHub. Des informations sur les hyperparamètres spécifiques au modèle sont disponibles dans le code source de chaque modèle. Pour en savoir plus sur ces réglages, consultez les pages Présentation des réglages d'hyperparamètres, Utiliser le service de réglage d'hyperparamètres et Régler les hyperparamètres.

Inférence

Une fois que vous avez entraîné votre modèle, vous pouvez l'utiliser pour l'inférence (également appelée prédiction). AI Platform est une solution basée sur le cloud permettant de développer, d'entraîner et de déployer des modèles de machine learning. Une fois un modèle déployé, vous pouvez utiliser le service AI Platform Prediction.