Entraîner EfficientNet sur Cloud TPU (TF 1.x)

Ce tutoriel vous explique comment entraîner un modèle Keras EfficientNet sur Cloud TPU à l'aide de tf.distribute.TPUStrategy.

Si vous ne connaissez pas bien Cloud TPU, il vous est vivement recommandé de consulter le guide de démarrage rapide pour apprendre à créer un Cloud TPU et une VM Compute Engine.

Objectifs

  • Créer un bucket Cloud Storage pour stocker votre ensemble de données et la sortie du modèle
  • Préparez un ensemble de données fake_imagenet, semblable à l'ensemble de données ImageNet.
  • Exécuter la tâche d'entraînement
  • Vérifier les résultats

Coûts

Ce tutoriel utilise des composants facturables de Google Cloud, dont :

  • Instance
  • Cloud TPU
  • Cloud Storage

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Avant de commencer

Avant de commencer ce tutoriel, vérifiez que votre projet Google Cloud est correctement configuré.

  1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.
  2. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

    Accéder au sélecteur de projet

  3. Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier que la facturation est activée pour votre projet.

  4. Ce tutoriel utilise des composants facturables de Google Cloud. Consultez la grille tarifaire de Cloud TPU pour estimer vos coûts. Veillez à nettoyer les ressources que vous avez créées lorsque vous avez terminé, afin d'éviter des frais inutiles.

Configurer vos ressources

Cette section fournit des informations sur la configuration des buckets Cloud Storage, des VM et des ressources Cloud TPU pour les tutoriels.

  1. Ouvrez une fenêtre Cloud Shell.

    Ouvrir Cloud Shell

  2. Créez une variable pour l'ID de votre projet.

    export PROJECT_ID=project-id
    
  3. Configurez l'outil de ligne de commande gcloud pour utiliser le projet dans lequel vous souhaitez créer Cloud TPU.

    gcloud config set project ${PROJECT_ID}
    

    La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page pour permettre à gcloud d'effectuer des appels d'API GCP avec vos identifiants.

    Pour en savoir plus sur la commande gcloud, consultez la documentation de référence sur gcloud.

  4. Créez un compte de service pour le projet Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    La commande renvoie un compte de service Cloud TPU au format suivant :

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Créez un bucket Cloud Storage à l'aide de la commande suivante :

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name/
    

    Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. La commande gcloud compute tpus execution-groups utilisée dans ce tutoriel définit les autorisations par défaut pour le compte de service Cloud TPU que vous avez configuré à l'étape précédente. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.

    L'emplacement du bucket doit être situé dans la même région que votre Compute Engine (VM) et votre nœud Cloud TPU.

  6. Préparer votre ensemble de données ou utiliser fake_imagenet

    ImageNet est une base de données d'images. Les images de la base de données sont organisées hiérarchiquement, chaque nœud de cette hiérarchie étant représenté par des centaines de milliers d'images.

    Ce tutoriel utilise une version de démonstration de l'ensemble de données complet ImageNet, appelée fake_imagenet. Cette version de démonstration vous permet de tester le tutoriel tout en réduisant les conditions de stockage et le temps généralement nécessaires à l'exécution d'un modèle par rapport à la base de données complète ImageNet.

    L'ensemble de données fake_imagenet se trouve à cet emplacement sur Cloud Storage :

    gs://cloud-tpu-test-datasets/fake_imagenet

    Notez que l'ensemble de données fake_imagenet n'est utile que pour comprendre comment utiliser un Cloud TPU et valider les performances de bout en bout. La précision et le modèle enregistré ne sont pas représentatifs.

    Si vous souhaitez utiliser l'ensemble de données complet ImageNet, consultez la page Télécharger, prétraiter et importer l'ensemble de données ImageNet.

  7. Lancez une VM Compute Engine et Cloud TPU à l'aide de la commande gcloud. La commande que vous utilisez varie selon que vous utilisez des VM TPU ou des nœuds TPU. Pour plus d'informations sur les deux architectures de VM, consultez la page Architecture du système.

    VM TPU

    $ gcloud alpha compute tpus tpu-vm  create efficientnet-tutorial \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --version=v2-alpha
    

    Description des options de commande

    zone
    Zone dans laquelle vous prévoyez de créer votre Cloud TPU.
    accelerator-type
    Type de Cloud TPU à créer.
    version
    La version d'exécution de Cloud TPU.

    Nœud TPU

    gcloud compute tpus execution-groups create \
    --name=efficientnet-tutorial \
    --zone=europe-west4-a \
    --disk-size=300 \
    --machine-type=n1-standard-16 \
    --tf-version=2.5.0 \
    --accelerator-type=v3-8
    

    Description des options de commande

    project
    ID de votre projet GCP
    name
    Nom de la ressource Cloud TPU à créer.
    zone
    Zone dans laquelle vous prévoyez de créer votre Cloud TPU.
    disk-size
    Taille du disque dur en Go de la VM créée par la commande gcloud.
    machine-type
    Type de machine de la VM Compute Engine à créer.
    tf-version
    La version de Tensorflow que gcloud installe sur la VM.
    accelerator-type
    Type de Cloud TPU à créer.

    Pour en savoir plus sur la commande gcloud, consultez la documentation de référence sur gcloud.

  8. Si vous n'êtes pas connecté automatiquement à l'instance Compute Engine, connectez-vous en exécutant la commande ssh suivante. Lorsque vous êtes connecté à la VM, votre invite de Cloud Shell affiche username@vm-name au lieu de username@projectname:

    VM TPU

    gcloud alpha compute tpus tpu-vm  ssh efficientnet-tutorial --zone=europe-west4-a
    

    Nœud TPU

    gcloud compute ssh efficientnet-tutorial --zone=europe-west4-a
    
  9. Définissez la variable de nom Cloud TPU.

    VM TPU

    (vm)$ export TPU_NAME=local
    

    Nœud TPU

    (vm)$ export TPU_NAME=efficientnet-tutorial
    
  10. Définir des variables de bucket Cloud Storage

    Remplacez bucket-name par le nom de votre bucket Cloud Storage.

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/efficientnet-2x
    (vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
    

    L'application d'entraînement s'attend à ce que vos données d'entraînement soient accessibles dans Cloud Storage. Elle exploite également le bucket Cloud Storage pour stocker des points de contrôle lors de l'entraînement.

  11. Installez les exigences TensorFlow.

    La commande que vous utilisez varie selon que vous utilisez des VM TPU ou des nœuds TPU.

    VM TPU

    (vm)$ git clone https://github.com/tensorflow/models.git
    (vm)$ pip3 install -r models/official/requirements.txt
    

    Nœud TPU

    (vm)$ sudo pip3 install -r /usr/share/models/official/requirements.txt
    
  12. Le script d'entraînement EfficientNet nécessite des packages supplémentaires. Installez-les maintenant :

    (vm)$ sudo pip3 install tensorflow-addons
    (vm)$ sudo pip3 install tensorflow-model-optimization>=0.1.3
    
  13. Définissez la variable d'environnement PYTHONPATH :

    VM TPU

    (vm)$ export PYTHONPATH="${PWD}/models:${PYTHONPATH}"
    

    Nœud TPU

    (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
    

    Le modèle EfficientNet est préinstallé sur votre VM Compute Engine.

  14. Accédez au répertoire où le modèle est stocké :

    VM TPU

    (vm)$ cd ~/models/official/vision/image_classification
    

    Nœud TPU

    (vm)$ cd /usr/share/models/official/vision/image_classification
    

Entraîner le modèle

  1. Exécutez le script d'entraînement. Cette méthode utilise un ensemble de données fake_imagenet et entraîne EfficientNet pour une époque.

    (vm)$ python3 classifier_trainer.py \
      --mode=train_and_eval \
      --model_type=efficientnet \
      --dataset=imagenet \
      --tpu=${TPU_NAME} \
      --data_dir=${DATA_DIR} \
      --model_dir=${MODEL_DIR} \
      --params_override="train.epochs=1, train_dataset.builder=records, validation_dataset.builder=records"
    

    Description des options de commande

    mode
    Spécifiez l'un des types suivants : train, eval ou train_and_eval.
    model_type
    Type du modèle. Exemple :efficientnet
    dataset
    Nom de l'ensemble de données Exemple :imagenet
    tpu
    Nom du Cloud TPU utilisé pour exécuter l'entraînement ou l'évaluation.
    data_dir
    Spécifie le chemin d'accès à Cloud Storage pour la saisie des données d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.
    model_dir
    Chemin d'accès à Cloud Storage où les points de contrôle et les résumés sont stockés lors de l'entraînement du modèle. Vous pouvez réutiliser un dossier existant pour charger des points de contrôle précédemment générés, et pour stocker des points de contrôle supplémentaires tant que les points de contrôle précédents ont été créés avec un Cloud TPU de taille identique et de la version de TensorFlow.
    config_file
    Chemin d'accès au fichier json contenant le modèle pré-entraîné EfficientNet. Ce fichier contient l'architecture du modèle.
    params_override
    Chaîne JSON qui remplace les paramètres de script par défaut. Pour en savoir plus sur les paramètres de script, consultez /usr/share/models/official/vision/detection/main.py.

    Cela entraînera l'entraînement de EfficientNet pendant une époque et se terminera sur un nœud Cloud TPU v3-8 en moins de 10 minutes. Une fois le script d'entraînement terminé, un résultat semblable au suivant s'affiche:

    Run stats:
    {
      'accuracy_top_1': 0.0010172526817768812,
      'eval_loss': 7.104171276092529,
      'loss': 7.113735675811768,
      'training_accuracy_top_1': 0.0009773431811481714,
      'step_timestamp_log': [
        'BatchTimestamp<batch_index: 0,
        timestamp: 1604960724.2224622>',
        'BatchTimestamp<batch_index: 1251,
        timestamp: 1604961281.3745298>'
      ],
      'train_finish_time': 1604961342.6359076,
      'avg_exp_per_second': 2071.493269569079
    }
    

    Pour entraîner l'EfficienceNet à convergence, exécutez-la pendant 90 époques, comme indiqué dans le script suivant. L'entraînement et l'évaluation sont effectués ensemble. Chaque époque comprend 1251 pas pour un total de 1 29590 pas et 48 étapes d'évaluation.

    (vm)$ python3 classifier_trainer.py \
         --mode=train_and_eval \
         --model_type=efficientnet \
         --dataset=imagenet \
         --tpu=${TPU_NAME} \
         --data_dir=${DATA_DIR} \
         --model_dir=${MODEL_DIR} \
         --config_file=configs/examples/efficientnet/imagenet/efficientnet-b0-tpu.yaml \
         --params_override="train_dataset.builder=records, validation_dataset.builder=records"
    

    Description des options de commande

    mode
    Valeurs possibles : train, eval ou train_and_eval.
    model_type
    Type du modèle. Exemple : efficientnet, etc.
    dataset
    Nom de l'ensemble de données Exemple :imagenet
    tpu
    Nom du Cloud TPU pour exécuter l'entraînement ou l'évaluation.
    data_dir
    Spécifie le chemin d'accès à Cloud Storage pour la saisie des données d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.
    model_dir
    Chemin d'accès à Cloud Storage où les points de contrôle et les résumés sont stockés lors de l'entraînement du modèle. Vous pouvez réutiliser un dossier existant pour charger des points de contrôle générés précédemment et pour stocker des points de contrôle supplémentaires tant que les points de contrôle précédents ont été créés avec un Cloud TPU de la même taille et la même version de TensorFlow.
    config_file
    Chemin d'accès au fichier json contenant le modèle pré-entraîné EfficientNet. Ce fichier contient l'architecture du modèle.
    params_override
    Chaîne JSON qui remplace les paramètres de script par défaut. Pour plus d'informations sur les paramètres de script, consultez la section /usr/share/models/official/vision/detection/main.py.

    Étant donné que l'entraînement a été effectué sur l'ensemble de données fake_imagenet, les résultats ne reflètent pas les résultats réels qui apparaîtraient si l'entraînement était effectué sur un ensemble de données réel.

    Vous venez de terminer une formation portant sur un seul appareil. Pour supprimer les ressources TPU uniques et uniques d'un seul appareil, procédez comme suit :

  2. Déconnectez-vous de l'instance Compute Engine:

    (vm)$ exit
    

    Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

  3. Supprimez la ressource TPU.

    VM TPU

    $ gcloud alpha compute tpus tpu-vm  delete efficientnet-tutorial \
    --zone=europe-west4-a
    

    Description des options de commande

    zone
    Zone où réside votre Cloud TPU.

    Nœud TPU

    $ gcloud compute tpus execution-groups delete efficientnet-tutorial \
    --tpu-only \
    --zone=europe-west4-a
    

    Description des options de commande

    tpu-only
    Supprime uniquement le Cloud TPU. La VM reste disponible.
    zone
    Zone contenant le TPU à supprimer.

Vous pouvez maintenant terminer ce tutoriel et nettoyer, ou continuer et explorer l'exécution du modèle dans les pods Cloud TPU.

Mettre à l'échelle votre modèle avec les pods Cloud TPU

Entraînement sur un pod TPU

Cette section fournit des informations sur la configuration d'un bucket Cloud Storage et des ressources Cloud TPU pour l'entraînement de pod.

  1. Ouvrez une fenêtre Cloud Shell.

    Ouvrir Cloud Shell

  2. Créez une variable pour l'ID de votre projet.

    export PROJECT_ID=project-id
    
  3. Configurez l'outil de ligne de commande gcloud pour utiliser le projet dans lequel vous souhaitez créer Cloud TPU.

    gcloud config set project ${PROJECT_ID}
    

    La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page pour permettre à gcloud d'effectuer des appels d'API GCP avec vos identifiants.

  4. Créez un compte de service pour le projet Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    La commande renvoie un compte de service Cloud TPU au format suivant :

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Créez un bucket Cloud Storage à l'aide de la commande suivante ou utilisez un bucket que vous avez créé précédemment pour votre projet:

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name
    

    Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. La commande gcloud utilisée dans ce tutoriel définit les autorisations par défaut pour le compte de service Cloud TPU que vous avez configuré à l'étape précédente. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.

    Le bucket doit se trouver dans la même région que votre VM TPU.

  6. Préparer votre ensemble de données ou utiliser fake_imagenet

    ImageNet est une base de données d'images. Les images de la base de données sont organisées hiérarchiquement, chaque nœud de cette hiérarchie étant représenté par des centaines de milliers d'images.

    L'entraînement de pod par défaut accède à une version de démonstration de l'ensemble de données complet ImageNet, appelée fake_imagenet. Cette version de démonstration vous permet de tester l'entraînement sur les pods, tout en réduisant les exigences de stockage et de temps généralement associées à l'entraînement d'un modèle par rapport à la base de données ImageNet complète.

    Notez que l'ensemble de données fake_imagenet n'est utile que pour comprendre comment utiliser un Cloud TPU et valider les performances de bout en bout. La précision et le modèle enregistré ne sont pas représentatifs.

    Si vous souhaitez utiliser l'ensemble de données complet ImageNet, consultez la page Télécharger, prétraiter et importer l'ensemble de données ImageNet.

  7. Lancez un pod TPU de la VM à l'aide de la commande gcloud alpha compute tpus tpu-vm. Ce tutoriel spécifie un pod v3-32. Pour les autres options de pod, consultez la page Types de TPU disponibles.

    $ gcloud alpha compute tpus tpu-vm create efficientnet-tutorial \
    --zone=europe-west4-a \
    --accelerator-type=v3-32 \
    --version=v2-alpha-pod
    

    Description des options de commande

    zone
    Zone dans laquelle vous prévoyez de créer votre Cloud TPU.
    accelerator-type
    Type de Cloud TPU à créer.
    version
    La version d'exécution de Cloud TPU.
    .
  8. Si vous n'êtes pas connecté automatiquement à l'instance Compute Engine, connectez-vous à l'aide de la commande ssh suivante. Lorsque vous êtes connecté à la VM, votre invite de Cloud Shell affiche username@vm-name au lieu de username@projectname:

      gcloud alpha compute tpus tpu-vm ssh efficientnet-tutorial --zone=europe-west4-a
      

  9. Définissez la variable de nom Cloud TPU.

    (vm)$ export TPU_NAME=efficientnet-tutorial
    
  10. Configurez les variables d'environnement suivantes en remplaçant bucket-name par le nom de votre bucket Cloud Storage :

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/efficientnet-2x-pod
    (vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
    

    L'application d'entraînement s'attend à ce que vos données d'entraînement soient accessibles dans Cloud Storage. Elle exploite également le bucket Cloud Storage pour stocker des points de contrôle lors de l'entraînement.

  11. Installez les exigences TensorFlow.

      (vm)$ git clone https://github.com/tensorflow/models.git
      (vm)$ pip3 install -r models/official/requirements.txt
      

  12. Définissez certaines variables d'environnement requises :

     (vm)$ export PYTHONPATH="${PWD}/models:${PYTHONPATH}"
     (vm)$ export TPU_LOAD_LIBRARY=0
     

  13. Accédez au répertoire où le modèle est stocké :

    (vm)$ cd ~/models/official/vision/image_classification
    
  14. Entraîner le modèle

    (vm)$ python3 classifier_trainer.py \
    --mode=train_and_eval \
    --model_type=efficientnet \
    --dataset=imagenet \
    --tpu=${TPU_NAME} \
    --data_dir=${DATA_DIR} \
    --model_dir=${MODEL_DIR} \
    --config_file=configs/examples/efficientnet/imagenet/efficientnet-b0-tpu.yaml \
    --params_override="train.epochs=1, train_dataset.builder=records, validation_dataset.builder=records"
    

    Description des options de commande

    mode
    Si défini sur train_and_eval, ce script entraîne et évalue le modèle. Si défini sur export_only, ce script exporte un modèle enregistré.
    model_type
    Type du modèle. Exemple : efficientnet, etc.
    dataset
    Nom de l'ensemble de données Exemple :imagenet
    tpu
    Utilise le nom spécifié dans la variable "TPU_NAME".
    data_dir
    Spécifie le chemin d'accès à Cloud Storage pour la saisie des données d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.
    model_dir
    Chemin d'accès à Cloud Storage où les points de contrôle et les résumés sont stockés lors de l'entraînement du modèle. Vous pouvez réutiliser un dossier existant pour charger des points de contrôle précédemment générés, et pour stocker des points de contrôle supplémentaires tant que les points de contrôle précédents ont été créés avec un Cloud TPU de taille identique et de la même version de TensorFlow.
    config_file
    Chemin d'accès au fichier json contenant le modèle pré-entraîné EfficientNet. Ce fichier contient l'architecture du modèle.
    params_override
    Chaîne JSON qui remplace les paramètres de script par défaut. Pour en savoir plus sur les paramètres de script, consultez /usr/share/models/official/vision/detection/main.py.

Cette procédure entraîne le modèle sur l'ensemble de données fake_imagenet sur une époque (312 pas d'entraînement et 12 pas d'évaluation). Cet entraînement dure environ 5 minutes sur un Cloud TPU v3-32. Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :

312/312 - 272s - loss: 7.1147 - accuracy: 0.0010 - top_5_accuracy: 0.0051
- val_loss: 7.1048 - val_accuracy: 9.9691e-04 - val_top_5_accuracy: 0.0049

12/12 - 6s - loss: 7.1048 - accuracy: 9.9691e-04 - top_5_accuracy: 0.0049
I0414 00:41:46.632883 140326444914496 classifier_trainer.py:445] Run stats:
{'accuracy_top_1': 0.0009969075908884406, 'eval_loss': 7.104842185974121,
'loss': 7.114657878875732, 'training_accuracy_top_1': 0.0010086450492963195,
'step_timestamp_log': ['BatchTimestamp', 'BatchTimestamp'], 'train_finish_time': 1618360899.2756596,
'avg_exp_per_second': 4564.777920838655}

Entraînement sur un pod TPU

Si vous utilisez une configuration de nœud TPU, procédez comme suit pour entraîner le modèle sur un pod.

  1. Créez un pod Cloud TPU. Exécutez la commande gcloud compute tpus execution-groups à l'aide du paramètre accelerator-type pour spécifier la tranche de pod que vous souhaitez utiliser. Par exemple, la commande suivante utilise une tranche de pod v3-32.

    (vm)$ gcloud compute tpus execution-groups  create --name=efficientnet-tutorial \
      --accelerator-type=v3-32  \
      --zone=europe-west4-a \
      --tf-version=2.5.0
    

    Description des options de commande

    name
    Nom de la ressource Cloud TPU à créer.
    accelerator-type
    Type du Cloud TPU à créer.
    zone
    Zone dans laquelle vous prévoyez de créer votre Cloud TPU.
    tf-version
    La version de Tensorflow que gcloud installe sur la VM.
    tpu-only
    Crée un Cloud TPU uniquement. Par défaut, la commande gcloud crée une VM et un Cloud TPU.
  2. Si vous n'êtes pas connecté automatiquement à l'instance Compute Engine, connectez-vous à l'aide de la commande ssh suivante. Lorsque vous êtes connecté à la VM, votre invite de Cloud Shell affiche username@vm-name au lieu de username@projectname:

    gcloud compute ssh efficientnet-tutorial --zone=europe-west4-a
    
  3. Mettez à jour le répertoire MODEL_DIR pour stocker les données d'entraînement de module Cloud TPU Pod.

    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/efficientnet-2x-pod
    
  4. Définissez le nom du Cloud TPU.

    (vm)$ export TPU_NAME=efficientnet-tutorial
    
  5. Accédez au répertoire du modèle :

    (vm)$ cd /usr/share/models/official/vision/image_classification/
    
  6. Entraîner le modèle

    (vm)$ python3 classifier_trainer.py \
    --mode=train_and_eval \
    --model_type=efficientnet \
    --dataset=imagenet \
    --tpu=${TPU_NAME} \
    --data_dir=${DATA_DIR} \
    --model_dir=${MODEL_DIR} \
    --config_file=configs/examples/efficientnet/imagenet/efficientnet-b0-tpu.yaml \
    --params_override="train.epochs=1, train_dataset.builder=records, validation_dataset.builder=records"
    

    Description des options de commande

    mode
    Si défini sur train_and_eval, ce script entraîne et évalue le modèle. Si défini sur export_only, ce script exporte un modèle enregistré.
    model_type
    Type du modèle. Exemple : efficientnet, etc.
    dataset
    Nom de l'ensemble de données Exemple :imagenet
    tpu
    Utilise le nom spécifié dans la variable "TPU_NAME".
    data_dir
    Spécifie le chemin d'accès à Cloud Storage pour la saisie des données d'entraînement. Dans cet exemple, il est défini sur l'ensemble de données fake_imagenet.
    model_dir
    Chemin d'accès à Cloud Storage où les points de contrôle et les résumés sont stockés lors de l'entraînement du modèle. Vous pouvez réutiliser un dossier existant pour charger des points de contrôle précédemment générés, et pour stocker des points de contrôle supplémentaires tant que les points de contrôle précédents ont été créés avec un Cloud TPU de taille identique et de la même version de TensorFlow.
    config_file
    Chemin d'accès au fichier json contenant le modèle pré-entraîné EfficientNet. Ce fichier contient l'architecture du modèle.
    params_override
    Chaîne JSON qui remplace les paramètres de script par défaut. Pour en savoir plus sur les paramètres de script, consultez /usr/share/models/official/vision/detection/main.py.

La procédure entraîne le modèle sur l'ensemble de données fake_imagenet sur une époque (312 pas d'entraînement et 12 pas d'évaluation). Cet entraînement dure environ 2 minutes sur un Cloud TPU v3-32. Une fois l'entraînement et l'évaluation terminés, un message semblable au suivant s'affiche :

Run stats:
{
  'accuracy_top_1': 0.0009969075908884406,
  'eval_loss': 7.105168342590332,
  'loss': 7.114983081817627,
  'training_accuracy_top_1': 0.0010031675919890404,
  'step_timestamp_log': [
    'BatchTimestamp<batch_index: 0,
    timestamp: 1605041621.4997303>',
    'BatchTimestamp<batch_index: 312,
    timestamp: 1605041970.8633356>'
  ],
  'train_finish_time': 1605042032.2274444,
  'avg_exp_per_second': 3111.5120716536226
}

Nettoyer

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et les ressources individuelles.

  1. Déconnectez-vous de l'instance Compute Engine, si vous ne l'avez pas déjà fait :

    (vm)$ exit
    

    Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

  2. Supprimez vos ressources Cloud TPU et Compute Engine.

    VM TPU

    $ gcloud alpha compute tpus tpu-vm delete efficientnet-tutorial \
    --zone=europe-west4-a
    

    Nœud TPU

    $ gcloud compute tpus execution-groups delete efficientnet-tutorial \
    --zone=europe-west4-a
    
  3. Vérifiez que les ressources ont été supprimées en exécutant gcloud compute tpus execution-groups list. La suppression peut prendre plusieurs minutes. Si vous obtenez une réponse semblable à celle présentée ci-dessous, vos instances ont bien été supprimées.

    $ gcloud compute tpus execution-groups list --zone=europe-west4-a
    
    Listed 0 items.
    
  4. Supprimez votre bucket Cloud Storage à l'aide de gsutil, comme illustré ci-dessous. Remplacez bucket-name par le nom de votre bucket Cloud Storage.

    $ gsutil rm -r gs://bucket-name
    

Étape suivante

Dans ce tutoriel, vous avez entraîné le modèle EfficientNet à l'aide d'un exemple d'ensemble de données. Les résultats de cet entraînement ne sont pas utilisables pour l'inférence dans la plupart des cas. Afin d'utiliser un modèle pour l'inférence, vous pouvez entraîner les données sur un ensemble de données accessible au public ou sur votre propre ensemble de données. Les modèles entraînés sur des appareils Cloud TPU nécessitent des ensembles de données au format TFRecord.

Vous pouvez utiliser l'exemple d'outil de conversion d'ensemble de données pour convertir un ensemble de données de classification d'images au format TFRecord. Si vous n'utilisez pas de modèle de classification d'images, vous devez convertir vous-même votre ensemble de données au format TFRecord. Pour en savoir plus, consultez la section TFRecord et tf.Example.

Réglages d'hyperparamètres

Pour améliorer les performances du modèle avec votre ensemble de données, vous pouvez régler ses hyperparamètres. Vous trouverez des informations sur les hyperparamètres communs à tous les modèles compatibles avec des TPU sur GitHub. Des informations sur les hyperparamètres spécifiques au modèle sont disponibles dans le code source de chaque modèle. Pour en savoir plus sur ces réglages, consultez les pages Présentation des réglages d'hyperparamètres, Utiliser le service de réglage d'hyperparamètres et Régler les hyperparamètres.

Inférence

Une fois que vous avez entraîné votre modèle, vous pouvez l'utiliser pour l'inférence (également appelée prédiction). AI Platform est une solution basée sur le cloud permettant de développer, d'entraîner et de déployer des modèles de machine learning. Une fois un modèle déployé, vous pouvez utiliser le service AI Platform Prediction.

  • Découvrez comment entraîner et évaluer avec vos propres données, au lieu des ensembles de données fake_imagenet ou ImageNet, en suivant le tutoriel de conversion des ensembles de données. Le tutoriel explique comment utiliser l'exemple de script de conversion de données de classification d'images pour convertir un ensemble de données brut au format TFRecords, utilisable par les modèles Tensorflow de Cloud TPU.

  • Exécutez un colab Cloud TPU qui montre comment exécuter un modèle de classification d'images à l'aide de vos propres données d'image.

  • Découvrez les autres tutoriels Cloud TPU.

  • Apprenez à utiliser les outils de surveillance TPU dans TensorBoard.