Entraîner le modèle Mask RCNN sur Cloud TPU (TF 2.x)

---

Présentation

Ce tutoriel explique comment exécuter le modèle Mask RCNN à l'aide de Cloud TPU avec l'ensemble de données COCO.

Le système Mask RCNN est un réseau de neurones profond conçu pour la détection d'objets et la segmentation d'images, l'une des étapes les plus difficiles pour la vision par ordinateur.

Le modèle Mask RCNN génère des cadres de délimitation et des masques de segmentation pour chaque instance d'un objet dans l'image. Le modèle est basé sur le réseau de pyramides à caractéristiques (FPN) et sur un réseau backbone ResNet50.

Ce tutoriel utilise Tensorflow Keras APIs pour entraîner le modèle. L'API Keras est une API TensorFlow de haut niveau pouvant être utilisée pour créer et exécuter un modèle de machine learning sur Cloud TPU. Cette API simplifie le processus de développement des modèles en masquant la plupart des mises en œuvre de bas niveau, ce qui facilite le basculement entre le TPU et d'autres plates-formes telles que le GPU ou le processeur.

Dans ces instructions, nous partons du principe que vous savez déjà entraîner un modèle sur Cloud TPU. Si vous découvrez Cloud TPU, vous trouverez les instructions de base sur la page Démarrage rapide.

Attention : Mask RCNN utilise un ensemble de données tiers. Google ne formule aucune déclaration ni garantie quant à la validité ou à tout autre aspect de cet ensemble de données.

Objectifs

• Préparer l'ensemble de données COCO
• Créer un bucket Cloud Storage pour stocker votre ensemble de données et la sortie du modèle
• Configurer les ressources TPU pour l'entraînement et l'évaluation
• Exécuter les tâches d'entraînement et d'évaluation sur un seul Cloud TPU ou sur un pod Cloud TPU

Coûts

Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :

• Compute Engine
• Cloud TPU
• Cloud Storage

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Avant de commencer

Important : Vous pouvez utiliser ce tutoriel avec une configuration de VM TPU ou de nœud TPU. Les deux architectures de VM sont décrites dans la section Architecture du système. Les commandes gcloud que vous utilisez dépendent de la configuration TPU que vous utilisez. Dans ce tutoriel, chaque commande gcloud s'affiche dans une section à onglets. Choisissez l'onglet correspondant à la configuration TPU que vous souhaitez utiliser. La page Web affiche la commande gcloud appropriée. À moins que vous ayez besoin d'utiliser des nœuds TPU, nous vous recommandons d'utiliser des VM TPU.

Avant de commencer ce tutoriel, vérifiez que votre projet Google Cloud est correctement configuré.

1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

2. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   Accéder au sélecteur de projet

3. Vérifiez que la facturation est activée pour votre projet Google Cloud.

4. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   Accéder au sélecteur de projet

5. Vérifiez que la facturation est activée pour votre projet Google Cloud.

Ce tutoriel utilise des composants facturables de Google Cloud. Consultez la grille tarifaire de Cloud TPU pour estimer vos coûts. Veillez à nettoyer les ressources que vous avez créées lorsque vous avez terminé, afin d'éviter des frais inutiles.

Préparer l'ensemble de données COCO

Ce tutoriel utilise l'ensemble de données COCO. L'ensemble de données doit être au format TFRecord sur un bucket Cloud Storage à utiliser pour l'entraînement.

Si vous avez déjà préparé l'ensemble de données COCO sur un bucket Cloud Storage situé dans la zone que vous utiliserez pour entraîner le modèle, vous pouvez accéder directement à l'entraînement sur un seul appareil. Sinon, procédez comme suit pour préparer l'ensemble de données.

1. Ouvrez une fenêtre Cloud Shell.

   Ouvrir Cloud Shell

2. Dans Cloud Shell, configurez gcloud avec l'ID de votre projet.

   export PROJECT_ID=project-id
   gcloud config set project ${PROJECT_ID}
   

3. Dans Cloud Shell, créez un bucket Cloud Storage à l'aide de la commande suivante :

   Remarque :Dans la commande suivante, remplacez bucket-name par le nom que vous souhaitez attribuer à votre bucket.

   gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name
   

4. Lancez une instance de VM Compute Engine.

   Cette instance de VM sera uniquement utilisée pour télécharger et prétraiter l'ensemble de données COCO. Saisissez le nom de votre choix dans le champ instance-name.

   $ gcloud compute tpus execution-groups create \
    --vm-only \
    --name=instance-name \
    --zone=europe-west4-a \
    --disk-size=300 \
    --machine-type=n1-standard-16 \
    --tf-version=2.12.0
   

   Description des options de commande

   vm-only

   Pour créer une VM uniquement. Par défaut, la commande gcloud compute tpus execution-groups crée une VM et un Cloud TPU.

   name

   Nom du Cloud TPU à créer.

   zone

   Zone dans laquelle vous prévoyez de créer la ressource Cloud TPU.

   disk-size

   Taille du disque dur en Go de la VM créée par la commande gcloud compute tpus execution-groups.

   machine-type

   Type de machine de la VM Compute Engine à créer.

   tf-version

   Version de TensorFlow gcloud compute tpus execution-groups installée sur la VM.

5. Si vous n'êtes pas automatiquement connecté à l'instance Compute Engine, connectez-vous en exécutant la commande ssh suivante. Lorsque vous êtes connecté à la VM, votre invite d'interface système passe de username@vm-name à username@projectname :

     $ gcloud compute ssh instance-name --zone=europe-west4-a
     

6. Configurez deux variables : une pour le bucket de stockage créé précédemment et une pour le répertoire contenant les données d'entraînement (DATA_DIR) dans le bucket de stockage.

   (vm)$ export STORAGE_BUCKET=gs://bucket-name
   

   (vm)$ export DATA_DIR=${STORAGE_BUCKET}/coco

7. Installez les packages nécessaires au prétraitement des données.

   (vm)$ sudo apt-get install -y python3-tk && \
     pip3 install --user Cython matplotlib opencv-python-headless pyyaml Pillow && \
     pip3 install --user "git+https://github.com/cocodataset/cocoapi#egg=pycocotools&subdirectory=PythonAPI"
   

8. Exécutez le script download_and_preprocess_coco.sh pour convertir l'ensemble de données COCO en fichiers TFRecord (*.tfrecord), ce qui correspond au format attendu par l'application d'entraînement.

   (vm)$ git clone https://github.com/tensorflow/tpu.git
   (vm)$ sudo bash tpu/tools/datasets/download_and_preprocess_coco.sh ./data/dir/coco
   

   Cela installe les bibliothèques requises et exécute le script de prétraitement. Il génère un certain nombre de fichiers *.tfrecord dans votre répertoire de données local. L'exécution du script de téléchargement et de conversion COCO prend environ une heure.

9. Copier les données dans votre bucket Cloud Storage

   Après avoir converti les données en TFRecord, copiez-les depuis le stockage local vers votre bucket Cloud Storage à l'aide de la commande gsutil. Vous devez également copier les fichiers d'annotation. Ces fichiers vous aident à valider les performances du modèle.

   (vm)$ gsutil -m cp ./data/dir/coco/*.tfrecord ${DATA_DIR}
   (vm)$ gsutil cp ./data/dir/coco/raw-data/annotations/*.json ${DATA_DIR}
   

10. Nettoyer les ressources de la VM

    Une fois l'ensemble de données COCO converti au format TFRecord et copié dans le bucket DATA_DIR sur votre bucket Cloud Storage, vous pouvez supprimer l'instance Compute Engine.

    Déconnectez-vous de l'instance Compute Engine :

    (vm)$ exit
    

    Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

11. Supprimez votre instance Compute Engine.

      $ gcloud compute instances delete instance-name
        --zone=europe-west4-a
      

Entraînement sur un seul appareil Cloud TPU

Remarque:Voulez-vous entraîner le modèle à l'aide d'un pod Cloud TPU ? Consultez la page Entraînement sur un pod TPU.

Important : Configurez toutes les ressources dans la même région et la même zone pour réduire la latence et les coûts du réseau.

1. Ouvrez une fenêtre Cloud Shell.

   Ouvrir Cloud Shell

2. Créez une variable d'environnement pour l'ID de votre projet.

   export PROJECT_ID=project-id

3. Configurez Google Cloud CLI pour utiliser le projet dans lequel vous souhaitez créer la ressource Cloud TPU.

   gcloud config set project ${PROJECT_ID}
   

   La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page pour autoriser gcloud à effectuer des appels d'API Google Cloud avec vos identifiants.

4. Créez un compte de service pour le projet Cloud TPU.

   gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
   

   La commande renvoie un compte de service Cloud TPU au format suivant :

   [e-mail]
   

5. Exporter les variables de configuration TPU

   Exportez votre ID de projet, le nom que vous souhaitez utiliser pour vos ressources TPU, ainsi que la zone dans laquelle vous allez entraîner le modèle et stocker toutes les données liées à l'entraînement.

   $ export TPU_NAME=mask-rcnn-tutorial
   $ export ZONE=europe-west4-a
   

6. Lancez une VM Compute Engine et Cloud TPU à l'aide de la commande gcloud. La commande à utiliser varie selon que vous utilisez des VM TPU ou des nœuds TPU. Pour en savoir plus sur les deux architectures de VM, consultez la page Architecture du système.

   Remarque : Si vous avez plusieurs projets, vous devez spécifier l'ID du projet avec l'option --project.

   VM TPU

   $ gcloud compute tpus tpu-vm create mask-rcnn-tutorial \
   --zone=europe-west4-a \
   --accelerator-type=v3-8 \
   --version=tpu-vm-tf-2.16.1-pjrt
   

   Description des options de commande

   zone

   Zone dans laquelle vous prévoyez de créer la ressource Cloud TPU.

   accelerator-type

   Le type d'accélérateur spécifie la version et la taille de la ressource Cloud TPU que vous souhaitez créer. Pour en savoir plus sur les types d'accélérateurs compatibles avec chaque version de TPU, consultez la section Versions de TPU.

   version

   Version du logiciel Cloud TPU.

   Remarque : La première fois que vous créez une VM TPU sur un projet, les tâches de démarrage telles que la propagation de clé SSH et l'activation de l'API prennent plusieurs minutes.

   Nœud TPU

   Important :Vous devez utiliser TensorFlow 2.12.0 ou version ultérieure.

   $ gcloud compute tpus execution-groups create  \
    --zone=europe-west4-a \
    --name=mask-rcnn-tutorial \
    --accelerator-type=v3-8 \
    --machine-type=n1-standard-8 \
    --disk-size=300 \
    --tf-version=2.12.0
   

   Description des options de commande

   zone

   Zone dans laquelle vous prévoyez de créer la ressource Cloud TPU.

   name

   Nom du TPU. Si aucune valeur n'est spécifiée, votre nom d'utilisateur est utilisé par défaut.

   accelerator-type

   Type de Cloud TPU à créer.

   machine-type

   Type de machine de la VM Compute Engine à créer.

   disk-size

   Taille du volume racine de votre VM Compute Engine (en Go).

   tf-version

   Version de TensorFlow gcloud installée sur la VM.

   Pour en savoir plus sur la commande gcloud, consultez la documentation de référence de gcloud.

7. Si vous n'êtes pas automatiquement connecté à l'instance Compute Engine, connectez-vous en exécutant la commande ssh suivante. Lorsque vous êtes connecté à la VM, votre invite d'interface système passe de username@vm-name à username@projectname :

   VM TPU

   gcloud compute tpus tpu-vm ssh mask-rcnn-tutorial --zone=europe-west4-a
   

   Nœud TPU

   gcloud compute tpus execution-groups ssh mask-rcnn-tutorial --zone=europe-west4-a
   

   Point clé : À partir de ce point, le préfixe (vm) $ signifie que vous devez exécuter la commande sur l'instance de VM Compute Engine.

8. Installez la configuration requise pour TensorFlow.

   La commande à utiliser varie selon que vous utilisez des VM TPU ou des nœuds TPU.

   VM TPU

   (vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt 

   Nœud TPU

   (vm)$ pip3 install --user -r /usr/share/models/official/requirements.txt
   

9. Définissez la variable de nom Cloud TPU.

   VM TPU

   (vm)$ export TPU_NAME=local
   

   Nœud TPU

   (vm)$ export TPU_NAME=mask-rcnn-tutorial
   

10. Configurez les variables d'environnement suivantes en remplaçant bucket-name par le nom du bucket Cloud Storage qui stocke l'ensemble de données COCO :

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    

11. Ajoutez les variables d'environnement pour les répertoires de données et de modèles.

    (vm)$ export DATA_DIR=${STORAGE_BUCKET}/coco
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/mask-rcnn
    

12. Ajoutez les variables d'environnement requises supplémentaires :

    (vm)$ export RESNET_CHECKPOINT=gs://cloud-tpu-checkpoints/retinanet/resnet50-checkpoint-2018-02-07
    (vm)$ export TRAIN_FILE_PATTERN=${DATA_DIR}/train-*
    (vm)$ export EVAL_FILE_PATTERN=${DATA_DIR}/val-*
    (vm)$ export VAL_JSON_FILE=${DATA_DIR}/instances_val2017.json
    

13. Définissez la variable d'environnement PYTHONPATH :

    VM TPU

    (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/tpu/models"
    

    Nœud TPU

    (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
    

14. Lors de la création de votre TPU, si vous définissez le paramètre --version sur une version se terminant par -pjrt, définissez les variables d'environnement suivantes pour activer l'environnement d'exécution PJRT:

      (vm)$ export NEXT_PLUGGABLE_DEVICE_USE_C_API=true
      (vm)$ export TF_PLUGGABLE_DEVICE_LIBRARY_PATH=/lib/libtpu.so
    

15. Accédez au répertoire où le modèle est stocké :

    VM TPU

    (vm)$ cd /usr/share/tpu/models/official/vision
    

    Nœud TPU

    (vm)$ cd /usr/share/models/official/legacy/detection
    

Le script suivant exécute un exemple d'entraînement qui permet d'entraîner 10 pas d'entraînement et 10 pas d'évaluation. L'opération prend environ six minutes sur un TPU v3-8. L'entraînement à la conversion nécessite environ 22 500 étapes et environ 6 heures sur un TPU v3-8.

1. Exécutez la commande suivante pour entraîner le modèle Mask-RCNN :

   (vm)$ python3 train.py \
     --tpu=${TPU_NAME} \
     --experiment=maskrcnn_resnetfpn_coco \
     --mode=train_and_eval \
     --config_file=configs/experiments/maskrcnn/r50fpn_640_coco_scratch_tpu4x4.yaml \
     --model_dir=${MODEL_DIR} \
     --params_override="task.train_data.input_path=${TRAIN_FILE_PATTERN},task.validation_data.input_path=${EVAL_FILE_PATTERN},task.annotation_file=${VAL_JSON_FILE},runtime.distribution_strategy=tpu,trainer.train_steps=10,trainer.validation_steps=10,task.train_data.global_batch_size=8,task.validation_data.global_batch_size=8"
   

   Description des options de commande

   strategy_type

   Stratégie de distribution.

   tpu

   Nom de votre TPU.

   model_dir

   Spécifie le répertoire dans lequel les points de contrôle et les résumés sont stockés lors de l'entraînement du modèle. Si ce dossier n'existe pas, le programme le crée. Lorsque vous utilisez un Cloud TPU, le répertoire model_dir doit être un chemin d'accès à Cloud Storage ("gs://..."). Vous pouvez réutiliser un dossier existant pour charger les données de point de contrôle actuelles et stocker des points de contrôle supplémentaires tant que les points de contrôle précédents ont été créés avec un TPU de la même taille et la même version de TensorFlow.

   Une fois l'entraînement terminé, un message semblable au suivant s'affiche :

   {'frcnn_box_loss': 0.033865165,
    'frcnn_cls_loss': 1.2535654,
    'learning_rate': 0.008266499,
    'mask_loss': 1.2039567,
    'model_loss': 2.821458,
    'rpn_box_loss': 0.034982488,
    'rpn_score_loss': 0.2950886,
    'total_loss': 4.340171,
    'training_loss': 4.340171}
   train | step:     10 | steps/sec:    0.1 | output:
   {'frcnn_box_loss': 0.033865165,
    'frcnn_cls_loss': 1.2535654,
    'learning_rate': 0.008266499,
    'mask_loss': 1.2039567,
    'model_loss': 2.821458,
    'rpn_box_loss': 0.034982488,
    'rpn_score_loss': 0.2950886,
    'total_loss': 4.340171,
    'training_loss': 4.340171}
   

   Elle est suivie du résultat des étapes d'évaluation.

   Vous avez terminé l'entraînement et l'évaluation sur un seul appareil. Suivez la procédure ci-dessous pour supprimer les ressources TPU individuelles actuelles.

2. Déconnectez-vous de l'instance Compute Engine :

   (vm)$ exit
   

   Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

3. Supprimez la ressource TPU.

   VM TPU

   $ gcloud compute tpus tpu-vm delete mask-rcnn-tutorial \
   --zone=europe-west4-a
   

   Description des options de commande

   zone

   Zone dans laquelle se trouve votre Cloud TPU.

   Nœud TPU

   $ gcloud compute tpus execution-groups delete mask-rcnn-tutorial \
   --tpu-only \
   --zone=europe-west4-a
   

   Description des options de commande

   tpu-only

   Ne supprime que le Cloud TPU. La VM reste disponible.

   zone

   Zone contenant le TPU à supprimer.

À ce stade, vous pouvez terminer ce tutoriel et effectuer un nettoyage, ou continuer à explorer l'exécution du modèle sur des pods Cloud TPU.

Mettre à l'échelle votre modèle avec les pods Cloud TPU

Important : Vous pouvez effectuer le scaling de votre modèle avec une configuration de VM TPU ou de nœud TPU. Les deux architectures de VM sont décrites dans la section Architecture du système.

L'entraînement de votre modèle sur des pods Cloud TPU peut nécessiter certaines modifications de votre script d'entraînement. Pour en savoir plus, consultez la section Entraîner sur des pods TPU.

Entraînement avec un pod TPU

Important : Si vous avez déjà configuré un projet Cloud TPU, un compte de service, un bucket de stockage et un ensemble de données pour l'entraînement sur un seul appareil, vous pouvez passer à l'étape Configurer et lancer des ressources TPU.

1. Ouvrez une fenêtre Cloud Shell.

   Ouvrir Cloud Shell

2. Créez une variable pour l'ID de votre projet.

   export PROJECT_ID=project-id
   

3. Configurez Google Cloud CLI pour utiliser le projet dans lequel vous souhaitez créer Cloud TPU.

   gcloud config set project ${PROJECT_ID}
   

   La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page pour autoriser gcloud à effectuer des appels d'API Google Cloud avec vos identifiants.

4. Créez un compte de service pour le projet Cloud TPU.

   Les comptes de service permettent au service Cloud TPU d'accéder à d'autres services Google Cloud.

   gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
   

   La commande renvoie un compte de service Cloud TPU au format suivant :

   [e-mail]
   

5. Si vous avez déjà préparé l'ensemble de données COCO et l'avez déplacé vers votre bucket de stockage, vous pouvez le réutiliser pour l'entraînement sur pod. Si vous n'avez pas encore préparé l'ensemble de données COCO, préparez-le maintenant et revenez ici pour configurer l'entraînement sur pod.

6. Lancer un pod Cloud TPU

   Ce tutoriel spécifie un pod v3-32. Pour les autres options de pod, consultez la section Versions de TPU.

   VM TPU

   Remarque:Si la capacité actuellement disponible est insuffisante pour créer le pod TPU, vous pouvez mettre votre requête en file d'attente à l'aide de ressources en file d'attente. Les ressources en file d'attente vous permettent de bénéficier de la capacité dès qu'elle devient disponible. Pour demander vos ressources Cloud TPU en tant que ressources en file d'attente, utilisez plutôt la commande gcloud alpha compute tpus queued-resources create. Pour en savoir plus, consultez la section Gérer les ressources en file d'attente.

   $ gcloud compute tpus tpu-vm create mask-rcnn-tutorial \
   --zone=europe-west4-a \
   --accelerator-type=v3-32 \
   --version=tpu-vm-tf-2.16.1-pod-pjrt
   

   Description des options de commande

   zone

   Zone dans laquelle vous prévoyez de créer la ressource Cloud TPU.

   accelerator-type

   Le type d'accélérateur spécifie la version et la taille de la ressource Cloud TPU que vous souhaitez créer. Pour en savoir plus sur les types d'accélérateurs compatibles avec chaque version de TPU, consultez la section Versions de TPU.

   version

   Version du logiciel Cloud TPU.

   Remarque :La première fois que vous exécutez gcloud sur un projet, les tâches de démarrage telles que la propagation de clé SSH et l'activation de l'API prennent environ cinq minutes.

   Nœud TPU

   (vm)$ gcloud compute tpus execution-groups create \
   --zone=europe-west4-a \
   --name=mask-rcnn-tutorial \
   --accelerator-type=v3-32  \
   --tf-version=2.12.0
   

   Description des options de commande

   zone

   Zone dans laquelle vous prévoyez de créer la ressource Cloud TPU.

   tpu-only

   Crée uniquement le Cloud TPU. Par défaut, la commande gcloud compute tpus execution-groups crée à la fois une VM et un Cloud TPU.

   accelerator-type

   Type de Cloud TPU à créer.

   tf-version

   Version de TensorFlow gcloud installée sur la VM.

7. Si vous n'êtes pas automatiquement connecté à l'instance Compute Engine, connectez-vous en exécutant la commande ssh suivante. Lorsque vous êtes connecté à la VM, votre invite d'interface système passe de username@vm-name à username@projectname :

   VM TPU

   gcloud compute tpus tpu-vm ssh mask-rcnn-tutorial --zone=europe-west4-a
   

   Nœud TPU

   gcloud compute ssh mask-rcnn-tutorial --zone=europe-west4-a
   

   Point clé : À partir de ce point, le préfixe (vm) $ signifie que vous devez exécuter la commande sur l'instance de VM Compute Engine.

8. Installez la configuration requise pour TensorFlow.

   La commande à utiliser varie selon que vous utilisez des VM TPU ou des nœuds TPU.

   VM TPU

   (vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt 

   Nœud TPU

   (vm)$ pip3 install --user -r /usr/share/models/official/requirements.txt
   

9. Le script d'entraînement nécessite un package supplémentaire. Installez-le maintenant :

   (vm)$ pip3 install --user tensorflow-model-optimization>=0.1.3
   

10. Définissez la variable de nom Cloud TPU.

    (vm)$ export TPU_NAME=mask-rcnn-tutorial
    

11. Configurez les variables d'environnement suivantes en remplaçant bucket-name par le nom de votre bucket Cloud Storage :

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    

12. Ajoutez les variables d'environnement requises supplémentaires :

    (vm)$ export RESNET_CHECKPOINT=gs://cloud-tpu-checkpoints/retinanet/resnet50-checkpoint-2018-02-07
    (vm)$ export DATA_DIR=${STORAGE_BUCKET}/coco
    (vm)$ export TRAIN_FILE_PATTERN=${DATA_DIR}/train-*
    (vm)$ export EVAL_FILE_PATTERN=${DATA_DIR}/val-*
    (vm)$ export VAL_JSON_FILE=${DATA_DIR}/instances_val2017.json
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/mask-rcnn-pod
    

13. Définissez la variable d'environnement PYTHONPATH :

    VM TPU

    (vm)$ export PYTHONPATH="/usr/share/tpu/models:${PYTHONPATH}"
    (vm)$ export TPU_LOAD_LIBRARY=0
    

    Nœud TPU

    (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
    

14. Accédez au répertoire où le modèle est stocké :

    VM TPU

    (vm)$ cd /usr/share/tpu/models/official/vision

    Nœud TPU

    (vm)$ cd /usr/share/models/official/legacy/detection

15. Entraîner le modèle

    Cette procédure entraîne le modèle sur l'ensemble de données COCO pour 10 pas d'entraînement. Cet entraînement prend environ 10 minutes sur un Cloud TPU v3-32.

    Remarque : Une fois l'entraînement lancé, vous pouvez vérifier qu'il est en cours d'exécution en surveillant votre activité TPU dans la console Cloud TPU. Dans Compute Engine > TPU, sélectionnez l'entrée TPU. Une page contenant les détails de votre configuration TPU et un lien vers MONITORING s'affiche. Cliquez sur SURVEILLANCE pour afficher l'activité TPU actuelle.

    VM TPU

    (vm)$ python3 train.py \
    --tpu=${TPU_NAME} \
    --experiment=maskrcnn_resnetfpn_coco \
    --mode=train_and_eval \
    --config_file=configs/experiments/maskrcnn/r50fpn_640_coco_scratch_tpu4x4.yaml \
    --model_dir=${MODEL_DIR} \
    --params_override="task.train_data.input_path=${TRAIN_FILE_PATTERN},task.validation_data.input_path=${EVAL_FILE_PATTERN},task.annotation_file=${VAL_JSON_FILE},runtime.distribution_strategy=tpu,trainer.train_steps=10,trainer.validation_steps=10,task.train_data.global_batch_size=256,task.validation_data.global_batch_size=256" 

    Description des options de commande

    tpu

    Nom de votre TPU.

    model_dir

    Spécifie le répertoire dans lequel les points de contrôle et les résumés sont stockés lors de l'entraînement du modèle. Si ce dossier est absent, le programme le crée. Lorsque vous utilisez Cloud TPU, le model_dir doit être un chemin Cloud Storage (gs://...). Vous pouvez réutiliser un dossier existant pour charger les données de point de contrôle actuelles et stocker des points de contrôle supplémentaires tant que les précédents ont été créés avec un Cloud TPU de la même taille et la même version de Tensorflow.

    params_override

    Chaîne JSON qui remplace les paramètres de script par défaut.

    Nœud TPU

    (vm)$ python3 main.py \
    --strategy_type=tpu \
    --tpu=${TPU_NAME} \
    --model_dir=${MODEL_DIR} \
    --mode=train \
    --model=mask_rcnn \
    --params_override="{train: { batch_size: 128, iterations_per_loop: 500, total_steps: 20, learning_rate: {'learning_rate_levels': [0.008, 0.0008], 'learning_rate_steps': [10000, 13000] }, checkpoint: { path: ${RESNET_CHECKPOINT}, prefix: resnet50/ }, train_file_pattern: ${TRAIN_FILE_PATTERN} }, eval: { val_json_file: ${VAL_JSON_FILE}, eval_file_pattern: ${EVAL_FILE_PATTERN}} }"

    Description des options de commande

    tpu

    Nom de votre TPU.

    model_dir

    Spécifie le répertoire dans lequel les points de contrôle et les résumés sont stockés lors de l'entraînement du modèle. Si ce dossier est absent, le programme le crée. Lorsque vous utilisez Cloud TPU, le model_dir doit être un chemin Cloud Storage (gs://...). Vous pouvez réutiliser un dossier existant pour charger les données de point de contrôle actuelles et stocker des points de contrôle supplémentaires tant que les précédents ont été créés avec un Cloud TPU de la même taille et la même version de Tensorflow.

    params_override

    Chaîne JSON qui remplace les paramètres de script par défaut.

Une fois l'entraînement terminé, un message semblable au suivant s'affiche :

 I0706 19:47:16.108213 139955064548416 controller.py:457] train | step: 10 | steps/sec:    0.1 | output:
    {'frcnn_box_loss': 0.05632668,
     'frcnn_cls_loss': 1.3012192,
     'learning_rate': 0.008266499,
     'mask_loss': 1.2371812,
     'model_loss': 2.9746659,
     'rpn_box_loss': 0.08227444,
     'rpn_score_loss': 0.2976642,
     'total_loss': 4.493513,
     'training_loss': 4.493513}
train | step:     10 | steps/sec:    0.1 | output:
    {'frcnn_box_loss': 0.05632668,
     'frcnn_cls_loss': 1.3012192,
     'learning_rate': 0.008266499,
     'mask_loss': 1.2371812,
     'model_loss': 2.9746659,
     'rpn_box_loss': 0.08227444,
     'rpn_score_loss': 0.2976642,
     'total_loss': 4.493513,
     'training_loss': 4.493513}
 

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

Après avoir exécuté l'entraînement, supprimez la VM TPU et votre bucket de stockage.

1. Déconnectez-vous de l'instance Compute Engine, si vous ne l'avez pas déjà fait :

   (vm)$ exit
   

   Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

2. Supprimez vos ressources Cloud TPU et Compute Engine. La commande à utiliser pour supprimer vos ressources varie selon que vous utilisez des VM TPU ou des nœuds TPU. Pour en savoir plus, consultez la page Architecture du système.

   VM TPU

   $ gcloud compute tpus tpu-vm delete mask-rcnn-tutorial \
   --zone=europe-west4-a
   

   Nœud TPU

   $ gcloud compute tpus execution-groups delete mask-rcnn-tutorial \
   --zone=europe-west4-a
   

3. Vérifiez que les ressources ont été supprimées en exécutant la commande gcloud compute tpus execution-groups list. La suppression peut prendre plusieurs minutes. Le résultat de la commande suivante ne doit inclure aucune des ressources TPU créées dans ce tutoriel:

   $ gcloud compute tpus execution-groups list --zone=europe-west4-a
   

4. Exécutez gsutil comme indiqué, en remplaçant bucket-name par le nom du bucket Cloud Storage que vous avez créé pour ce tutoriel :

   $ gsutil rm -r gs://bucket-name
   

Étapes suivantes

Les tutoriels TensorFlow Cloud TPU permettent généralement d'entraîner le modèle à l'aide d'un exemple d'ensemble de données. Les résultats de cet entraînement ne sont pas utilisables pour l'inférence. Pour utiliser un modèle pour l'inférence, vous pouvez entraîner les données sur un ensemble de données public ou sur votre propre ensemble de données. Les modèles TensorFlow entraînés sur des Cloud TPU nécessitent généralement que les ensembles de données soient au format TFRecord.

Vous pouvez utiliser l'exemple d'outil de conversion d'ensemble de données pour convertir un ensemble de données de classification d'images au format TFRecord. Si vous n'utilisez pas de modèle de classification d'images, vous devrez convertir votre ensemble de données au format TFRecord. Pour en savoir plus, consultez TFRecord et tf.Example.

Régler les hyperparamètres

Pour améliorer les performances du modèle avec votre ensemble de données, vous pouvez régler les hyperparamètres du modèle. Vous trouverez des informations sur les hyperparamètres communs à tous les modèles compatibles avec TPU sur GitHub. Des informations sur les hyperparamètres propres aux modèles sont disponibles dans le code source de chaque modèle. Pour en savoir plus sur ces réglages, consultez les pages Présentation du réglage des hyperparamètres et Régler les hyperparamètres.

Inférence

Une fois que vous avez entraîné votre modèle, vous pouvez l'utiliser pour l'inférence (également appelée prédiction). Vous pouvez utiliser le convertisseur d'inférence Cloud TPU pour préparer et optimiser un modèle TensorFlow pour l'inférence sur Cloud TPU v5e. Pour plus d'informations sur l'inférence sur Cloud TPU v5e, consultez la page Présentation de l'inférence pour Cloud TPU v5e.

• Découvrez les outils TPU dans TensorBoard.