Entraîner ShapeMask sur Cloud TPU

Ce document explique comment exécuter le modèle ShapeMask à l'aide de Cloud TPU avec l'ensemble de données COCO.

Les instructions ci-dessous supposent que vous savez comment exécuter un modèle sur Cloud TPU. Si vous débutez avec Cloud TPU, consultez le guide de démarrage rapide pour en savoir plus.

Si vous prévoyez d'effectuer l'entraînement sur une tranche de pod TPU, consultez la section Entraîner sur des pods TPU pour comprendre les modifications de paramètres requises pour les tranches de pods.

Objectifs

  • Créer un bucket Cloud Storage pour stocker votre ensemble de données et la sortie du modèle
  • Préparer l'ensemble de données COCO
  • Configurer une VM Compute Engine et un nœud Cloud TPU pour l'entraînement et l'évaluation
  • Exécuter les tâches d'entraînement et d'évaluation sur un seul Cloud TPU ou sur un pod Cloud TPU

Coûts

Ce tutoriel utilise des composants facturables de Google Cloud, dont :

  • Instance
  • Cloud TPU
  • Cloud Storage

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Avant de commencer

Avant de commencer ce tutoriel, vérifiez que votre projet Google Cloud est correctement configuré.

  1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.
  2. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

    Accéder au sélecteur de projet

  3. Assurez-vous que la facturation est activée pour votre projet Cloud. Découvrez comment vérifier que la facturation est activée pour votre projet.

  4. Ce tutoriel utilise des composants facturables de Google Cloud. Consultez la grille tarifaire de Cloud TPU pour estimer vos coûts. Veillez à nettoyer les ressources que vous avez créées lorsque vous avez terminé, afin d'éviter des frais inutiles.

Si vous prévoyez d'entraîner un modèle sur une tranche de pod TPU, consultez la section Entraînement sur les pods TPU pour comprendre les modifications de paramètres nécessaires pour les tranches de pods.

Configurer vos ressources

Cette section fournit des informations sur la configuration des ressources Cloud Storage, de VM et Cloud TPU pour ce tutoriel.

  1. Ouvrez une fenêtre Cloud Shell.

    Ouvrir Cloud Shell

  2. Créez une variable pour l'ID de votre projet.

    export PROJECT_ID=project-id
    
  3. Configurez l'outil de ligne de commande gcloud pour utiliser le projet dans lequel vous souhaitez créer Cloud TPU.

    gcloud config set project ${PROJECT_ID}
    

    La première fois que vous exécutez cette commande dans une nouvelle VM Cloud Shell, une page Authorize Cloud Shell s'affiche. Cliquez sur Authorize en bas de la page pour permettre à gcloud d'effectuer des appels d'API GCP avec vos identifiants.

  4. Créez un compte de service pour le projet Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    La commande renvoie un compte de service Cloud TPU au format suivant :

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Créez un bucket Cloud Storage à l'aide de la commande suivante :

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
    

    Ce bucket Cloud Storage stocke les données que vous utilisez pour entraîner votre modèle, ainsi que les résultats de l'entraînement. L'outil gcloud compute tpus execution-groups utilisé dans ce tutoriel définit les autorisations par défaut pour le compte de service Cloud TPU. Si vous souhaitez utiliser des autorisations plus précises, vérifiez les autorisations de niveau d'accès.

    L'emplacement du bucket doit se trouver dans la même région que votre machine virtuelle (VM) et votre nœud TPU. Les VM et les nœuds TPU sont situés dans des zones spécifiques, qui sont des subdivisions au sein d'une région.

  6. Lancez une instance de VM Compute Engine.

    $ gcloud compute tpus execution-groups create --vm-only \
     --name=shapemask-tutorial \
     --zone=us-central1-a \
     --disk-size=300 \
     --machine-type=n1-standard-16 \
     --tf-version=1.15.5
    

    Description des options de commande

    vm-only
    Pour créer une VM uniquement. Par défaut, la commande gcloud compute tpus execution-groups crée une VM et un Cloud TPU.
    name
    Nom de la ressource Cloud TPU à créer.
    zone
    Zone dans laquelle vous prévoyez de créer votre Cloud TPU.
    disk-size
    Taille du disque dur en Go de la VM créée par la commande gcloud compute tpus execution-groups.
    machine-type
    Type de machine de la VM Compute Engine à créer.
    tf-version
    La version de Tensorflow que ctpu installe sur la VM.
  7. La configuration que vous avez spécifiée apparaît. Saisissez y pour approuver ou n pour annuler.

    .

    Une fois la commande gcloud compute tpus execution-groups terminée, vérifiez que l'invite de l'interface système est passée de username@projectname à username@vm-name. Cette modification indique que vous êtes maintenant connecté à votre VM Compute Engine.

    gcloud compute ssh shapemask-tutorial --zone=us-central1-a
    

    À mesure que vous appliquez ces instructions, exécutez chaque commande commençant par (vm)$ dans votre instance Compute Engine.

  8. Créez une variable d'environnement pour stocker l'emplacement de votre bucket Cloud Storage.

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
  9. Créez une variable d'environnement pour le répertoire de données.

    (vm)$ export DATA_DIR=${STORAGE_BUCKET}/coco
    
  10. Clonez le dépôt tpu.

    (vm)$ git clone -b shapemask https://github.com/tensorflow/tpu/
    
  11. Installez les packages nécessaires au prétraitement des données.

    (vm)$ sudo apt-get install -y python3-tk && \
      pip3 install --user Cython matplotlib opencv-python-headless pyyaml Pillow && \
      pip3 install --user "git+https://github.com/cocodataset/cocoapi#egg=pycocotools&subdirectory=PythonAPI"
    

Préparer l'ensemble de données COCO

  1. Exécutez le script download_and_preprocess_coco.sh pour convertir l'ensemble de données COCO en un ensemble d'enregistrements TFRecord (*.tfrecord), format attendu par l'application d'entraînement.

    (vm)$ sudo bash /usr/share/tpu/tools/datasets/download_and_preprocess_coco.sh ./data/dir/coco
    

    Cela installe les bibliothèques requises et exécute le script de prétraitement. Il génère un certain nombre de fichiers *.tfrecord dans votre répertoire de données local.

  2. Après avoir converti les données en enregistrements TFRecord, copiez-les depuis l'espace de stockage local vers votre bucket Cloud Storage à l'aide de la commande gsutil. Vous devez également copier les fichiers d'annotation. Ces fichiers vous aident à valider les performances du modèle :

    (vm)$ gsutil -m cp ./data/dir/coco/*.tfrecord ${DATA_DIR}
    (vm)$ gsutil cp ./data/dir/coco/raw-data/annotations/*.json ${DATA_DIR}
    
    .

Configurer et démarrer Cloud TPU

  1. Lancez une ressource Cloud TPU à l'aide de la commande gcloud.

    (vm)$ gcloud compute tpus execution-groups create \
     --tpu-only \
     --accelerator-type=v3-8  \
     --name=shapemask-tutorial \
     --zone=us-central1-a \
     --tf-version=1.15.5
    

    Description des options de commande

    tpu-only
    Crée le Cloud TPU sans créer de VM. Par défaut, la commande gcloud compute tpus execution-groups crée une VM et un Cloud TPU.
    accelerator-type
    Type du Cloud TPU à créer.
    name
    Nom de la ressource Cloud TPU à créer.
    zone
    Zone dans laquelle vous prévoyez de créer votre Cloud TPU.
    tf-version
    La version de Tensorflow que ctpu installe sur la VM.
  2. La configuration que vous avez spécifiée apparaît. Saisissez y pour approuver ou n pour annuler.

    Le message suivant s'affiche : Operation success; not ssh-ing to Compute Engine VM due to --tpu-only flag. Vous pouvez ignorer ce message puisque vous avez déjà effectué la propagation de clé SSH.

  3. Ajoutez une variable d'environnement pour le nom du Cloud TPU.

    (vm)$ export TPU_NAME=shapemask-tutorial
    

Exécuter le script d'entraînement et d'évaluation

  1. Créez les variables d'environnement suivantes :

    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/shapemask_exp
    (vm)$ export RESNET_CHECKPOINT=gs://cloud-tpu-checkpoints/shapemask/retinanet/resnet101-checkpoint-2018-02-24
    (vm)$ export TRAIN_FILE_PATTERN=${DATA_DIR}/train-*
    (vm)$ export EVAL_FILE_PATTERN=${DATA_DIR}/val-*
    (vm)$ export VAL_JSON_FILE=${DATA_DIR}/instances_val2017.json
    (vm)$ export SHAPE_PRIOR_PATH=gs://cloud-tpu-checkpoints/shapemask/kmeans_class_priors_91x20x32x32.npy
    (vm)$ export PYTHONPATH=${PYTHONPATH}:$HOME/tpu/models
    
  2. Exécutez le script suivant pour effectuer l'entraînement.

    (vm)$ python3 ~/tpu/models/official/detection/main.py \
    --model=shapemask \
    --use_tpu=True \
    --tpu=${TPU_NAME} \
    --num_cores=8 \
    --model_dir=${MODEL_DIR} \
    --mode="train" \
    --eval_after_training=False \
    --params_override="{train: {iterations_per_loop: 1000, train_batch_size: 64, total_steps: 1000, learning_rate: {total_steps: 1000, warmup_learning_rate: 0.0067, warmup_steps: 500, init_learning_rate: 0.08, learning_rate_levels: [0.008, 0.0008], learning_rate_steps: [30000, 40000]}, checkpoint: { path: ${RESNET_CHECKPOINT}, prefix: resnet101/ }, train_file_pattern: ${TRAIN_FILE_PATTERN} }, resnet: {resnet_depth: 101}, eval: { val_json_file: ${VAL_JSON_FILE}, eval_file_pattern: ${EVAL_FILE_PATTERN}, eval_samples: 5000 }, shapemask_head: {use_category_for_mask: true, shape_prior_path: ${SHAPE_PRIOR_PATH}}, shapemask_parser: {output_size: [1024, 1024]}, }"
    

    Description des options de commande

    model
    Modèle à entraîner.
    use_tpu
    Définissez l'option true pour l'entraînement sur un Cloud TPU.
    tpu_name
    Nom du Cloud TPU à utiliser pour l'entraînement.
    num_cores
    Nombre de cœurs Cloud TPU à utiliser lors de l'entraînement.
    model_dir
    Le bucket Cloud Storage dans lequel les points de contrôle et les résumés sont stockés pendant l'entraînement. Vous pouvez utiliser un dossier existant pour charger des points de contrôle générés précédemment sur un TPU de la même taille et de la même version de TensorFlow.
    mode
    Spécifiez l'un des types suivants : train, eval ou train_and_eval.
    eval_after_training
    Défini sur true pour évaluer le modèle après l'entraînement.
    params_override
    Chaîne JSON qui remplace les paramètres de script par défaut. Pour en savoir plus sur les paramètres de script, consultez /usr/share/models/official/vision/detection/main.py.

À ce stade, vous pouvez terminer ce tutoriel et nettoyer vos ressources GCP, ou explorer le modèle sur un pod Cloud TPU.

Mettre à l'échelle votre modèle avec les pods Cloud TPU

Vous pouvez obtenir des résultats plus rapidement en adaptant votre modèle aux pods Cloud TPU. Le modèle Mask RCNN est totalement compatible et peut fonctionner avec les tranches de pod suivantes :

  • v2-32
  • v3-32

Lorsque vous utilisez des pods TPU Cloud, vous devez d'abord entraîner le modèle à l'aide d'un pod, puis utiliser un seul appareil Cloud TPU pour évaluer le modèle.

Entraîner avec les pods Cloud TPU

Si vous avez déjà supprimé votre instance Compute Engine, créez-en une nouvelle en suivant les étapes décrites dans la section Configurer vos ressources.

  1. Supprimez la ressource Cloud TPU que vous avez créée pour entraîner le modèle sur un seul appareil.

    (vm)$ gcloud compute tpus execution-groups delete shapemask-tutorial \
      --zone=us-central1-a \
      --tpu-only
  2. Accédez à votre bucket Cloud Storage et supprimez le fichier checkpoint.

  3. Exécutez la commande gcloud compute tpus execution-groups à l'aide du paramètre accelerator-type pour spécifier la tranche de pod que vous souhaitez utiliser. Par exemple, la commande suivante utilise une tranche de pod v3-32.

    (vm)$ gcloud compute tpus execution-groups  create --name=shapemask-tutorial \
      --accelerator-type=v2-32  \
      --zone=us-central1-a \
      --tf-version=1.15.5 \
      --tpu-only
    

    Description des options de commande

    name
    Nom de la ressource Cloud TPU à créer.
    accelerator-type
    Type du Cloud TPU à créer.
    zone
    Zone dans laquelle vous prévoyez de créer votre Cloud TPU.
    tf-version
    La version de Tensorflow que gcloud installe sur la VM.
    tpu-only
    Crée un Cloud TPU uniquement. Par défaut, la commande gcloud crée une VM et un Cloud TPU.
  4. Exécutez le script suivant pour entraîner le modèle sur un pod.

    Avec la ligne de commande indiquée, l'exécution du script d'entraînement dure environ 45 minutes. Pour exécuter une convergence, définissez total_steps sur 22 000.

    (vm)$ python3 ~/tpu/models/official/detection/main.py \
    --model shapemask \
    --use_tpu=True \
    --tpu=${TPU_NAME} \
    --num_cores=32 \
    --model_dir=${MODEL_DIR} \
    --mode="train" \
    --eval_after_training=False \
    --params_override="{train: {iterations_per_loop: 1000, train_batch_size: 256, total_steps: 1000, learning_rate: {total_steps: 1000, warmup_learning_rate: 0.0067, warmup_steps: 500, init_learning_rate: 0.08, learning_rate_levels: [0.008, 0.0008], learning_rate_steps: [15000, 20000]}, checkpoint: { path: ${RESNET_CHECKPOINT}, prefix: resnet101/ }, train_file_pattern: ${TRAIN_FILE_PATTERN} }, resnet: {resnet_depth: 101}, eval: { val_json_file: ${VAL_JSON_FILE}, eval_file_pattern: ${EVAL_FILE_PATTERN}, eval_samples: 5000 }, shapemask_head: {use_category_for_mask: true, shape_prior_path: ${SHAPE_PRIOR_PATH}}, shapemask_parser: {output_size: [1024, 1024]}, }"
    

    Description des options de commande

    strategy_type
    Pour entraîner le modèle RetinaNet sur un TPU, vous devez définir distribution_strategy sur tpu.
    tpu
    Nom du Cloud TPU. Cette valeur est définie à l'aide de la variable d'environnement TPU_NAME.
    model_dir
    Le bucket Cloud Storage dans lequel les points de contrôle et les résumés sont stockés pendant l'entraînement. Vous pouvez utiliser un dossier existant pour charger des points de contrôle générés précédemment sur un TPU de la même taille et de la même version de TensorFlow.
    mode
    Spécifiez l'un des types suivants : train, eval ou train_and_eval.
    model
    Modèle à entraîner.
    eval_after_training
    Défini sur true pour évaluer le modèle après l'entraînement.
    params_override
    Chaîne JSON qui remplace les paramètres de script par défaut. Pour en savoir plus sur les paramètres de script, consultez /usr/share/models/official/vision/detection/main.py.
  5. Le modèle doit être évalué sur un seul appareil Cloud TPU. Supprimez l'appareil Cloud TPU du pod.

    $ gcloud compute tpus execution-groups delete shapemask-tutorial \
      --zone=us-central1-a
    
  6. Créez une ressource Cloud TPU unique.

    (vm)$ gcloud compute tpus execution-groups create \
     --tpu-only \
     --accelerator-type=v3-8  \
     --name=shapemask-tutorial \
     --zone=us-central1-a \
     --tf-version=1.15.5
    

    Description des options de commande

    tpu-only
    Crée le Cloud TPU sans créer de VM. Par défaut, la commande gcloud compute tpus execution-groups crée une VM et un Cloud TPU.
    tpu-size
    Type du Cloud TPU à créer.
    name
    Nom de la ressource Cloud TPU à créer.
    zone
    Zone dans laquelle vous prévoyez de créer votre Cloud TPU.
    tf-version
    La version de Tensorflow que ctpu installe sur la VM.
  7. Exécutez le script pour effectuer l'évaluation.

    (vm)$ python3 ~/tpu/models/official/detection/main.py \
    --model shapemask \
    --use_tpu=True \
    --tpu=${TPU_NAME} \
    --num_cores=8 \
    --model_dir=${MODEL_DIR} \
    --mode="eval" \
    --eval_after_training=False \
    --params_override="{train: {iterations_per_loop: 1000, train_batch_size: 256, total_steps: 1000, learning_rate: {total_steps: 1000, warmup_learning_rate: 0.0067, warmup_steps: 500, init_learning_rate: 0.08, learning_rate_levels: [0.008, 0.0008], learning_rate_steps: [15000,20000]}, checkpoint: { path: ${RESNET_CHECKPOINT}, prefix: resnet101/ }, train_file_pattern: ${TRAIN_FILE_PATTERN} }, resnet: {resnet_depth: 101}, eval: { val_json_file: ${VAL_JSON_FILE}, eval_file_pattern: ${EVAL_FILE_PATTERN}, eval_samples: 5000 }, shapemask_head: {use_category_for_mask: true, shape_prior_path: ${SHAPE_PRIOR_PATH}}, shapemask_parser: {output_size: [1024, 1024]}, }"

    Description des options de commande

    model
    Modèle à entraîner.
    use_tpu
    Définissez l'option true pour l'entraînement sur un Cloud TPU.
    tpu
    Nom du Cloud TPU. Cette valeur est définie à l'aide de la variable d'environnement TPU_NAME.
    num_cores
    Nombre de cœurs Cloud TPU à utiliser lors de l'entraînement.
    model_dir
    Le bucket Cloud Storage dans lequel les points de contrôle et les résumés sont stockés pendant l'entraînement. Vous pouvez utiliser un dossier existant pour charger des points de contrôle générés précédemment sur un TPU de la même taille et de la même version de TensorFlow.
    mode
    Spécifiez l'un des types suivants : train, eval ou train_and_eval.
    eval_after_training
    Défini sur true pour évaluer le modèle après l'entraînement.
    params_override
    Chaîne JSON qui remplace les paramètres de script par défaut. Pour en savoir plus sur les paramètres de script, consultez /usr/share/models/official/vision/detection/main.py.

    Le résultat du script d'évaluation ressemble à ceci:

    Eval result: {
     'AP75': 0.116238795,
     'AP': 0.121657856,
     'mask_ARmax100': 0.29928473,
     'APl': 0.17029367,
     'mask_ARmax1': 0.17677748,
     'ARs': 0.14137766,
     'mask_AP': 0.12017078,
     'ARmax10': 0.29230836,
     'mask_AP50': 0.20920053,
     'ARm': 0.34366703,
     'AP50': 0.22949784,
     'mask_ARl': 0.41743836,
     'mask_ARs': 0.12669834,
     'APs': 0.046222884,
     'mask_APs': 0.041104294,
     'mask_APl': 0.17535995,
     'mask_ARm': 0.34216145,
     'mask_ARmax10': 0.28690106,
     'APm': 0.14354791,
     'ARmax100': 0.3058479,
     'ARmax1': 0.17576972,
     'ARl': 0.41305476,
     'mask_APm': 0.1422335,
     'mask_AP75': 0.12010279
    }
    

Nettoyer

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et les ressources individuelles.

  1. Déconnectez-vous de l'instance Compute Engine.

    (vm)$ exit
    

    Votre invite devrait maintenant être username@projectname, indiquant que vous êtes dans Cloud Shell.

  2. Dans Cloud Shell, utilisez la commande suivante pour supprimer la VM Compute Engine et votre ressource Cloud TPU :

    $ gcloud compute tpus execution-groups delete shapemask-tutorial \
      --zone=us-central1-a
    
  3. Vérifiez que les ressources ont été supprimées en exécutant gcloud compute tpus execution-groups list. La suppression peut prendre plusieurs minutes. Si vous obtenez une réponse semblable à celle présentée ci-dessous, vos instances ont bien été supprimées.

    $ gcloud compute tpus execution-groups list \
     --zone=us-central1-a
    

    Vous devriez voir une liste vide de TPU comme ci-dessous:

       NAME             STATUS
    
  4. Supprimez votre bucket Cloud Storage à l'aide de gsutil, comme illustré ci-dessous. Remplacez bucket-name par le nom de votre bucket Cloud Storage.

    $ gsutil rm -r gs://bucket-name
    

Étape suivante

Dans ce tutoriel, vous avez entraîné le modèle ShapeMask à l'aide d'un exemple d'ensemble de données. Les résultats de cet entraînement ne sont pas utilisables pour l'inférence dans la plupart des cas. Afin d'utiliser un modèle pour l'inférence, vous pouvez entraîner les données sur un ensemble de données accessible au public ou sur votre propre ensemble de données. Les modèles entraînés sur des appareils Cloud TPU nécessitent des ensembles de données au format TFRecord.

Vous pouvez utiliser l'exemple d'outil de conversion d'ensemble de données pour convertir un ensemble de données de classification d'images au format TFRecord. Si vous n'utilisez pas de modèle de classification d'images, vous devez convertir vous-même votre ensemble de données au format TFRecord. Pour en savoir plus, consultez la section TFRecord et tf.Example.

Réglages d'hyperparamètres

Pour améliorer les performances du modèle avec votre ensemble de données, vous pouvez régler ses hyperparamètres. Vous trouverez des informations sur les hyperparamètres communs à tous les modèles compatibles avec des TPU sur GitHub. Des informations sur les hyperparamètres spécifiques au modèle sont disponibles dans le code source de chaque modèle. Pour en savoir plus sur ces réglages, consultez les pages Présentation des réglages d'hyperparamètres, Utiliser le service de réglage d'hyperparamètres et Régler les hyperparamètres.

Inférence

Une fois que vous avez entraîné votre modèle, vous pouvez l'utiliser pour l'inférence (également appelée prédiction). AI Platform est une solution basée sur le cloud permettant de développer, d'entraîner et de déployer des modèles de machine learning. Une fois un modèle déployé, vous pouvez utiliser le service AI Platform Prediction.

Entraînez le modèle à l'aide d'autres tailles d'images

Vous pouvez essayer d'utiliser un réseau de neurones plus étendu (par exemple, ResNet-101 au lieu de ResNet-50). Une image d'entrée plus grande et un réseau de neurones plus puissant permettent d'obtenir un modèle plus précis, mais plus lent.

Utilisez une base différente

Vous pouvez pré-entraîner un modèle ResNet à l'aide de votre propre ensemble de données et l'utiliser comme base pour votre modèle ShapeMask. Vous pouvez également exploiter un autre réseau de neurones que ResNet, ce qui requiert quelques étapes de configuration supplémentaires. Enfin, si vous souhaitez mettre en œuvre vos propres modèles de détection d'objets, ce réseau peut constituer une bonne base pour vos tests.