Como treinar o ShapeMask na Cloud TPU

Neste documento, você verá como executar o modelo ShapeMask usando a Cloud TPU com o conjunto de dados COCO.

Nas instruções abaixo, presume-se que você conheça a execução de um modelo na Cloud TPU. Se você conhece a Cloud TPU há pouco tempo, consulte o guia de início rápido para ver os conceitos básicos.

Se você planeja treinar em uma fração do pod da TPU, veja como realizar o treinamento em pods de TPU para entender as alterações de parâmetros necessárias para frações de pod.

Objetivos

  • Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
  • Preparar o conjunto de dados COCO.
  • Configurar uma VM do Compute Engine e um nó da Cloud TPU para treinamento e avaliação.
  • Executar treinamento e avaliação em uma única Cloud TPU ou em um pod da Cloud TPU.

Custos

Neste tutorial, há componentes faturáveis do Google Cloud, entre eles:

  • Compute Engine
  • Cloud TPU
  • Cloud Storage

Use a calculadora de preços para gerar uma estimativa de custos baseada na projeção de uso. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Antes de começar o tutorial, verifique se o projeto do Google Cloud foi configurado corretamente.

  1. Faça login na sua conta do Google.

    Se você ainda não tiver uma, inscreva-se.

  2. No Console do Cloud, na página do seletor de projetos, selecione ou crie um projeto do Cloud.

    Acessar a página do seletor de projetos

  3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud. Saiba como confirmar se a cobrança está ativada para o seu projeto.

  4. Este tutorial usa componentes faturáveis do Google Cloud. Consulte a página de preços da Cloud TPU para fazer uma estimativa dos custos. Para evitar cobranças desnecessárias, não se esqueça de apagar os recursos criados ao terminar de usá-los.

Se você planeja treinar em uma fração do pod da TPU, veja como realizar o treinamento em pods de TPU para entender as alterações de parâmetros necessárias para frações de pod.

Configurar os recursos

Nesta seção, fornecemos informações sobre como configurar os recursos do Cloud Storage, da VM e do Cloud TPU para este tutorial.

  1. Abra uma janela do Cloud Shell.

    Abra o Cloud Shell

  2. Crie uma variável para o ID do seu projeto.

    export PROJECT_ID=project-id
    
  3. Configure a ferramenta de linha de comando gcloud para usar o projeto em que a Cloud TPU será criada.

    gcloud config set project ${PROJECT_ID}
    
  4. Crie uma conta de serviço para o projeto da Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Crie um bucket do Cloud Storage usando o seguinte comando:

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
    

    Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. A ferramenta ctpu up usada neste tutorial configura permissões padrão para a conta de serviço do Cloud TPU configurada na etapa anterior. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

    O local do bucket precisa estar na mesma região da máquina virtual (VM) e do nó da TPU. As VMs e os nós da TPU estão localizados em zonas específicas, que são subdivisões dentro de uma região.

  6. Inicie uma instância de VM do Compute Engine.

    $ ctpu up --zone=us-central1-a \
     --vm-only \
     --disk-size-gb=300 \
     --machine-type=n1-standard-16 \
     --tf-version=2.3.1 \
     --name=shapemask-tutorial
    
  7. A configuração especificada aparecerá. Digite y para aprovar ou n para cancelar.

  8. Quando o comando ctpu up terminar a execução, verifique se o prompt do shell foi alterado de username@projectname para username@vm-name. Essa alteração mostra que você fez login na VM do Compute Engine.

    gcloud compute ssh shapemask-tutorial --zone=us-central1-a
    

    Ao seguir essas instruções, execute cada comando iniciado por (vm)$ na janela de sessão da VM.

  9. Crie uma variável de ambiente para armazenar o local do bucket do Cloud Storage.

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
  10. Crie uma variável de ambiente para o diretório de dados.

    (vm)$ export DATA_DIR=${STORAGE_BUCKET}/coco
    
  11. Clone o repositório tpu.

    (vm)$ git clone -b shapemask https://github.com/tensorflow/tpu/
    
  12. Instale os pacotes necessários para pré-processar os dados.

    (vm)$ sudo apt-get install -y python3-tk && \
      pip3 install --user Cython matplotlib opencv-python-headless pyyaml Pillow && \
      pip3 install --user "git+https://github.com/cocodataset/cocoapi#egg=pycocotools&subdirectory=PythonAPI"
    

Preparar o conjunto de dados COCO

  1. Execute o script download_and_preprocess_coco.sh para converter o conjunto de dados COCO em um conjunto de TFRecords (*.tfrecord) esperado pelo aplicativo de treinamento.

    (vm)$ sudo bash /usr/share/tpu/tools/datasets/download_and_preprocess_coco.sh ./data/dir/coco
    

    Isso instala as bibliotecas necessárias e executa o script de pré-processamento. A saída são alguns arquivos *.tfrecord no diretório de dados.

  2. Depois de converter os dados para TFRecords, use o comando gsutil para copiá-los do armazenamento local para o bucket do Cloud Storage. Também é preciso copiar os arquivos de anotação. Eles ajudam a validar o desempenho do modelo.

    (vm)$ gsutil -m cp ./data/dir/coco/*.tfrecord ${DATA_DIR}
    (vm)$ gsutil cp ./data/dir/coco/raw-data/annotations/*.json ${DATA_DIR}
    

Configure e inicie a Cloud TPU

  1. Inicie um recurso da Cloud TPU.

    Execute o comando a seguir para criar o Cloud TPU.

    (vm)$ ctpu up --tpu-only \
     --tf-version=2.3.1 \
     --tpu-size=v3-8 \
     --name=shapemask-tutorial
    
  2. A configuração especificada aparecerá. Digite y para aprovar ou n para cancelar.

    Você verá a mensagem: Operation success; not ssh-ing to Compute Engine VM due to --tpu-only flag. Como você já concluiu a propagação de chave SSH anteriormente, ignore essa mensagem.

  3. Adicione uma variável de ambiente para o nome do Cloud TPU.

    (vm)$ export TPU_NAME=shapemask-tutorial
    

Configurar e começar a treinar o Cloud TPU

  1. Execute o comando a seguir para criar o Cloud TPU.

    (vm)$ ctpu up --tpu-only \
      --tpu-size=v3-8 \
      --zone=us-central1-a \
      --name=shapemask-tutorial \
      --tf-version=2.3.1
    Parâmetro Descrição
    tpu-size Especifica o tamanho da Cloud TPU. Neste tutorial, é usado um tamanho de TPU v3-8 para o treinamento e a avaliação de um único dispositivo.
    zone A zona em que você planeja criar o Cloud TPU. Ela precisa ser a mesma zona usada para a VM do Compute Engine. Exemplo: us-central1-a
    tf-version A versão do Tensorflow "ctpu" é instalada na VM.
  2. A configuração especificada aparecerá. Digite y para aprovar ou n para cancelar.

    Você verá a mensagem: Operation success; not ssh-ing to Compute Engine VM due to --tpu-only flag. Como você já concluiu a propagação de chave SSH anteriormente, ignore essa mensagem.

  3. Adicione uma variável de ambiente para o nome do Cloud TPU.

    (vm)$ export TPU_NAME=shapemask-tutorial
    

Executar o treinamento e a avaliação

O script a seguir executa um treinamento de amostra que é treinado por apenas 100 etapas e leva aproximadamente seis minutos para ser concluído em uma TPU v3-8. O treinamento para a conversão leva cerca de 22.500 etapas e aproximadamente 6 horas em uma TPU v3-8.

  1. Adicione algumas variáveis de ambiente obrigatórias:

    (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
    (vm)$ export RESNET_CHECKPOINT=gs://cloud-tpu-checkpoints/retinanet/resnet50-checkpoint-2018-02-07
    (vm)$ export TRAIN_FILE_PATTERN=${DATA_DIR}/train-*
    (vm)$ export EVAL_FILE_PATTERN=${DATA_DIR}/val-*
    (vm)$ export VAL_JSON_FILE=${DATA_DIR}/instances_val2017.json
    (vm)$ export SHAPE_PRIOR_PATH=gs://cloud-tpu-checkpoints/shapemask/kmeans_class_priors_91x20x32x32.npy
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/shapemask
    
  2. Execute o seguinte comando para treinar o modelo ShapeMask:

    (vm)$ python3 /usr/share/models/official/vision/detection/main.py \
    --strategy_type=tpu \
    --tpu=${TPU_NAME} \
    --model_dir=${MODEL_DIR} \
    --mode=train \
    --model=shapemask \
    --params_override="{train: {total_steps: 100, learning_rate: {init_learning_rate: 0.08, learning_rate_levels: [0.008, 0.0008], learning_rate_steps: [15000, 20000], }, checkpoint: { path: ${RESNET_CHECKPOINT},prefix: resnet50}, train_file_pattern: ${TRAIN_FILE_PATTERN}},  eval: {val_json_file: ${VAL_JSON_FILE},eval_file_pattern: ${EVAL_FILE_PATTERN},eval_samples: 5000}, shapemask_head: {use_category_for_mask: true, shape_prior_path: ${SHAPE_PRIOR_PATH}}, shapemask_parser: {output_size: [1024, 1024]}}"
    
    Parâmetro Descrição
    tpu Especifica o nome da Cloud TPU. Para isso, especifique a variável de ambiente (TPU_NAME).
    model_dir Especifica o diretório em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. Se a pasta não existir, ela será criada pelo programa. Ao usar um Cloud TPU, o model_dir precisa ser um caminho do Cloud Storage (`gs://...`). É possível reutilizar uma pasta atual para carregar dados dos checkpoints atuais e armazenar outros checkpoints, contanto que os anteriores tenham sido criados usando uma TPU do mesmo tamanho e versão do Tensorflow.
    RESNET_CHECKPOINT Especifica um checkpoint pré-treinado. O ShapeMask requer um modelo de classificação de imagem pré-treinado como o ResNet para servir de rede de backbone. Neste exemplo, usamos um checkpoint pré-treinado, criado com o modelo de demonstração do ResNet. Em vez disso, é possível treinar o próprio modelo do ResNet e especificar um checkpoint a partir do diretório do modelo do ResNet.
  3. Execute a avaliação:

    (vm)$ python3 /usr/share/models/official/vision/detection/main.py \
    --strategy_type=tpu \
    --tpu=${TPU_NAME} \
    --model_dir=${MODEL_DIR} \
    --mode=eval \
    --model=shapemask \
    --params_override="{eval: { val_json_file: ${VAL_JSON_FILE}, eval_file_pattern: ${EVAL_FILE_PATTERN}, eval_samples: 5000 } }"
    
    Parâmetro Descrição
    tpu Especifica o nome da Cloud TPU. Para isso, especifique a variável de ambiente (TPU_NAME).
    model_dir Especifica o diretório em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. Se a pasta não existir, ela será criada pelo programa. Ao usar um Cloud TPU, o model_dir precisa ser um caminho do Cloud Storage (`gs://...`). É possível reutilizar uma pasta atual para carregar dados dos checkpoints atuais e armazenar outros checkpoints, contanto que os anteriores tenham sido criados usando uma TPU do mesmo tamanho e versão do Tensorflow.

A partir daqui, é possível concluir este tutorial e limpar os recursos do GCP ou explorar a execução do modelo em um pod da Cloud TPU.

Como escalonar o modelo com os pods da Cloud TPU

Para resultados mais rápidos, escalone o modelo com os pods da Cloud TPU. O modelo Mask RCNN totalmente compatível pode funcionar com as seguintes frações de pod:

  • v2-32
  • v3-32

Ao trabalhar com pods da Cloud TPU, primeiro treine o modelo usando um pod e, em seguida, use um único dispositivo da Cloud TPU para avaliá-lo.

Como treinar com pods da Cloud TPU

Se você já tiver excluído sua instância do Compute Engine, crie uma nova seguindo as etapas em Configurar seus recursos.

O treinamento de amostra abaixo é executado por apenas 20 etapas e leva aproximadamente 10 minutos para ser concluído em um nó de TPU v3-32. O treinamento para a conversão leva cerca de 11.250 etapas e aproximadamente duas horas em um pod de TPU v3-32.

  1. Exclua o recurso da Cloud TPU criado para treinar o modelo em um único dispositivo da Cloud TPU.

    (vm)$ ctpu delete --tpu-only --zone=us-central1-a --name=shapemask-tutorial
  2. Execute o comando ctpu up, usando o parâmetro tpu-size para especificar a fração de pod a ser usada. Por exemplo, o comando a seguir usa uma fração de pod v3-32.

    (vm)$ ctpu up --tpu-only \
      --tpu-size=v3-32  \
      --zone=us-central1-a \
      --name=shapemask-tutorial \
      --tf-version=2.3.1 
  3. Atualize as variáveis de ambiente TPU_NAME e MODEL_DIR.

    (vm)$ export TPU_NAME=shapemask-tutorial
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/shapemask-pods
    
  4. Inicie o script de treinamento.

    (vm)$ python3 /usr/share/models/official/vision/detection/main.py \
    --strategy_type=tpu \
    --tpu=${TPU_NAME} \
    --model_dir=${MODEL_DIR} \
    --mode=train \
    --model=shapemask \
    --params_override="{train: { batch_size: 128, iterations_per_loop: 500, total_steps: 20, learning_rate: {'learning_rate_levels': [0.008, 0.0008], 'learning_rate_steps': [10000, 13000] }, checkpoint: { path: ${RESNET_CHECKPOINT}, prefix: resnet50/ }, train_file_pattern: ${TRAIN_FILE_PATTERN} }, eval: { val_json_file: ${VAL_JSON_FILE}, eval_file_pattern: ${EVAL_FILE_PATTERN}} shapemask_head: {use_category_for_mask: true, shape_prior_path: ${SHAPE_PRIOR_PATH}} }"
    
    Parâmetro Descrição
    tpu Especifica o nome da Cloud TPU. Para isso, especifique a variável de ambiente (TPU_NAME).
    model_dir Especifica o diretório em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. Se a pasta não existir, ela será criada pelo programa. Ao usar um Cloud TPU, o model_dir precisa ser um caminho do Cloud Storage (`gs://...`). É possível reutilizar uma pasta atual para carregar dados dos checkpoints atuais e armazenar outros checkpoints, contanto que os anteriores tenham sido criados usando uma TPU do mesmo tamanho e versão do Tensorflow.
    RESNET_CHECKPOINT Especifica um checkpoint pré-treinado. O ShapeMask requer um modelo de classificação de imagem pré-treinado como o ResNet para servir de rede de backbone. Neste exemplo, usamos um checkpoint pré-treinado, criado com o modelo de demonstração do ResNet. Em vez disso, é possível treinar o próprio modelo do ResNet e especificar um checkpoint a partir do diretório do modelo do ResNet.

Como avaliar o modelo

Nesta etapa, use um único nó da Cloud TPU para avaliar o modelo treinado acima em relação ao conjunto de dados COCO. A avaliação leva cerca de 20 minutos.

  1. Exclua o recurso da Cloud TPU criado para treinar o modelo em um pod.

    (vm)$ ctpu delete --tpu-only \
     --zone=us-central1-a \
     --name=shapemask-tutorial
  2. Inicie um novo dispositivo de TPU para executar a avaliação.

    (vm)$ ctpu up --tpu-only \
      --tpu-size=v3-8 \
      --zone=us-central1-a \
      --tf-version=2.3.1 \
      --name=shapemask-tutorial
    
  3. Atualize a variável de ambiente TPU_NAME.

    (vm)$ export TPU_NAME=shapemask-tutorial
    
  4. Inicie a avaliação.

    (vm)$ python3 /usr/share/models/official/vision/detection/main.py \
    --strategy_type=tpu \
    --tpu=shapemask-tutorial \
    --model_dir=${MODEL_DIR} \
    --mode=eval \
    --model=shapemask \
    --params_override="{eval: { val_json_file: ${VAL_JSON_FILE}, eval_file_pattern: ${EVAL_FILE_PATTERN}, eval_samples: 5000 } }"
    

Limpar

Para evitar cobranças dos recursos usados neste tutorial na conta do Google Cloud Platform:

  1. Desconecte-se da instância do Compute Engine, caso ainda não tenha feito isso:

    (vm)$ exit
    

    Agora, o prompt precisa ser username@projectname, mostrando que você está no Cloud Shell.

  2. No Cloud Shell, execute ctpu delete com a sinalização --zone usada ao configurar a Cloud TPU para excluir a VM do Compute Engine e a Cloud TPU:

    $ ctpu delete --zone=us-central1-a \
     --name=shapemask-tutorial
    
  3. Execute o seguinte comando para verificar se a VM do Compute Engine e a Cloud TPU foram encerradas:

    $ ctpu status --zone=us-central1-a \
      --name=shapemask-tutorial
    

    A exclusão pode levar vários minutos. Uma resposta como esta indica que não há mais instâncias alocadas:

    2018/04/28 16:16:23 WARNING: Setting zone to "us-central1-a"
    No instances currently exist.
       Compute Engine VM:     --
       Cloud TPU:             --
    
  4. Execute gsutil conforme mostrado. Substitua bucket-name pelo nome do bucket do Cloud Storage criado para este tutorial:

    $ gsutil rm -r gs://bucket-name
    

A seguir

Treinar com diferentes tamanhos de imagem

Para explorar, use uma rede neural maior. Por exemplo, ResNet-101 em vez de ResNet-50. Uma imagem maior de entrada e uma rede neural mais potente produzirão um modelo mais lento, porém, mais preciso.

Usar uma base diferente

Se preferir, faça o pré-treinamento de um modelo do ResNet no seu próprio conjunto de dados e use-o como base para o modelo do ShapeMask. Com mais trabalho, você também pode trocar em uma rede neural alternativa no lugar do ResNet. Por fim, caso tenha interesse em implementar modelos próprios de detecção de objetos, essa rede pode ser uma boa base para fazer mais experimentos.