Como treinar o Mask RCNN no Cloud TPU

Visão geral

Neste tutorial, você verá como executar o modelo Mask RCNN usando a Cloud TPU com o conjunto de dados COCO (em inglês).

Mask RCNN é uma rede neural profunda projetada para abordar a detecção de objetos e a segmentação de imagens, um dos desafios mais difíceis da visão computacional.

O modelo Mask RCNN gera caixas delimitadoras e máscaras de segmentação para cada instância de um objeto na imagem. O modelo é baseado na rede de pirâmide de recursos (FPN, na sigla em inglês) e em uma rede neural ResNet50.

Neste tutorial, tf.contrib.tpu.TPUEstimator (em inglês) é usado para treinar o modelo. A API TPUEstimator é uma API do TensorFlow de alto nível e é recomendada para criar e executar um modelo de machine learning na Cloud TPU. A API simplifica o processo de desenvolvimento do modelo ao ocultar a maior parte da implementação de nível baixo. Isso facilita a alternância entre a TPU e outras plataformas, como GPU ou CPU.

Objetivos

  • Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
  • Preparar o conjunto de dados COCO.
  • Configurar uma VM do Compute Engine e um nó da Cloud TPU para treinamento e avaliação.
  • Executar treinamento e avaliação em uma única Cloud TPU ou em um pod da Cloud TPU.

Custos

Neste tutorial, há componentes faturáveis do Google Cloud, entre eles:

  • Compute Engine
  • Cloud TPU
  • Cloud Storage

Use a calculadora de preços para gerar uma estimativa de custos baseada na projeção de uso. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Antes de começar o tutorial, verifique se o projeto do Google Cloud foi configurado corretamente.

  1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
  2. No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  3. Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.

  4. No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  5. Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.

  6. Este tutorial usa componentes faturáveis do Google Cloud. Consulte a página de preços da Cloud TPU para fazer uma estimativa dos custos. Para evitar cobranças desnecessárias, não se esqueça de apagar os recursos criados ao terminar de usá-los.

Se você planeja treinar em uma fração do pod da TPU, veja como realizar o treinamento em pods de TPU para entender as alterações de parâmetros necessárias para frações de pod.

Configurar os recursos

Nesta seção, fornecemos informações sobre como configurar os recursos do Cloud Storage, da VM e do Cloud TPU para este tutorial.

  1. Abra uma janela do Cloud Shell.

    Abrir o Cloud Shell

  2. Crie uma variável de ambiente para o código do projeto.

    export PROJECT_ID=project-id
  3. Configure a ferramenta de linha de comando da gcloud para usar o projeto em que o Cloud TPU será criado.

    gcloud config set project ${PROJECT_ID}
    

    Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página Authorize Cloud Shell. Clique em Authorize na parte inferior da página para permitir que gcloud faça chamadas de API do GCP com suas credenciais.

  4. Crie uma conta de serviço para o projeto da Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Crie um bucket do Cloud Storage usando o seguinte comando:

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
    

    Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. O comando gcloud compute tpus execution-groups usado neste tutorial configura permissões padrão para a conta de serviço da Cloud TPU. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

    O local do bucket precisa estar na mesma região da máquina virtual (VM) e do nó da TPU. As VMs e os nós da TPU estão localizados em zonas específicas, que são subdivisões dentro de uma região.

  6. Inicie os recursos do Compute Engine e da Cloud TPU necessários neste tutorial usando o comando gcloud compute tpus execution-groups.

    gcloud compute tpus execution-groups create \
     --vm-only \
     --name=mask-rcnn-tutorial \
     --zone=europe-west4-a \
     --disk-size=300 \
     --machine-type=n1-standard-8 \
     --tf-version=1.15.5
    

    Descrições de sinalizações de comando

    vm-only
    Crie apenas a VM do Compute Engine, não crie uma Cloud TPU.
    name
    O nome da Cloud TPU a ser criada.
    zone
    A zona em que você planeja criar a Cloud TPU.
    disk-size
    O tamanho do disco rígido em GB da VM criada pelo comando gcloud .
    machine-type
    O tipo de máquina da VM do Compute Engine a ser criado.
    tf-version
    A versão do gcloud do Tensorflow é instalada na VM.
  7. A configuração especificada aparecerá. Digite y para aprovar ou n para cancelar.

  8. Quando o comando gcloud compute tpus execution-groups terminar a execução, verifique se o prompt do shell foi alterado de username@projectname para username@vm-name. Essa alteração mostra que você fez login na VM do Compute Engine.

    gcloud compute ssh mask-rcnn-tutorial --zone=europe-west4-a
    

    Ao seguir essas instruções, execute cada comando iniciado por (vm)$ na janela de sessão da VM.

Instalar pacotes extras

O aplicativo de treinamento Mask RCNN requer vários pacotes extras. Instale-os agora:

(vm)$ sudo apt-get install -y python3-tk && \
  pip3 install --user Cython matplotlib opencv-python-headless pyyaml Pillow && \
  pip3 install --user 'git+https://github.com/cocodataset/cocoapi#egg=pycocotools&subdirectory=PythonAPI' && \
  pip3 install --user -U gast==0.2.2

Atualizar os valores de sinal de atividade da conexão da VM

Para este tutorial, é necessária uma conexão de longa duração com a instância do Compute Engine. Para garantir que a instância não seja desconectada, execute o seguinte comando:

(vm)$ sudo /sbin/sysctl \
  -w net.ipv4.tcp_keepalive_time=120 \
  net.ipv4.tcp_keepalive_intvl=120 \
  net.ipv4.tcp_keepalive_probes=5

Preparar os dados

  1. Adicione uma variável de ambiente para seu bucket de armazenamento. Substitua bucket-name pelo nome do seu bucket.

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
  2. Adicione uma variável de ambiente para o diretório de dados.

    (vm)$ export DATA_DIR=${STORAGE_BUCKET}/coco
    
  3. Adicione uma variável de ambiente para o diretório do modelo.

    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/mask-rcnn
    
  4. Execute o script download_and_preprocess_coco.sh para converter o conjunto de dados COCO em um conjunto de TFRecords (*.tfrecord) esperado pelo aplicativo de treinamento.

    (vm)$ sudo bash /usr/share/tpu/tools/datasets/download_and_preprocess_coco.sh ./data/dir/coco
    

    Isso instala as bibliotecas necessárias e executa o script de pré-processamento. Ele gera uma série de arquivos *.tfrecord no diretório de dados locais.

  5. Copie os dados para o bucket do Cloud Storage

    Depois de converter os dados para TFRecords, use o comando gsutil para copiá-los do armazenamento local para o bucket do Cloud Storage. Também é preciso copiar os arquivos de anotação. Eles ajudam a validar o desempenho do modelo.

    (vm)$ gsutil -m cp ./data/dir/coco/*.tfrecord ${DATA_DIR}
    
    (vm)$ gsutil cp ./data/dir/coco/raw-data/annotations/*.json ${DATA_DIR}
    

Configure e inicie a Cloud TPU

  1. Execute o comando a seguir para criar o Cloud TPU.

    (vm)$ gcloud compute tpus execution-groups create \
     --tpu-only \
     --accelerator-type=v3-8 \
     --name=mask-rcnn-tutorial \
     --zone=europe-west4-a \
     --tf-version=1.15.5
    

    Descrições de sinalizações de comando

    tpu-only
    Crie apenas o Cloud TPU, não crie um Compute Engine.
    accelerator-type
    O tipo da Cloud TPU a ser criada.
    name
    O nome da Cloud TPU a ser criada.
    zone
    A zona em que você planeja criar a Cloud TPU.
    tf-version
    A versão do gcloud do Tensorflow é instalada na VM.
  2. A configuração especificada aparecerá. Digite y para aprovar ou n para cancelar.

    Você verá a mensagem: Operation success; not ssh-ing to Compute Engine VM due to --tpu-only flag. Como você já concluiu a propagação de chave SSH anteriormente, ignore essa mensagem.

  3. Adicione uma variável de ambiente para o nome do Cloud TPU.

    (vm)$ export TPU_NAME=mask-rcnn-tutorial
    

Executar o treinamento e a avaliação

  1. Adicione algumas variáveis de ambiente obrigatórias:

    (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/tpu/models"
    (vm)$ export RESNET_CHECKPOINT=gs://cloud-tpu-checkpoints/retinanet/resnet50-checkpoint-2018-02-07
    (vm)$ export TRAIN_FILE_PATTERN=${DATA_DIR}/train-*
    (vm)$ export EVAL_FILE_PATTERN=${DATA_DIR}/val-*
    (vm)$ export VAL_JSON_FILE=${DATA_DIR}/instances_val2017.json
    (vm)$ export ACCELERATOR_TYPE=v3-8
    
  2. Navegue até o diretório /usr/share.

    (vm)$ cd /usr/share
    
  3. Execute o seguinte comando para executar o treinamento e a avaliação.

    (vm)$ python3 tpu/models/official/mask_rcnn/mask_rcnn_main.py \
    --use_tpu=True \
    --tpu=${TPU_NAME} \
    --model_dir=${MODEL_DIR} \
    --num_cores=8 \
    --mode="train_and_eval" \
    --config_file="/usr/share/tpu/models/official/mask_rcnn/configs/cloud/${ACCELERATOR_TYPE}.yaml" \
    --params_override="checkpoint=${RESNET_CHECKPOINT}, training_file_pattern=${TRAIN_FILE_PATTERN}, validation_file_pattern=${EVAL_FILE_PATTERN}, val_json_file=${VAL_JSON_FILE}"
      

    Descrições de sinalizações de comando

    use_tpu
    Defina como true para treinar em um Cloud TPU.
    tpu
    O nome do Cloud TPU para executar treinamento ou avaliação.
    model_dir
    O bucket do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento. Use uma pasta atual para carregar os checkpoints gerados anteriormente criados em uma TPU do mesmo tamanho e versão do TensorFlow.
    num_cores
    O número de núcleos do Cloud TPU a serem usados no treinamento.
    mode
    Um de train, eval ou train_and_eval.
    config_file
    O arquivo de configuração usado pelo script de treinamento/avaliação.
    params_override
    Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte /usr/share/models/official/vision/detection/main.py.

Após a conclusão, o script de treinamento exibe uma saída como esta:

Eval results: {
  'AP75': 0.40665552,
  'APs': 0.21580082,
  'ARmax10': 0.48935828,
  'ARs': 0.3210774,
  'ARl': 0.6564725,
  'AP50': 0.58614284,
  'mask_AP': 0.33921072,
  'mask_AP50': 0.553329,
  'ARm': 0.5500552,
  'mask_APm': 0.37276757,
  'mask_ARmax100': 0.46716768,
  'mask_AP75': 0.36201102,
  'ARmax1': 0.3094466,
  'ARmax100': 0.51287305,
  'APm': 0.40756866,
  'APl': 0.48908308,
  'mask_ARm': 0.50562346,
  'mask_ARl': 0.6192515,
  'mask_APs': 0.17869519,
  'mask_ARmax10': 0.44764888,
  'mask_ARmax1': 0.2897982,
  'mask_ARs': 0.27102336,
  'mask_APl': 0.46426648,
  'AP': 0.37379172
}

A partir daqui, é possível concluir este tutorial e limpar os recursos do GCP ou explorar a execução do modelo em um pod da Cloud TPU.

Como escalonar o modelo com os pods da Cloud TPU

Para resultados mais rápidos, escalone o modelo com os pods da Cloud TPU. O modelo Mask RCNN totalmente compatível pode funcionar com as seguintes frações de pod:

  • v2-32
  • v3-32

Ao trabalhar com pods da Cloud TPU, primeiro treine o modelo usando um pod e, em seguida, use um único dispositivo da Cloud TPU para avaliá-lo.

Como treinar com pods da Cloud TPU

Se você já tiver excluído sua instância do Compute Engine, crie uma nova seguindo as etapas em Configurar seus recursos.

  1. Exclua o recurso da Cloud TPU criado para treinar o modelo em um único dispositivo.

    (vm)$ gcloud compute tpus execution-groups delete mask-rcnn-tutorial \
      --zone=europe-west4-a \
      --tpu-only
    
  2. Execute o comando gcloud compute tpus execution-groups, usando o parâmetro accelerator-type para especificar a fração de pod a ser usada. Por exemplo, o comando a seguir usa uma fração de pod v3-32.

    (vm)$ gcloud compute tpus execution-groups  create --tpu-only \
      --accelerator-type=v3-32 \
      --zone=europe-west4-a \
      --name=mask-rcnn-tutorial \
      --tf-version=1.15.5
    

    Descrições de sinalizações de comando

    tpu-only
    Crie apenas uma Cloud TPU. Por padrão, o comando gcloud cria uma VM e uma Cloud TPU.
    accelerator-type
    O tipo da Cloud TPU a ser criada.
    zone
    A zona em que você planeja criar a Cloud TPU.
    name
    O nome da Cloud TPU a ser criada.
    tf-version
    A versão do gcloud compute tpus execution-groups do Tensorflow é instalada na VM.
  3. Atualize as variáveis de ambiente TPU_NAME, MODEL_DIR e ACCELERATOR_TYPE.

    (vm)$ export TPU_NAME=mask-rcnn-tutorial
    (vm)$ export ACCELERATOR_TYPE=v3-32
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/mask-rcnn-pods
    
  4. Inicie o script de treinamento.

    (vm)$ python3 tpu/models/official/mask_rcnn/mask_rcnn_main.py \
      --use_tpu=True \
      --tpu=${TPU_NAME} \
      --iterations_per_loop=500 \
      --model_dir=${MODEL_DIR} \
      --num_cores=32 \
      --mode="train" \
      --config_file="/usr/share/tpu/models/official/mask_rcnn/configs/cloud/${ACCELERATOR_TYPE}.yaml" \
      --params_override="checkpoint=${RESNET_CHECKPOINT}, training_file_pattern=${TRAIN_FILE_PATTERN}, validation_file_pattern=${EVAL_FILE_PATTERN}, val_json_file=${VAL_JSON_FILE}"
      

    Descrições de sinalizações de comando

    use_tpu
    Defina como true para treinar em um Cloud TPU.
    tpu
    O nome do Cloud TPU para executar treinamento ou avaliação.
    iterations_per_loop
    O número de iterações a serem concluídas em uma época.
    model_dir
    O bucket do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento. Use uma pasta atual para carregar os checkpoints gerados anteriormente criados em uma TPU do mesmo tamanho e versão do TensorFlow.
    num_cores
    O número de núcleos do Cloud TPU a serem usados no treinamento.
    mode
    Um de train, eval ou train_and_eval.
    config_file
    O arquivo de configuração usado pelo script de treinamento/avaliação.
    params_override
    Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte /usr/share/models/official/vision/detection/main.py.

Quando terminar, a saída do script de treinamento ficará assim:

I1201 07:22:49.762461 139992247961344 tpu_estimator.py:616] Shutdown TPU system.
INFO:tensorflow:Loss for final step: 0.7160271.

Como avaliar o modelo

Nesta etapa, use um único nó da Cloud TPU para avaliar o modelo treinado acima em relação ao conjunto de dados COCO. A avaliação leva cerca de 10 minutos.

  1. Exclua o recurso do Cloud TPU criado para treinar o modelo em um pod.

    (vm)$ gcloud compute tpus execution-groups delete mask-rcnn-tutorial \
      --tpu-only \
      --zone=europe-west4-a
      
  2. Inicie um Cloud TPU v2-8 para executar a avaliação. Use o mesmo nome que você usou para a VM do Compute Engine, que ainda precisa estar em execução.

    (vm)$ gcloud compute tpus execution-groups create --tpu-only \
      --accelerator-type=v2-8 \
      --zone=europe-west4-a \
      --name=mask-rcnn-tutorial \
      --tf-version=1.15.5
    

    Descrições de sinalizações de comando

    tpu-only
    Crie apenas uma Cloud TPU. Por padrão, o comando gcloud cria uma VM e uma Cloud TPU.
    accelerator-type
    O tipo da Cloud TPU a ser criada.
    zone
    A zona em que você planeja criar a Cloud TPU.
    name
    O nome da Cloud TPU a ser criada.
    tf-version
    A versão do gcloud do Tensorflow é instalada na VM.
  3. Inicie a avaliação.

    (vm)$ python3 tpu/models/official/mask_rcnn/mask_rcnn_main.py \
      --use_tpu=True \
      --tpu=${TPU_NAME} \
      --iterations_per_loop=500 \
      --mode=eval \
      --model_dir=${MODEL_DIR} \
      --config_file="/usr/share/tpu/models/official/mask_rcnn/configs/cloud/${ACCELERATOR_TYPE}.yaml" \
      --params_override="checkpoint=${CHECKPOINT},training_file_pattern=${PATH_GCS_MASKRCNN}/train-*,val_json_file=${PATH_GCS_MASKRCNN}/instances_val2017.json,validation_file_pattern=${PATH_GCS_MASKRCNN}/val-*,init_learning_rate=0.28,learning_rate_levels=[0.028, 0.0028, 0.00028],learning_rate_steps=[6000, 8000, 10000],momentum=0.95,num_batch_norm_group=1,num_steps_per_eval=500,global_gradient_clip_ratio=0.02,total_steps=11250,train_batch_size=512,warmup_steps=1864"
      

    Descrições de sinalizações de comando

    use_tpu
    Use uma TPU no treinamento ou na avaliação.
    tpu
    O nome do Cloud TPU para executar treinamento ou avaliação.
    iterations_per_loop
    O número de iterações a serem concluídas em uma época.
    mode
    Um de train, eval ou train_and_eval.
    model_dir
    O bucket do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento. Use uma pasta atual para carregar os checkpoints gerados anteriormente criados em uma TPU do mesmo tamanho e versão do TensorFlow.
    config_file
    O arquivo de configuração usado pelo script de treinamento/avaliação.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

Limpe a instância de VM do Compute Engine e os recursos da Cloud TPU.

  1. Desconecte-se da instância do Compute Engine, caso ainda não tenha feito isso:

    (vm)$ exit
    

    Agora, o prompt será username@projectname, mostrando que você está no Cloud Shell.

  2. No Cloud Shell, use o seguinte comando para excluir a VM do Compute Engine e o Cloud TPU:

    $ gcloud compute tpus execution-groups delete mask-rcnn-tutorial \
      --zone=europe-west4-a
    
  3. Execute gcloud compute tpus execution-groups list para verificar se os recursos foram excluídos. A exclusão pode levar vários minutos. Uma resposta como esta indica que suas instâncias foram excluídas com sucesso.

    $ gcloud compute tpus execution-groups list \
     --zone=europe-west4-a
    

    Você verá uma lista vazia de TPUs como a seguinte:

       NAME             STATUS
    
  4. Exclua o bucket do Cloud Storage usando gsutil, conforme mostrado abaixo. Substitua bucket-name pelo nome do bucket no Cloud Storage.

    $ gsutil rm -r gs://bucket-name
    

A seguir

Neste tutorial, você treinou o modelo Mask-RCNN usando um conjunto de dados de amostra. Os resultados deste treinamento (na maioria dos casos) não podem ser usados para inferência. Para usar um modelo para inferência, é possível treinar os dados em um conjunto de dados disponível publicamente ou no seu próprio conjunto de dados. Os modelos treinados nas Cloud TPUs exigem que os conjuntos de dados estejam no formato TFRecord.

Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagem no formato TFRecord. Se você não estiver usando um modelo de classificação de imagem, converta manualmente o conjunto de dados para o TFRecord. Para mais informações, consulte TFRecord e tf.Example (link em inglês).

Ajuste de hiperparâmetros

Para melhorar o desempenho do modelo com o conjunto de dados, é possível ajustar os hiperparâmetros. Encontre informações sobre hiperparâmetros comuns a todos os modelos compatíveis com a TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo podem ser encontradas no código-fonte de cada modelo. Para mais informações sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros, Como usar o serviço de ajuste de hiperparâmetros e Ajustar hiperparâmetros.

Inferência

Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). O AI Platform é uma solução baseada em nuvem para desenvolver, treinar e implantar modelos de machine learning. Depois que um modelo é implantado, use o serviço do AI Platform Prediction.