Treinamento do RetinaNet na Cloud TPU (TF 2.x)

Neste documento, descrevemos uma implementação do modelo de detecção de objetos do RetinaNet. O código está disponível no GitHub.

Nas instruções abaixo, presume-se que você conheça a execução de um modelo na Cloud TPU. Se você conhece a Cloud TPU há pouco tempo, consulte o guia de início rápido para ver os conceitos básicos.

Se você planeja treinar em uma fração do pod da TPU, veja como realizar o treinamento em pods de TPU para entender as alterações de parâmetros necessárias para frações de pod.

Objetivos

  • Preparar o conjunto de dados COCO
  • Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
  • Configurar recursos de TPU para treinamento e avaliação
  • Executar treinamento e avaliação em uma única Cloud TPU ou em um pod da Cloud TPU.

Custos

Neste tutorial, há componentes faturáveis do Google Cloud, entre eles:

  • Compute Engine
  • Cloud TPU
  • Cloud Storage

Use a calculadora de preços para gerar uma estimativa de custos baseada na projeção de uso. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Antes de começar o tutorial, verifique se o projeto do Google Cloud foi configurado corretamente.

  1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
  2. No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  3. Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.

  4. No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  5. Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.

  6. Este tutorial usa componentes faturáveis do Google Cloud. Consulte a página de preços da Cloud TPU para fazer uma estimativa dos custos. Para evitar cobranças desnecessárias, não se esqueça de apagar os recursos criados ao terminar de usá-los.

Preparar o conjunto de dados COCO

Este tutorial usa o conjunto de dados COCO. O conjunto de dados precisa estar no formato TFRecord em um bucket do Cloud Storage a ser usado para treinamento.

Se você já tem o conjunto de dados COCO preparado em um bucket do Cloud Storage localizado nozona que será usada para treinar o modelo, você pode acessar diretamente otreinamento de dispositivo único. Caso contrário, use as etapas a seguir para preparar o conjunto de dados.

  1. Abra uma janela do Cloud Shell.

    Abra o Cloud Shell

  2. No Cloud Shell, crie um bucket do Cloud Storage usando o comando a seguir:

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name
    
  3. Inicie uma instância de VM do Compute Engine.

    Essa instância de VM só será usada para fazer o download e o pré-processamento do conjunto de dados COCO. Preencha o instance-name com um nome de sua escolha.

    $ gcloud compute tpus execution-groups create \
     --vm-only \
     --name=instance-name \
     --zone=europe-west4-a \
     --disk-size=300 \
     --machine-type=n1-standard-16 \
     --tf-version=2.6.0
    

    Descrições de sinalizações de comando

    vm-only
    Crie somente uma VM. Por padrão, o comando gcloud compute tpus execution-groups cria uma VM e uma Cloud TPU.
    name
    O nome da Cloud TPU a ser criada.
    zone
    A zona em que você planeja criar a Cloud TPU.
    disk-size
    O tamanho do disco rígido em GB da VM criada pelo comando gcloud compute tpus execution-groups .
    machine-type
    O tipo de máquina da VM do Compute Engine a ser criado.
    tf-version
    A versão do gcloud compute tpus execution-groups do Tensorflow é instalada na VM.
  4. Se você não estiver conectado automaticamente à instância do Compute Engine, faça login executando o seguinte comando ssh. Quando você faz login na VM, o prompt do shell muda de username@projectname para username@vm-name:

      $ gcloud compute ssh instance-name --zone=europe-west4-a
      

  5. Configure duas variáveis, uma para o bucket de armazenamento criado anteriormente e outra para o diretório que contém os dados de treinamento (DATA_DIR) no bucket de armazenamento.

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export DATA_DIR=${STORAGE_BUCKET}/coco
  6. Instale os pacotes necessários para pré-processar os dados.

    (vm)$ sudo apt-get install -y python3-tk && \
      pip3 install --user Cython matplotlib opencv-python-headless pyyaml Pillow && \
      pip3 install --user "git+https://github.com/cocodataset/cocoapi#egg=pycocotools&subdirectory=PythonAPI"
    
  7. Execute o script download_and_preprocess_coco.sh para converter o conjunto de dados COCO em um conjunto de TFRecords (*.tfrecord) esperado pelo aplicativo de treinamento.

    (vm)$ git clone https://github.com/tensorflow/tpu.git
    (vm)$ sudo bash tpu/tools/datasets/download_and_preprocess_coco.sh ./data/dir/coco
    

    Isso instala as bibliotecas necessárias e executa o script de pré-processamento. A saída são alguns arquivos *.tfrecord no diretório de dados. O script de download e conversão do COCO leva aproximadamente 1 hora para ser concluído.

  8. Copiar os dados para o bucket do Cloud Storage

    Depois de converter os dados para TFRecords, use o comando gsutil para copiá-los do armazenamento local para o bucket do Cloud Storage. Também é preciso copiar os arquivos de anotação. Eles ajudam a validar o desempenho do modelo.

    (vm)$ gsutil -m cp ./data/dir/coco/*.tfrecord ${DATA_DIR}
    (vm)$ gsutil cp ./data/dir/coco/raw-data/annotations/*.json ${DATA_DIR}
    
  9. Limpar os recursos da VM

    Depois que o conjunto de dados COCO for convertido em TFRecords e copiado para o DATA_DIR no bucket do Cloud Storage, será possível excluir a instância do Compute Engine.

    Desconecte-se da instância do Compute Engine:

    (vm)$ exit
    

    Agora, o prompt precisa ser username@projectname, mostrando que você está no Cloud Shell.

  10. Exclua a instância do Compute Engine.

      $ gcloud compute instances delete instance-name
        --zone=europe-west4-a
      

Treinamento de Retinanet em uma TPU de dispositivo único

Se você planeja treinar em uma fração do pod de TPU, consulte Treinamento em pods de TPU para entender as alterações necessárias para treinar em frações de pod.

  1. Abra uma janela do Cloud Shell.

    Abrir o Cloud Shell

  2. Crie uma variável para o ID do seu projeto.

    export PROJECT_ID=project-id
    
  3. Configure a ferramenta de linha de comando gcloud para usar o projeto em que a Cloud TPU será criada.

    gcloud config set project ${PROJECT_ID}
    

    Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página Authorize Cloud Shell. Clique em Authorize na parte inferior da página para permitir que gcloud faça chamadas de API do GCP com suas credenciais.

  4. Crie uma conta de serviço para o projeto da Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Crie um bucket do Cloud Storage usando o seguinte comando:

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name
    

    Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. O comando gcloud usado neste tutorial para configurar a TPU também configura permissões padrão para a conta de serviço do Cloud TPU configurada na etapa anterior. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

Configure e inicie a Cloud TPU

  1. Use o comando gcloud para iniciar uma VM do Compute Engine e a Cloud TPU. O comando usado depende do uso de VMs ou nós de TPU. Para ver mais informações sobre a arquitetura de duas VMs, consulte Arquitetura do sistema.

    VM de TPU

    $ gcloud alpha compute tpus tpu-vm create retinanet-tutorial \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --version=v2-alpha
    

    Descrições de sinalizações de comando

    zone
    A zona em que você planeja criar a Cloud TPU.
    accelerator-type
    O tipo da Cloud TPU a ser criada.
    version
    A versão do ambiente de execução do Cloud TPU.

    Nó da TPU

    $ gcloud compute tpus execution-groups create  \
     --zone=europe-west4-a \
     --name=retinanet-tutorial \
     --accelerator-type=v3-8 \
     --machine-type=n1-standard-8 \
     --disk-size=300 \
     --tf-version=2.6.0
    

    Descrições de sinalizações de comando

    zone
    A zona em que você planeja criar a Cloud TPU.
    accelerator-type
    O tipo da Cloud TPU a ser criada.
    machine-type
    O tipo de máquina da VM do Compute Engine a ser criado.
    disk-size
    O tamanho de volume raiz da VM do Compute Engine (em GB).
    tf-version
    A versão gcloud do TensorFlow é instalada na VM.

    Para mais informações sobre o comando gcloud, consulte a referência da gcloud.

  2. Se você não estiver conectado automaticamente à instância do Compute Engine, faça login executando o seguinte comando ssh. Quando você faz login na VM, o prompt do shell muda de username@projectname para username@vm-name:

    VM de TPU

    gcloud alpha compute tpus tpu-vm ssh retinanet-tutorial --zone=europe-west4-a
    

    Nó da TPU

    gcloud compute ssh retinanet-tutorial --zone=europe-west4-a
    

    Ao seguir essas instruções, execute cada comando iniciado por (vm)$ na janela de sessão da VM.

  3. Instalar pacotes extras

    O aplicativo de treinamento do RetinaNet requer vários pacotes extras. Instale-os agora:

    (vm)$ sudo apt-get install -y python3-tk
    (vm)$ pip3 install --user Cython matplotlib opencv-python-headless pyyaml Pillow
    
    (vm)$ pip3 install --user 'git+https://github.com/cocodataset/cocoapi#egg=pycocotools&subdirectory=PythonAPI'
    
  4. Instale os requisitos do TensorFlow.

    VM de TPU

    (vm)$ git clone https://github.com/tensorflow/models.git
    (vm)$ pip3 install -r models/official/requirements.txt
    

    Nó da TPU

    (vm)$ pip3 install --user -r /usr/share/models/official/requirements.txt
    
  5. Defina a variável de nome da Cloud TPU.

    VM de TPU

    (vm)$ export TPU_NAME=local
    

    Nó da TPU

    (vm)$ export TPU_NAME=retinanet-tutorial
    
  6. Adicione variáveis de ambiente aos diretórios de dados e modelos.

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export DATA_DIR=${STORAGE_BUCKET}/coco
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/retinanet-train
    
  7. Defina a variável de ambiente PYTHONPATH:

    VM de TPU

    (vm)$ export PYTHONPATH="${PWD}/models:${PYTHONPATH}"
    

    Nó da TPU

    (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
    
  8. Mude para o diretório que armazena o modelo:

    VM de TPU

    (vm)$ cd ~/models/official/vision/detection
    

    Nó da TPU

    (vm)$ cd /usr/share/models/official/vision/detection
    

Treinamento sobre dispositivos de Cloud TPU único

Os scripts de treinamento a seguir foram executados em uma Cloud TPU v3-8. Isso levará mais tempo, mas também é possível executá-los em um Cloud TPU v2-8.

Este exemplo de script abaixo é treinado por apenas 10 etapas e leva menos de cinco minutos para ser executado em um nó de TPU v3-8. O treinamento para a conversão leva cerca de 22.500 etapas e aproximadamente 1 hora e meia em uma TPU v3-8 do Cloud TPU.

  1. Configure as seguintes variáveis de ambiente:

    (vm)$ export RESNET_CHECKPOINT=gs://cloud-tpu-checkpoints/retinanet/resnet50-checkpoint-2018-02-07
    (vm)$ export TRAIN_FILE_PATTERN=${DATA_DIR}/train-*
    (vm)$ export EVAL_FILE_PATTERN=${DATA_DIR}/val-*
    (vm)$ export VAL_JSON_FILE=${DATA_DIR}/instances_val2017.json
    
  2. Execute o script de treinamento:

    (vm)$ python3 main.py \
         --strategy_type=tpu \
         --tpu=${TPU_NAME} \
         --model_dir=${MODEL_DIR} \
         --mode="train" \
         --params_override="{ type: retinanet, train: { total_steps: 10, checkpoint: { path: ${RESNET_CHECKPOINT}, prefix: resnet50/ }, train_file_pattern: ${TRAIN_FILE_PATTERN} }, eval: { val_json_file: ${VAL_JSON_FILE}, eval_file_pattern: ${EVAL_FILE_PATTERN}, eval_samples: 5000 } }"
    

    Descrições de sinalizações de comando

    strategy_type
    Para treinar o modelo RetinaNet em uma TPU, é necessário definir o distribution_strategy como tpu.
    tpu
    O nome da Cloud TPU. Isso é definido usando a variável de ambiente TPU_NAME.
    model_dir
    O bucket do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento. Use uma pasta atual para carregar os checkpoints gerados anteriormente criados em uma TPU do mesmo tamanho e versão do TensorFlow.
    mode
    Defina isso como train para treinar o modelo ou eval para avaliar o modelo.
    params_override
    Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte /usr/share/models/official/vision/detection/main.py.

O modelo será treinado para dez etapas em cerca de cinco minutos em uma TPU v3-8. Quando o treinamento for concluído, você verá um resultado semelhante a este:

Train Step: 10/10  / loss = {
  'total_loss': 2.4581615924835205,
  'cls_loss': 1.4098565578460693,
  'box_loss': 0.012001709081232548,
  'model_loss': 2.0099422931671143,
  'l2_regularization_loss': 0.44821977615356445,
  'learning_rate': 0.008165999
}
/ training metric = {
  'total_loss': 2.4581615924835205,
  'cls_loss': 1.4098565578460693,
  'box_loss': 0.012001709081232548,
  'model_loss': 2.0099422931671143,
  'l2_regularization_loss': 0.44821977615356445,
 'learning_rate': 0.008165999
}

Avaliação de dispositivos de Cloud TPU único

O procedimento a seguir usa os dados de avaliação do COCO. A execução das etapas de avaliação em uma TPU v3-8 leva cerca de 10 minutos.

  1. Configure as seguintes variáveis de ambiente:

    (vm)$ export EVAL_SAMPLES=5000
    
  2. Execute o script de avaliação:

    (vm)$ python3 main.py \
          --strategy_type=tpu \
          --tpu=${TPU_NAME} \
          --model_dir=${MODEL_DIR} \
          --checkpoint_path=${MODEL_DIR} \
          --mode=eval_once \
          --params_override="{ type: retinanet, eval: { val_json_file: ${VAL_JSON_FILE}, eval_file_pattern: ${EVAL_FILE_PATTERN}, eval_samples: ${EVAL_SAMPLES} } }"
    

    Descrições de sinalizações de comando

    strategy_type
    A estratégia de distribuição a ser usada. tpu ou multi_worker_gpu.
    tpu
    O nome da Cloud TPU. Isso é definido usando a variável de ambiente TPU_NAME.
    model_dir
    O bucket do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento. Use uma pasta atual para carregar os checkpoints gerados anteriormente criados em uma TPU do mesmo tamanho e versão do TensorFlow.
    mode
    Um de train, eval ou train_and_eval.
    params_override
    Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte /usr/share/models/official/vision/detection/main.py.

    No final da avaliação, você verá mensagens semelhantes às seguintes no console:

    Accumulating evaluation results...
    DONE (t=7.66s).
     Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.000
     Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.000
     Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.000
     Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.000
     Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.000
     Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.000
     Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.000
     Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.000
     Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.000
     Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.000
     Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.000
     Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.000
    

Você concluiu o treinamento e a avaliação para um dispositivo. Siga as etapas abaixo para excluir os recursos atuais da TPU de dispositivo único.

  1. Desconecte-se da instância do Compute Engine:

    (vm)$ exit
    

    Agora, o prompt precisa ser username@projectname, mostrando que você está no Cloud Shell.

  2. Exclua o recurso da TPU.

    VM de TPU

    $ gcloud alpha compute tpus tpu-vm delete retinanet-tutorial \
    --zone=europe-west4-a
    

    Descrições de sinalizações de comando

    zone
    A zona em que a Cloud TPU residiu.

    Nó da TPU

    $ gcloud compute tpus execution-groups delete retinanet-tutorial \
    --tpu-only \
    --zone=europe-west4-a
    

    Descrições de sinalizações de comando

    tpu-only
    Exclui apenas a Cloud TPU. A VM continua disponível.
    zone
    A zona que contém a TPU a ser excluída.

Neste ponto, é possível concluir este tutorial e limpar ou continuar executando o modelo nos pods da Cloud TPU.

Como escalonar o modelo com os pods da Cloud TPU

Treinamento de retinanet em um pod da TPU

  1. Abra uma janela do Cloud Shell.

    Abrir o Cloud Shell

  2. Crie uma variável para o ID do seu projeto.

    export PROJECT_ID=project-id
    
  3. Configure a ferramenta de linha de comando gcloud para usar o projeto em que a Cloud TPU será criada.

    gcloud config set project ${PROJECT_ID}
    

    Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página Authorize Cloud Shell. Clique em Authorize na parte inferior da página para permitir que gcloud faça chamadas de API do GCP com suas credenciais.

  4. Crie uma conta de serviço para o projeto da Cloud TPU.

    As contas de serviço permitem que o serviço do Cloud TPU acesse outros serviços do Google Cloud Platform.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Crie um bucket do Cloud Storage usando o comando a seguir ou use um bucket criado anteriormente para o projeto.

    No comando a seguir, substitua europe-west4 pelo nome da região que você usará para executar o treinamento. Substitua bucket-name pelo nome que você quer atribuir ao bucket.

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name
    

    Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. O comando gcloud usado neste tutorial configura permissões padrão para a conta de serviço do Cloud TPU configurada na etapa anterior. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

    O local do bucket precisa estar na mesma região que os recursos da TPU.

  6. Se você preparou anteriormente o conjunto de dados COCO e o moveu para o bucket de armazenamento, é possível usá-lo novamente no treinamento do pod. Se você ainda não preparou o conjunto de dados COCO, prepare-o agora e volte aqui para configurar o treinamento.

  7. Configurar e iniciar um pod do Cloud TPU

    Neste tutorial, especificamos um pod v3-32. Para outras opções de pod, consulte a página de tipos de TPU disponíveis.

    VM de TPU

    Inicie um pod de VM de TPU usando o comando gcloud alpha compute tpus tpu-vm. Neste tutorial, especificamos um pod v3-32. Para outras opções de pod, consulte a página de tipos de TPU disponíveis.

    $ gcloud alpha compute tpus tpu-vm create retinanet-tutorial \
    --zone=europe-west4-a \
    --accelerator-type=v3-32 \
    --version=v2-alpha-pod
    

    Descrições de sinalizações de comando

    zone
    A zona em que você planeja criar a Cloud TPU.
    accelerator-type
    O tipo da Cloud TPU a ser criada.
    version
    A versão do ambiente de execução do Cloud TPU.

    Nó da TPU

    Execute o comando gcloud compute tpus execution-groups, usando o parâmetro accelerator-type para especificar a fração de pod a ser usada. Por exemplo, o comando a seguir usa uma fatia de Pod v3-32.

    $ gcloud compute tpus execution-groups create  \
     --zone=europe-west4-a \
     --name=retinanet-tutorial \
     --accelerator-type=v3-32 \
     --machine-type=n1-standard-8 \
     --disk-size=300 \
     --tf-version=2.6.0 

    Descrições de sinalizações de comando

    zone
    A zona em que você planeja criar a Cloud TPU.
    name
    O nome da TPU. Se não for especificado, o padrão será seu nome de usuário.
    accelerator-type
    O tipo da Cloud TPU a ser criada.
    machine-type
    O tipo de máquina da VM do Compute Engine a ser criada.
    tf-version
    A versão gcloud do Tensorflow é instalada na VM.
  8. Se você não estiver conectado automaticamente à instância do Compute Engine, faça login executando o seguinte comando ssh. Quando você faz login na VM, o prompt do shell muda de username@projectname para username@vm-name:

    VM de TPU

    gcloud alpha compute tpus tpu-vm ssh retinanet-tutorial --zone=europe-west4-a
    

    Nó da TPU

    gcloud compute ssh retinanet-tutorial --zone=europe-west4-a
    
  9. Defina a variável de nome da Cloud TPU.

    (vm)$ export TPU_NAME=retinanet-tutorial
    
  10. Definir variáveis de bucket do Cloud Storage

    Configure as seguintes variáveis de ambiente, substituindo bucket-name pelo nome do bucket do Cloud Storage:

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/retinanet-train
    (vm)$ export DATA_DIR=${STORAGE_BUCKET}/coco
    

    O aplicativo de treinamento precisa que os dados de treinamento sejam acessíveis no Cloud Storage. Ele também usa o bucket do Cloud Storage para armazenar checkpoints durante o treinamento.

  11. Instalar pacotes extras

    O aplicativo de treinamento do RetinaNet requer vários pacotes extras. Instale-os agora:

    (vm)$ sudo apt-get install -y python3-tk
    (vm)$ pip3 install --user Cython matplotlib opencv-python-headless pyyaml Pillow
    (vm)$ pip3 install --user 'git+https://github.com/cocodataset/cocoapi#egg=pycocotools&subdirectory=PythonAPI' 
  12. Instale os requisitos do TensorFlow.

    VM de TPU

    (vm)$ git clone https://github.com/tensorflow/models.git
    (vm)$ pip3 install -r models/official/requirements.txt
    

    Nó da TPU

    (vm)$ pip3 install --user -r /usr/share/models/official/requirements.txt
    
  13. Defina algumas variáveis de ambiente obrigatórias:

    (vm)$ export RESNET_PRETRAIN_DIR=gs://cloud-tpu-checkpoints/retinanet/resnet50-checkpoint-2018-02-07
    (vm)$ export TRAIN_FILE_PATTERN=${DATA_DIR}/train-*
    (vm)$ export EVAL_FILE_PATTERN=${DATA_DIR}/val-*
    (vm)$ export VAL_JSON_FILE=${DATA_DIR}/instances_val2017.json
    
  14. Defina a variável de ambiente PYTHONPATH:

    VM de TPU

    (vm)$ export PYTHONPATH="${PWD}/models:${PYTHONPATH}"
    (vm)$ export TPU_LOAD_LIBRARY=0
    

    Nó da TPU

    (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
    
  15. Mude para o diretório que armazena o modelo:

    VM de TPU

    (vm)$ cd ~/models/official/vision/detection

    Nó da TPU

    (vm)$ cd /usr/share/models/official/vision/detection
  16. Treine o modelo

    VM de TPU

    (vm)$ python3 main.py \
    --strategy_type=tpu \
    --tpu=${TPU_NAME} \
    --model_dir=${MODEL_DIR} \
    --mode=train \
    --model=retinanet \
    --params_override="{architecture: {use_bfloat16: true}, eval: {batch_size: 40, eval_file_pattern: ${EVAL_FILE_PATTERN}, val_json_file: ${VAL_JSON_FILE}}, postprocess: {pre_nms_num_boxes: 1000}, predict: {batch_size: 40}, train: {batch_size: 256, checkpoint: {path: ${RESNET_PRETRAIN_DIR}, prefix: resnet50/}, iterations_per_loop: 5000, total_steps: 5625, train_file_pattern: ${TRAIN_FILE_PATTERN}, } }" 

    Descrições de sinalizações de comando

    tpu
    O nome da sua TPU.
    model_dir
    Especifica o diretório em que os checkpoints e resumos são armazenados durante o treinamento do modelo. Se a pasta não existir, ela será criada pelo programa. Ao usar um Cloud TPU, o model_dir precisa ser um caminho do Cloud Storage (gs://...). É possível reutilizar uma pasta existente para carregar os dados do checkpoint atual e armazenar outros checkpoints, desde que os checkpoints anteriores tenham sido criados usando o Cloud TPU do mesmo tamanho e versão do TensorFlow.
    params_override
    Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte ~/models/official/vision/detection/main.py.

    Este procedimento treina o modelo no conjunto de dados COCO para 5625 etapas de treinamento. Esse treinamento leva aproximadamente 20 minutos em um Cloud TPU v3-32. Quando o treinamento for concluído, será exibida uma mensagem semelhante a esta:

    Nó da TPU

    O exemplo de script de treinamento a seguir foi executado em um pod da Cloud TPU v3-32. Ele é treinado por apenas 10 etapas e leva menos de cinco minutos para ser executado. O treinamento para convergência requer 2.109 etapas e leva aproximadamente 50 minutos em um pod de TPU v3-32.

    (vm)$  python3 main.py \
    --strategy_type=tpu \
    --tpu=${TPU_NAME} \
    --model_dir=${MODEL_DIR} \
    --mode="train" \
    --params_override="{ type: retinanet, train: { total_steps: 10, batch_size: 256, checkpoint: { path: ${RESNET_CHECKPOINT}, prefix: resnet50/ }, train_file_pattern: ${TRAIN_FILE_PATTERN} }, eval: { val_json_file: ${VAL_JSON_FILE}, eval_file_pattern: ${EVAL_FILE_PATTERN}, eval_samples: 5000 } }" 

    Descrições de sinalizações de comando

    strategy_type
    A estratégia de distribuição a ser usada. tpu ou multi_worker_gpu;
    tpu
    Especifica o nome da Cloud TPU. Para isso, use a variável de ambiente TPU_NAME.
    model_dir
    O bucket do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento. É possível usar uma pasta existente para carregar checkpoints gerados anteriormente criados em uma TPU do mesmo tamanho e versão do TensorFlow.
    mode
    Um de train, eval ou train_and_eval.
    params_override
    Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte /usr/share/models/official/vision/detection/main.py.

Quando o treinamento for concluído, aparecerá uma mensagem semelhante à seguinte:

VM de TPU

Train Step: 5625/5625  / loss = {'total_loss': 0.730501651763916,
'cls_loss': 0.3229793608188629, 'box_loss': 0.003082591574639082,
'model_loss': 0.4771089553833008, 'l2_regularization_loss': 0.2533927261829376,
'learning_rate': 0.08} / training metric = {'total_loss': 0.730501651763916,
'cls_loss': 0.3229793608188629, 'box_loss': 0.003082591574639082,
'model_loss': 0.4771089553833008, 'l2_regularization_loss': 0.2533927261829376,
'learning_rate': 0.08} 

Nó da TPU

Train Step: 10/10  / loss = {'total_loss': 3.5455241203308105,
'cls_loss': 1.458828330039978, 'box_loss': 0.01220895815640688,
'model_loss': 2.0692763328552246, 'l2_regularization_loss': 1.4762479066848755,
'learning_rate': 0.008165999} / training metric = {'total_loss': 3.5455241203308105,
'cls_loss': 1.458828330039978, 'box_loss': 0.01220895815640688,
'model_loss': 2.0692763328552246, 'l2_regularization_loss': 1.4762479066848755,
'learning_rate': 0.008165999}

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

  1. Encerre a conexão com a VM do Compute Engine:

    (vm)$ exit
    

    Agora, o prompt precisa ser username@projectname, mostrando que você está no Cloud Shell.

  2. Exclua os recursos do Cloud TPU e do Compute Engine. O comando usado para excluir os recursos depende do uso de VMs ou nós de TPU. Para ver mais informações, consulte Arquitetura do sistema.

    VM de TPU

    $ gcloud alpha compute tpus tpu-vm delete retinanet-tutorial \
    --zone=europe-west4-a
    

    Nó da TPU

    $ gcloud compute tpus execution-groups delete retinanet-tutorial \
    --zone=europe-west4-a
    
  3. Execute gcloud compute tpus execution-groups list para verificar se os recursos foram excluídos. A exclusão pode levar vários minutos. Uma resposta como esta indica que suas instâncias foram excluídas com sucesso.

    $ gcloud compute tpus execution-groups list --zone=europe-west4-a
    
    Listed 0 items.
    
  4. Exclua o bucket do Cloud Storage usando gsutil, conforme mostrado abaixo. Substitua bucket-name pelo nome do bucket no Cloud Storage.

    $ gsutil rm -r gs://bucket-name
    

A seguir

Neste tutorial, você treinou o modelo RetinaNet usando um conjunto de dados de amostra. Os resultados deste treinamento (na maioria dos casos) não podem ser usados para inferência. Para usar um modelo para inferência, é possível treinar os dados em um conjunto de dados disponível publicamente ou no seu próprio conjunto de dados. Os modelos treinados nas Cloud TPUs exigem que os conjuntos de dados estejam no formato TFRecord.

Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagem no formato TFRecord. Se você não estiver usando um modelo de classificação de imagem, converta manualmente o conjunto de dados para o TFRecord. Para mais informações, consulte TFRecord e tf.Example (link em inglês).

Ajuste de hiperparâmetros

Para melhorar o desempenho do modelo com o conjunto de dados, é possível ajustar os hiperparâmetros. Encontre informações sobre hiperparâmetros comuns a todos os modelos compatíveis com a TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo podem ser encontradas no código-fonte de cada modelo. Para mais informações sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros, Como usar o serviço de ajuste de hiperparâmetros e Ajustar hiperparâmetros.

Inferência

Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). O AI Platform é uma solução baseada em nuvem para desenvolver, treinar e implantar modelos de machine learning. Depois que um modelo é implantado, use o serviço do AI Platform Prediction.

Treinar com diferentes tamanhos de imagem

Para explorar, use uma rede de backbone maior. Por exemplo, ResNet-101 em vez de ResNet-50. Uma imagem maior de entrada e um backbone mais potente produzirão um modelo mais lento, porém, mais preciso.

Usar uma base diferente

Se preferir, faça o pré-treinamento de um modelo do ResNet no próprio conjunto de dados e use-o como base para o modelo do RetinaNet. Com um pouco mais de trabalho, também é possível alternar uma outra rede de backbone em vez do ResNet. Por fim, caso tenha interesse em implementar modelos próprios de detecção de objetos, essa rede pode ser uma boa base para fazer mais experimentos.