Neste documento, você verá sobre a implementação do modelo de detecção de objetos do RetinaNet. O código está disponível no GitHub.
Nas instruções abaixo, presume-se que você conheça a execução de um modelo na Cloud TPU. Se você conhece a Cloud TPU há pouco tempo, consulte o guia de início rápido para ver os conceitos básicos.
Se você planeja treinar em uma fração do pod da TPU, veja como realizar o treinamento em pods de TPU para entender as alterações de parâmetros necessárias para frações de pod.
Objetivos
- Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
- Preparar o conjunto de dados COCO.
- Configurar uma VM do Compute Engine e um nó da Cloud TPU para treinamento e avaliação.
- Executar treinamento e avaliação em uma única Cloud TPU ou em um pod da Cloud TPU.
Custos
Neste tutorial, há componentes faturáveis do Google Cloud, entre eles:- Compute Engine
- Cloud TPU
- Cloud Storage
Use a calculadora de preços para gerar uma estimativa de custos baseada na projeção de uso. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.
Antes de começar
Nesta seção, você verá como configurar o bucket do Cloud Storage e a VM do Compute Engine.
Abra uma janela do Cloud Shell.
Crie uma variável para o ID do seu projeto.
export PROJECT_ID=project-id
Configure a ferramenta de linha de comando da
gcloud
para usar o projeto em que a Cloud TPU será criada.gcloud config set project ${PROJECT_ID}
Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página
Authorize Cloud Shell
. Clique emAuthorize
na parte inferior da página para permitir quegcloud
faça chamadas de API do GCP com suas credenciais.Crie uma conta de serviço para o projeto da Cloud TPU.
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
Crie um bucket do Cloud Storage usando o seguinte comando:
gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. A ferramenta
gcloud compute tpus execution-groups
usada neste tutorial configura permissões padrão para a conta de serviço da Cloud TPU. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.O local do bucket precisa estar na mesma região da máquina virtual (VM) e do nó da TPU. As VMs e os nós da TPU estão localizados em zonas específicas, que são subdivisões dentro de uma região.
Use o comando
gcloud
para iniciar uma VM do Compute Engine e a Cloud TPU.$ gcloud compute tpus execution-groups create \ --vm-only \ --name=retinanet-tutorial \ --zone=europe-west4-a \ --disk-size=300 \ --machine-type=n1-standard-8 \ --tf-version=1.15.5
Descrições de sinalizações de comando
vm-only
- Crie somente uma VM. Por padrão, o comando
gcloud compute tpus execution-groups
cria uma VM e um Cloud TPU. name
- O nome da Cloud TPU a ser criada.
zone
- A zona em que você planeja criar a Cloud TPU.
disk-size
- O tamanho do disco rígido em GB da VM criada pelo comando
gcloud compute tpus execution-groups
. machine-type
- O tipo de máquina da VM do Compute Engine a ser criado.
tf-version
- A versão do
gcloud compute tpus execution-groups
do Tensorflow é instalada na VM.
Para mais informações sobre o comando
gcloud
, consulte a Referência do gcloud.A configuração especificada aparecerá. Digite y para aprovar ou n para cancelar.
Quando o comando
gcloud compute tpus execution-groups
terminar a execução, verifique se o prompt do shell foi alterado deusername@projectname
parausername@vm-name
. Essa alteração mostra que você fez login na VM do Compute Engine.gcloud compute ssh retinanet-tutorial --zone=europe-west4-a
Ao continuar essas instruções, execute cada comando que começa com
(vm)$
na instância do Compute Engine.Quando o comando
gcloud
inicia uma máquina virtual (VM) do Compute Engine, ele coloca automaticamente os arquivos do modelo RetinaNet da ramificação do TensorFlow (em inglês) no diretório/usr/share/tpu/models/official/detection/
. para começar.Use o comando
export
para definir essas variáveis de ambiente.(vm)$ export STORAGE_BUCKET=gs://bucket-name
(vm)$ export TPU_NAME=retinanet-tutorial (vm)$ export DATA_DIR=${STORAGE_BUCKET}/coco
Instalar pacotes extras
O aplicativo de treinamento do RetinaNet requer vários pacotes extras. Instale-os agora:
(vm)$ sudo apt-get install -y python3-tk
(vm)$ pip3 install --user Cython matplotlib opencv-python-headless pyyaml Pillow
(vm)$ pip3 install --user 'git+https://github.com/cocodataset/cocoapi#egg=pycocotools&subdirectory=PythonAPI'
(vm)$ pip3 install --user -U gast==0.2.2
Preparar o conjunto de dados COCO
Execute o script
download_and_preprocess_coco.sh
para converter o conjunto de dados COCO em um conjunto de TFRecords (*.tfrecord
) esperado pelo aplicativo de treinamento.(vm)$ sudo bash /usr/share/tpu/tools/datasets/download_and_preprocess_coco.sh ./data/dir/coco
Isso instala as bibliotecas necessárias e executa o script de pré-processamento. Ele gera uma série de arquivos
*.tfrecord
no diretório de dados locais.Depois de converter os dados para TFRecords, use o comando
gsutil
para copiá-los do armazenamento local para o bucket do Cloud Storage. Também é preciso copiar os arquivos de anotação. Eles ajudam a validar o desempenho do modelo:(vm)$ gsutil -m cp ./data/dir/coco/*.tfrecord ${DATA_DIR}
(vm)$ gsutil cp ./data/dir/coco/raw-data/annotations/*.json ${DATA_DIR}
Configurar o ambiente de treinamento
Execute o comando a seguir para criar o Cloud TPU.
(vm)$ gcloud compute tpus execution-groups create \ --tpu-only \ --name=retinanet-tutorial \ --zone=europe-west4-a \ --tf-version=1.15.5
Descrições de sinalizações de comando
tpu-only
- Cria a Cloud TPU sem criar uma VM. Por padrão, o
comando
gcloud compute tpus execution-groups
cria uma VM e uma Cloud TPU. name
- O nome da Cloud TPU a ser criada.
zone
- A zona em que você planeja criar a Cloud TPU.
tf-version
- A versão do Tensorflow
gcloud compute tpus execution-groups
é instalada na VM.
A configuração especificada aparecerá. Digite y para aprovar ou n para cancelar.
Você verá a mensagem:
Operation success; not ssh-ing to Compute Engine VM due to --tpu-only flag
. Como você já concluiu a propagação de chave SSH anteriormente, ignore essa mensagem.Atualizar os valores de sinal de atividade da conexão da VM.
Para este tutorial, é necessária uma conexão de longa duração com a instância do Compute Engine. Para garantir que a instância não seja desconectada, execute o seguinte comando:
(vm)$ sudo /sbin/sysctl \ -w net.ipv4.tcp_keepalive_time=120 \ net.ipv4.tcp_keepalive_intvl=120 \ net.ipv4.tcp_keepalive_probes=5
Agora, está tudo pronto para executar o modelo nos dados de COCO pré-processados. Primeiro, adicione a pasta de nível superior
/models
ao caminho do Python com o comando:(vm)$ export PYTHONPATH=${PYTHONPATH}:/usr/share/tpu/models
O treinamento e a avaliação requerem o TensorFlow 1.13 ou uma versão posterior.
Treinamento sobre dispositivos de Cloud TPU único
Configure as seguintes variáveis de ambiente:
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/retinanet-model-train (vm)$ export RESNET_CHECKPOINT=gs://cloud-tpu-checkpoints/retinanet/resnet50-checkpoint-2018-02-07 (vm)$ export TRAIN_FILE_PATTERN=${DATA_DIR}/train-* (vm)$ export EVAL_FILE_PATTERN=${DATA_DIR}/val-* (vm)$ export VAL_JSON_FILE=${DATA_DIR}/instances_val2017.json
Execute o script de treinamento:
(vm)$ python3 /usr/share/tpu/models/official/detection/main.py \ --use_tpu=True \ --tpu=${TPU_NAME} \ --num_cores=8 \ --model_dir=${MODEL_DIR} \ --mode="train" \ --eval_after_training=True \ --params_override="{ type: retinanet, train: { checkpoint: { path: ${RESNET_CHECKPOINT}, prefix: resnet50/ }, train_file_pattern: ${TRAIN_FILE_PATTERN} }, eval: { val_json_file: ${VAL_JSON_FILE}, eval_file_pattern: ${EVAL_FILE_PATTERN}, eval_samples: 5000 } }"
Descrições de sinalizações de comando
use_tpu
- Treinar o modelo em um único Cloud TPU.
tpu
- O nome da Cloud TPU. Isso é definido usando a
variável de ambiente
TPU_NAME
. num_cores
- O número de núcleos do Cloud TPU a serem usados no treinamento.
model_dir
- O bucket do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento. Use uma pasta existente para carregar os checkpoints gerados anteriormente que foram criados em uma TPU do mesmo tamanho e versão do TensorFlow.
mode
- Um dos
train
,eval
outrain_and_eval
.
Avaliação de dispositivos de Cloud TPU único
O procedimento a seguir usa os dados de avaliação do COCO. Ele leva cerca de 10 minutos para ser executado nas etapas de avaliação.
Configure as seguintes variáveis de ambiente:
(vm)$ export EVAL_SAMPLES=5000
Execute o script de avaliação:
(vm)$ python3 /usr/share/tpu/models/official/detection/main.py \ --use_tpu=True \ --tpu=${TPU_NAME} \ --num_cores=8 \ --model_dir=${MODEL_DIR} \ --mode="eval" \ --params_override="{ type: retinanet, eval: { val_json_file: ${VAL_JSON_FILE}, eval_file_pattern: ${EVAL_FILE_PATTERN}, eval_samples: ${EVAL_SAMPLES} } }"
Descrições de sinalizações de comando
use_tpu
- Defina como
true
para treinar em um Cloud TPU. tpu
- O nome do Cloud TPU para executar o treinamento ou a avaliação.
num_cores
- O número de núcleos do Cloud TPU a serem usados no treinamento.
model_dir
- O bucket do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento. Use uma pasta existente para carregar os checkpoints gerados anteriormente que foram criados em uma TPU do mesmo tamanho e versão do TensorFlow.
mode
- Um dos
train
,eval
outrain_and_eval
. params_override
- Uma string JSON que modifica parâmetros de script padrão. Para mais
informações sobre parâmetros de script, consulte
/usr/share/models/official/vision/detection/main.py
.
O script de avaliação exibe uma saída como esta:
Eval result: { 'AP': 0.3371653, 'ARl': 0.6749888, 'ARmax100': 0.4848119, 'APl': 0.48918217, 'ARmax10': 0.45885247, 'APs': 0.14764188, 'ARm': 0.545395, 'ARs': 0.24094534, 'AP75': 0.3606217, 'AP50': 0.51819533, 'APm': 0.38223606, 'ARmax1': 0.29476196 }
A partir daqui, é possível concluir este tutorial e limpar os recursos do GCP ou explorar a execução do modelo em pods da Cloud TPU.
Como escalonar o modelo com os pods da Cloud TPU
Para resultados mais rápidos, escalone o modelo com os pods da Cloud TPU. O modelo RetinaNet totalmente compatível funciona com as seguintes frações de pod:
- v2-32
- v3-32
Exclua o recurso da Cloud TPU criado para treinar o modelo em um único dispositivo.
(vm)$ gcloud compute tpus execution-groups delete retinanet-tutorial \ --zone=europe-west4-a \ --tpu-only
Execute o comando
gcloud compute tpus execution-groups
, usando o parâmetroaccelerator-type
para especificar a fração de pod a ser usada. Por exemplo, o comando a seguir usa uma fração de pod v3-32.(vm)$ gcloud compute tpus execution-groups create --name=retinanet-tutorial \ --accelerator-type=v3-32 \ --zone=europe-west4-a \ --tf-version=1.15.5 \ --tpu-only
Descrições de sinalizações de comando
Configure as seguintes variáveis de ambiente:
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/retinanet-model-pod (vm)$ export TPU_NAME=retinanet-tutorial
Execute o script de treinamento do pod em um nó da TPU v3-32:
(vm)$ python3 /usr/share/tpu/models/official/detection/main.py \ --use_tpu=True \ --tpu=${TPU_NAME} \ --num_cores=32 \ --model_dir=${MODEL_DIR} \ --mode="train" \ --eval_after_training=False \ --params_override="{ type: retinanet, train: { train_batch_size: 1024, total_steps: 2109, learning_rate: { warmup_steps: 820, init_learning_rate: 0.64, learning_rate_levels: [0.064, 0.0064], learning_rate_steps: [1641, 1992] }, checkpoint: { path: ${RESNET_CHECKPOINT}, prefix: resnet50/ }, train_file_pattern: ${TRAIN_FILE_PATTERN} }, resnet: { batch_norm: { batch_norm_momentum: 0.9 }}, fpn: { batch_norm: { batch_norm_momentum: 0.9 }}, retinanet_head: { batch_norm: { batch_norm_momentum: 0.9 }} }"
Descrições de sinalizações de comando
use_tpu
- Defina como
true
para treinar em um Cloud TPU. tpu
- O nome da Cloud TPU. Caso não tenha especificado quando configurou a VM do Compute Engine e a Cloud TPU, o padrão é seu nome de usuário.
num_cores
- O número de núcleos do Cloud TPU a serem usados para treinamento.
model_dir
- O bucket do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento. Use uma pasta existente para carregar os checkpoints gerados anteriormente que foram criados em uma TPU do mesmo tamanho e versão do TensorFlow.
mode
- Um dos valores
train
,eval
,train_and_eval
oupredict
. eval_after_training
- Defina como
true
para avaliar o modelo após o treinamento. params_override
- Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte
/usr/share/models/official/vision/detection/main.py
.
A saída do script de treinamento precisa ter um texto como este:
INFO:tensorflow:Loss for final step: 0.96952075. I1125 21:47:10.729412 140023184553728 estimator.py:371] Loss for final step: 0.96952075. INFO:tensorflow:training_loop marked as finished I1125 21:47:10.730288 140023184553728 error_handling.py:101] training_loop marked as finished
Limpeza
Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.
Desconecte-se da instância do Compute Engine, caso ainda não tenha feito isso:
(vm)$ exit
Agora, o prompt precisa ser
username@projectname
, mostrando que você está no Cloud Shell.No Cloud Shell, use o seguinte comando para excluir a VM do Compute Engine e o Cloud TPU:
$ gcloud compute tpus execution-groups delete retinanet-tutorial \ --zone=europe-west4-a
Verifique se os recursos foram excluídos executando
gcloud compute tpus execution-groups list
. A exclusão pode levar vários minutos. Uma resposta como esta indica que suas instâncias foram excluídas com sucesso.$ gcloud compute tpus execution-groups list \ --zone=europe-west4-a
Você verá uma lista vazia de TPUs como esta:
NAME STATUS
Exclua o bucket do Cloud Storage usando
gsutil
, conforme mostrado abaixo. Substitua bucket-name pelo nome do seu bucket no Cloud Storage.$ gsutil rm -r gs://bucket-name
A seguir
Neste tutorial, você treinou o modelo RetinaNet usando um conjunto de dados de amostra. Os resultados deste treinamento (na maioria dos casos) não podem ser usados para inferência. Para usar um modelo para inferência, é possível treinar os dados em um conjunto de dados disponível publicamente ou no seu próprio conjunto de dados. Os modelos treinados nas Cloud TPUs exigem que os conjuntos de dados estejam no formato TFRecord.
Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagem no formato TFRecord. Se você não estiver usando um modelo de classificação de imagem, converta manualmente o conjunto de dados para o TFRecord. Para mais informações, consulte TFRecord e tf.Example
Ajuste de hiperparâmetros
Para melhorar o desempenho do modelo com o conjunto de dados, é possível ajustar os hiperparâmetros. Encontre informações sobre hiperparâmetros comuns a todos os modelos compatíveis com a TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo podem ser encontradas no código-fonte de cada modelo. Para mais informações sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros, Como usar o serviço de ajuste de hiperparâmetros e Ajustar hiperparâmetros.
Inferência
Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). O AI Platform é uma solução baseada em nuvem para desenvolver, treinar e implantar modelos de machine learning. Depois que um modelo é implantado, use o serviço do AI Platform Prediction.
Treinar com diferentes tamanhos de imagem
Para explorar, use uma rede neural maior. Por exemplo, ResNet-101 em vez de ResNet-50. Uma imagem maior de entrada e uma rede neural mais potente produzirão um modelo mais lento, porém, mais preciso.
Usar uma base diferente
Se preferir, faça o pré-treinamento de um modelo do ResNet no próprio conjunto de dados e use-o como base para o modelo do RetinaNet. Com mais trabalho, também é possível trocar em uma rede neural alternativa no lugar do ResNet. Por fim, caso tenha interesse em implementar modelos próprios de detecção de objetos, essa rede pode ser uma boa base para fazer mais experimentos.