Como treinar o ShapeMask no Cloud TPU (TF 2.x)

Neste documento, você verá como executar o modelo ShapeMask usando a Cloud TPU com o conjunto de dados COCO.

Nas instruções abaixo, presumimos que você já conheça a execução de um modelo no Cloud TPU. Se você não conhece o Cloud TPU, consulte o Guia de início rápido para uma introdução básica.

Se você planeja treinar em uma fração do pod da TPU, veja como realizar o treinamento em pods de TPU para entender as alterações de parâmetros necessárias para frações de pod.

Objetivos

Preparar o conjunto de dados COCO
Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
Configurar recursos de TPU para treinamento e avaliação
Executar treinamento e avaliação em uma única Cloud TPU ou em um pod da Cloud TPU.

Custos

Neste tutorial, usamos os seguintes componentes faturáveis do Google Cloud:

Compute Engine
Cloud TPU
Cloud Storage

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Antes de começar o tutorial, verifique se o projeto do Google Cloud foi configurado corretamente.

Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

Acessar o seletor de projetos

Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como verificar se o faturamento está ativado em um projeto.

No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

Acessar o seletor de projetos

Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como verificar se o faturamento está ativado em um projeto.

Este tutorial usa componentes faturáveis do Google Cloud. Consulte a página de preços da Cloud TPU para fazer uma estimativa dos custos. Para evitar cobranças desnecessárias, não se esqueça de apagar os recursos criados ao terminar de usá-los.

Treinamento de dispositivo único do Cloud TPU

Nesta seção, você verá informações sobre como configurar recursos do Cloud Storage, da VM e do Cloud TPU para treinamento em dispositivos únicos.

Se você planeja treinar em uma fração do pod de TPU, consulte Treinamento em pods de TPU para entender as alterações necessárias para treinar em frações de pod.

No Cloud Shell, crie uma variável para o ID do projeto.
```
export PROJECT_ID=project-id
```
Configure o Google Cloud CLI para usar o projeto em que você quer criar a Cloud TPU.
```
gcloud config set project ${PROJECT_ID}
```
Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página Authorize Cloud Shell. Clique em Authorize na parte inferior da página para permitir que gcloud faça chamadas de API do GCP com suas credenciais.

Crie uma conta de serviço para o projeto da Cloud TPU.

gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID

O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com

Preparar o conjunto de dados COCO

Este tutorial usa o conjunto de dados COCO. O conjunto de dados precisa estar no formato TFRecord em um bucket do Cloud Storage para ser usado no treinamento.

O local do bucket precisa estar na mesma região da máquina virtual (VM) e do nó da TPU. As VMs e os nós da TPU estão localizados em zonas específicas, que são subdivisões dentro de uma região.

Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. A ferramenta gcloud compute tpus execution-groups usada neste tutorial configura permissões padrão para a conta de serviço do Cloud TPU configurada na etapa anterior. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

Se você já tem o conjunto de dados COCO preparado em um bucket do Cloud Storage localizado na zona que será usada para treinar o modelo, inicie os recursos da TPU e prepare o Cloud TPU para o treinamento. Caso contrário, siga as etapas abaixo para preparar o conjunto de dados.

No Cloud Shell, configure gcloud com o ID do projeto.

export PROJECT_ID=project-id
gcloud config set project ${PROJECT_ID}

No Cloud Shell, crie um bucket do Cloud Storage usando o seguinte comando:

Observação :no comando a seguir, substitua bucket-name pelo nome que você quer atribuir ao bucket.
```
gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name
```
Inicie uma instância de VM do Compute Engine.

Essa instância de VM só será usada para fazer o download e o pré-processamento do conjunto de dados COCO. Preencha instance-name com o nome de sua escolha.
```
$ gcloud compute tpus execution-groups create \
 --vm-only \
 --name=instance-name \
 --zone=europe-west4-a \
 --disk-size=300 \
 --machine-type=n1-standard-16 \
 --tf-version=2.12.0
```
Descrições de sinalizações de comando

vm-only

Crie somente uma VM. Por padrão, o comando gcloud compute tpus execution-groups cria uma VM e uma Cloud TPU.

name

O nome do Cloud TPU a ser criado.

zone

A zona em que você planeja criar a Cloud TPU.

disk-size

O tamanho do disco rígido em GB da VM criada pelo comando gcloud compute tpus execution-groups.

machine-type

O tipo de máquina da VM do Compute Engine a ser criada.

tf-version

A versão do Tensorflow gcloud compute tpus execution-groups é instalada na VM.
Se você não for conectado automaticamente à instância do Compute Engine, faça login executando o seguinte comando ssh. Quando você faz login na VM, o prompt do shell muda de username@projectname para username@vm-name:
```
  $ gcloud compute ssh instance-name --zone=europe-west4-a
  
```
Configure duas variáveis, uma para o bucket de armazenamento criado anteriormente e outra para o diretório que contém os dados de treinamento (DATA_DIR) no bucket de armazenamento.
```
(vm)$ export STORAGE_BUCKET=gs://bucket-name
```
```
(vm)$ export DATA_DIR=${STORAGE_BUCKET}/coco
```

Instale os pacotes necessários para pré-processar os dados.

(vm)$ sudo apt-get install -y python3-tk && \
  pip3 install --user Cython matplotlib opencv-python-headless pyyaml Pillow && \
  pip3 install --user "git+https://github.com/cocodataset/cocoapi#egg=pycocotools&subdirectory=PythonAPI"

Execute o script download_and_preprocess_coco.sh para converter o conjunto de dados COCO em um conjunto de TFRecords (*.tfrecord) esperado pelo aplicativo de treinamento.
```
(vm)$ git clone https://github.com/tensorflow/tpu.git
(vm)$ sudo bash tpu/tools/datasets/download_and_preprocess_coco.sh ./data/dir/coco
```
Isso instala as bibliotecas necessárias e executa o script de pré-processamento. A saída são alguns arquivos *.tfrecord no diretório de dados. O script de download e conversão do COCO leva aproximadamente 1 hora para ser concluído.
Copiar os dados para o bucket do Cloud Storage

Depois de converter os dados para TFRecords, use o comando gsutil para copiá-los do armazenamento local para o bucket do Cloud Storage. Também é preciso copiar os arquivos de anotação. Eles ajudam a validar o desempenho do modelo.
```
(vm)$ gsutil -m cp ./data/dir/coco/*.tfrecord ${DATA_DIR}
(vm)$ gsutil cp ./data/dir/coco/raw-data/annotations/*.json ${DATA_DIR}
```
Limpar os recursos da VM

Depois que o conjunto de dados COCO for convertido em TFRecords e copiado para o DATA_DIR no bucket do Cloud Storage, será possível excluir a instância do Compute Engine.

Desconecte-se da instância do Compute Engine:
```
(vm)$ exit
```
Agora, o prompt precisa ser username@projectname, mostrando que você está no Cloud Shell.

Exclua a instância do Compute Engine.

  $ gcloud compute instances delete instance-name
    --zone=europe-west4-a

Iniciar os recursos da TPU e treinar o modelo

Use o comando gcloud para iniciar os recursos da TPU. O comando usado depende do uso de VMs ou nós de TPU. Para ver mais informações sobre a arquitetura de duas VMs, consulte Arquitetura do sistema.
VM de TPU
```
$ gcloud compute tpus tpu-vm create shapemask-tutorial \
--zone=europe-west4-a \
--accelerator-type=v3-8 \
--version=tpu-vm-tf-2.12.0
```
Descrições de sinalizações de comando

zone

A zona em que você planeja criar a Cloud TPU.

accelerator-type

O tipo do Cloud TPU a ser criado.

version

A versão do ambiente de execução do Cloud TPU.
Nó de TPU
```
$ gcloud compute tpus execution-groups create  \
 --zone=europe-west4-a \
 --name=shapemask-tutorial \
 --accelerator-type=v3-8 \
 --machine-type=n1-standard-8 \
 --disk-size=300 \
 --tf-version=2.12.0
```
Descrições de sinalizações de comando

zone

A zona em que você planeja criar a Cloud TPU.

name

O nome da TPU. Se não for especificado, o padrão será seu nome de usuário.

accelerator-type

O tipo do Cloud TPU a ser criado.

machine-type

O tipo de máquina da VM do Compute Engine a ser criada.

disk-size

O tamanho do volume raiz da VM do Compute Engine (em GB).

tf-version

A versão do Tensorflow gcloud é instalada na VM.
Observação: se você tiver mais de um projeto, especifique o ID dele com a sinalização --project.

Para mais informações sobre o comando gcloud, consulte a referência da gcloud.

Observação: a primeira vez que você executar gcloud compute tpus em um projeto, ele levará cerca de cinco minutos para realizar tarefas de inicialização, como propagação de chave SSH e ativação da API.
Se você não for conectado automaticamente à instância do Compute Engine, faça login executando o seguinte comando ssh. Quando você faz login na VM, o prompt do shell muda de username@projectname para username@vm-name:
VM de TPU
```
gcloud compute tpus tpu-vm ssh shapemask-tutorial --zone=europe-west4-a
```
Nó de TPU
```
gcloud compute ssh shapemask-tutorial --zone=europe-west4-a
```
Importante: a partir desse ponto, o prefixo (vm) $ significa que é necessário executar o comando na instância de VM do Compute Engine.

Ao seguir essas instruções, execute cada comando iniciado por (vm)$ na janela de sessão da VM.

Instale os requisitos do TensorFlow.

VM de TPU

(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt

Nó da TPU

(vm)$ pip3 install -r /usr/share/models/official/requirements.txt

O script de treinamento requer um pacote extra. Instalar agora.

VM de TPU

(vm)$ pip3 install --user tensorflow-model-optimization>=0.1.3

Nó da TPU

(vm)$ pip3 install --user tensorflow-model-optimization>=0.1.3

Defina a variável de nome do bucket de armazenamento. Substitua bucket-name pelo nome do seu bucket de armazenamento:
```
(vm)$ export STORAGE_BUCKET=gs://bucket-name
```

Defina a variável de nome da Cloud TPU.

VM de TPU

(vm)$ export TPU_NAME=local

Nó de TPU

(vm)$ export TPU_NAME=shapemask-tutorial

Defina a variável de ambiente PYTHONPATH:

VM de TPU

(vm)$ export PYTHONPATH="/usr/share/tpu/models:${PYTHONPATH}"

Nó de TPU

(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"

Mude para o diretório que armazena o modelo:

VM de TPU

(vm)$ cd /usr/share/tpu/models/official/legacy/detection

Nó da TPU

(vm)$ cd /usr/share/models/official/legacy/detection

Adicione algumas variáveis de ambiente obrigatórias:

(vm)$ export RESNET_CHECKPOINT=gs://cloud-tpu-checkpoints/retinanet/resnet50-checkpoint-2018-02-07
(vm)$ export DATA_DIR=${STORAGE_BUCKET}/coco
(vm)$ export TRAIN_FILE_PATTERN=${DATA_DIR}/train-*
(vm)$ export EVAL_FILE_PATTERN=${DATA_DIR}/val-*
(vm)$ export VAL_JSON_FILE=${DATA_DIR}/instances_val2017.json
(vm)$ export SHAPE_PRIOR_PATH=gs://cloud-tpu-checkpoints/shapemask/kmeans_class_priors_91x20x32x32.npy
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/shapemask

Treine o modelo ShapeMask:

O script a seguir executa um treinamento de amostra que é treinado por apenas 100 etapas e leva aproximadamente 10 minutos para ser concluído em uma TPU v3-8. O treinamento para a conversão leva cerca de 22.500 etapas e aproximadamente 6 horas em uma TPU v3-8.
```
(vm)$ python3 main.py \
  --strategy_type=tpu \
  --tpu=${TPU_NAME} \
  --model_dir=${MODEL_DIR} \
  --mode=train \
  --model=shapemask \
  --params_override="{train: {total_steps: 100, learning_rate: {init_learning_rate: 0.08, learning_rate_levels: [0.008, 0.0008], learning_rate_steps: [15000, 20000], }, checkpoint: { path: ${RESNET_CHECKPOINT},prefix: resnet50}, train_file_pattern: ${TRAIN_FILE_PATTERN}}, shapemask_head: {use_category_for_mask: true, shape_prior_path: ${SHAPE_PRIOR_PATH}}, shapemask_parser: {output_size: [640, 640]}}"
```
Descrições de sinalizações de comando

strategy_type

Para treinar o modelo Shapemask em uma TPU, é necessário definir o distribution_strategy como tpu.

tpu

O nome da Cloud TPU. Isso é definido usando a variável de ambiente TPU_NAME.

model_dir

O diretório em que os pontos de controle e os resumos são armazenados durante o treinamento do modelo. Se a pasta não existir, o programa criará uma. Ao usar uma Cloud TPU, o model_dir precisa ser um caminho do Cloud Storage (gs://...). É possível reutilizar uma pasta existente para carregar dados do ponto de controle atuais e armazenar outros pontos, contanto que os anteriores tenham sido criados usando uma Cloud TPU com o mesmo tamanho e versão do TensorFlow.

mode

Defina como train para treinar o modelo ou eval para avaliar o modelo.

params_override

Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte /usr/share/models/official/legacy/detection/main.py.

Quando o treinamento for concluído, aparecerá uma mensagem semelhante à seguinte:
```
Train Step: 100/100  / loss = {'total_loss': 10.815635681152344,
'loss': 10.815635681152344, 'retinanet_cls_loss': 1.4915691614151,
'l2_regularization_loss': 4.483549118041992,
'retinanet_box_loss': 0.013074751943349838,
'shapemask_prior_loss': 0.17314358055591583,
'shapemask_coarse_mask_loss': 1.953366756439209,
'shapemask_fine_mask_loss': 2.216097831726074, 'model_loss': 6.332086086273193,
'learning_rate': 0.021359999} / training metric = {'total_loss': 10.815635681152344,
'loss': 10.815635681152344, 'retinanet_cls_loss': 1.4915691614151,
'l2_regularization_loss': 4.483549118041992,
'retinanet_box_loss': 0.013074751943349838,
'shapemask_prior_loss': 0.17314358055591583,
'shapemask_coarse_mask_loss': 1.953366756439209,
'shapemask_fine_mask_loss': 2.216097831726074,
'model_loss': 6.332086086273193, 'learning_rate': 0.021359999}
```

Execute o script para avaliar o modelo ShapeMask. Isso leva cerca de 10 minutos em uma TPU v3-8:

(vm)$ python3 main.py \
    --strategy_type=tpu \
    --tpu=${TPU_NAME} \
    --model_dir=${MODEL_DIR} \
    --checkpoint_path=${MODEL_DIR} \
    --mode=eval_once \
    --model=shapemask \
    --params_override="{eval: { val_json_file: ${VAL_JSON_FILE}, eval_file_pattern: ${EVAL_FILE_PATTERN}, eval_samples: 5000 }, shapemask_head: {use_category_for_mask: true, shape_prior_path: ${SHAPE_PRIOR_PATH}}, shapemask_parser: {output_size: [640, 640]}}"

Descrições de sinalizações de comando

strategy_type: Para treinar o modelo Shapemask em uma TPU, defina distribution_strategy como tpu.
tpu: O nome da Cloud TPU. Isso é definido usando a variável de ambiente TPU_NAME.
model_dir: O diretório em que os pontos de controle e os resumos são armazenados durante o treinamento do modelo. Se a pasta não existir, o programa criará uma. Ao usar uma Cloud TPU, o model_dir precisa ser um caminho do Cloud Storage (gs://...). É possível reutilizar uma pasta existente para carregar dados do ponto de controle atuais e armazenar outros pontos, contanto que os anteriores tenham sido criados usando uma Cloud TPU com o mesmo tamanho e versão do TensorFlow.
mode: Defina como train para treinar o modelo ou eval para avaliar o modelo.
params_override: Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte /usr/share/models/official/legacy/detection/main.py.

Quando a avaliação for concluída, será exibida uma mensagem semelhante à seguinte:

DONE (t=5.47s).
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.000
 Average Precision  (AP) @[ IoU=0.50      | area=   all | maxDets=100 ] = 0.000
 Average Precision  (AP) @[ IoU=0.75      | area=   all | maxDets=100 ] = 0.000
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.000
 Average Precision  (AP) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.000
 Average Precision  (AP) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.000
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=  1 ] = 0.000
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets= 10 ] = 0.000
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=   all | maxDets=100 ] = 0.000
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= small | maxDets=100 ] = 0.000
 Average Recall     (AR) @[ IoU=0.50:0.95 | area=medium | maxDets=100 ] = 0.000
 Average Recall     (AR) @[ IoU=0.50:0.95 | area= large | maxDets=100 ] = 0.000

Você concluiu o treinamento e a avaliação de um dispositivo único. Siga as etapas abaixo para excluir os recursos atuais da TPU de dispositivo único.

Desconecte-se da instância do Compute Engine:
```
(vm)$ exit
```
Agora, o prompt precisa ser username@projectname, mostrando que você está no Cloud Shell.
Exclua o recurso da TPU.
VM de TPU
```
$ gcloud compute tpus tpu-vm delete shapemask-tutorial \
--zone=europe-west4-a
```
Descrições de sinalizações de comando

zone

A zona onde o Cloud TPU residiu.
Nó de TPU
```
$ gcloud compute tpus execution-groups delete shapemask-tutorial \
--tpu-only \
--zone=europe-west4-a
```
Descrições de sinalizações de comando

tpu-only

Exclui apenas o Cloud TPU. A VM continua disponível.

zone

A zona que contém a TPU a ser excluída.
Neste ponto, é possível concluir este tutorial e limpar ou continuar executando o modelo nos Pods do Cloud TPU.

Escalone seu modelo com os pods da Cloud TPU

O treinamento do modelo em pods da Cloud TPU pode exigir algumas alterações no script de treinamento. Para mais informações, consulte Como treinar em pods de TPU.

Treinamento do Pod de TPU

Abra uma janela do Cloud Shell.

Abrir o Cloud Shell
Crie uma variável para o ID do seu projeto.
```
export PROJECT_ID=project-id
```
Configure o Google Cloud CLI para usar o projeto em que você quer criar a Cloud TPU.
```
gcloud config set project ${PROJECT_ID}
```
Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página Authorize Cloud Shell. Clique em Authorize na parte inferior da página para permitir que gcloud faça chamadas de API do GCP com suas credenciais.
Crie uma conta de serviço para o projeto da Cloud TPU.

As contas de serviço permitem que o serviço do Cloud TPU acesse outros serviços do Google Cloud Platform.
```
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
```
O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:
```
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
```
Crie um bucket do Cloud Storage usando o comando a seguir ou use um bucket criado anteriormente para o projeto.

Importante: configure os recursos do Cloud TPU e o bucket do Cloud Storage na mesma região/zona para reduzir a latência e os custos da rede. Os Cloud TPUs estão localizados em zonas específicas, que são subdivisões dentro de uma região.
```
gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name
```
Se você preparou o conjunto de dados COCO e o moveu para o bucket de armazenamento, é possível usá-lo novamente no treinamento do pod. Se você ainda não preparou o conjunto de dados COCO, prepare-o agora e volte aqui para configurar o treinamento do pod.
Inicie um pod do Cloud TPU

Neste tutorial, especificamos um pod v3-32. Para outras opções de pod, consulte a página de tipos de TPU disponíveis.
VM de TPU
```
$ gcloud compute tpus tpu-vm create shapemask-tutorial \
--zone=europe-west4-a \
--accelerator-type=v3-32 \
--version=tpu-vm-tf-2.12.0-pod
```
Descrições de sinalizações de comando

zone

A zona em que você planeja criar a Cloud TPU.

accelerator-type

O tipo do Cloud TPU a ser criado.

version

A versão do ambiente de execução do Cloud TPU.

Observação: a primeira vez que você executar gcloud em um projeto, ele levará cerca de cinco minutos para realizar tarefas de inicialização como propagação de chave SSH e ativação da API.
Nó da TPU
```
$ gcloud compute tpus execution-groups create  \
 --zone=europe-west4-a \
 --name=shapemask-tutorial \
 --accelerator-type=v3-32 \
 --machine-type=n1-standard-8 \
 --disk-size=300 \
 --tf-version=2.12.0
```
Descrições de sinalizações de comando

zone

A zona em que você planeja criar a Cloud TPU.

name

O nome da TPU. Se não for especificado, o padrão será seu nome de usuário.

accelerator-type

O tipo do Cloud TPU a ser criado.

machine-type

O tipo de máquina da VM do Compute Engine a ser criada.

disk-size

O tamanho do volume raiz da VM do Compute Engine (em GB).

tf-version

A versão do Tensorflow gcloud é instalada na VM.

Observação: se você tiver mais de um projeto, especifique o ID com a sinalização --project.
Se você não for conectado automaticamente à instância do Compute Engine, faça login executando o seguinte comando ssh. Quando você faz login na VM, o prompt do shell muda de username@projectname para username@vm-name:
VM de TPU
```
gcloud compute tpus tpu-vm ssh shapemask-tutorial --zone=europe-west4-a
```
Nó de TPU
```
gcloud compute ssh shapemask-tutorial --zone=europe-west4-a
```
Importante: a partir desse ponto, o prefixo (vm) $ significa que é necessário executar o comando na instância de VM do Compute Engine.

Ao seguir essas instruções, execute cada comando iniciado por (vm)$ na janela de sessão da VM.

Instale os requisitos do TensorFlow.

VM de TPU

(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt

Nó da TPU

(vm)$ pip3 install -r /usr/share/models/official/requirements.txt

O script de treinamento requer um pacote extra. Instalar agora.

VM de TPU

(vm)$ pip3 install --user tensorflow-model-optimization>=0.1.3

Nó da TPU

(vm)$ pip3 install --user tensorflow-model-optimization>=0.1.3

Configure as seguintes variáveis de ambiente, substituindo bucket-name pelo nome do bucket do Cloud Storage:
```
(vm)$ export STORAGE_BUCKET=gs://bucket-name
```
O aplicativo de treinamento precisa que os dados de treinamento sejam acessíveis no Cloud Storage. Ele também usa o bucket do Cloud Storage para armazenar checkpoints durante o treinamento.

Atualize as variáveis de treinamento necessárias.

(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/shapemask-pods
(vm)$ export DATA_DIR=${STORAGE_BUCKET}/coco
(vm)$ export RESNET_CHECKPOINT=gs://cloud-tpu-checkpoints/retinanet/resnet50-checkpoint-2018-02-07
(vm)$ export TRAIN_FILE_PATTERN=${DATA_DIR}/train-*
(vm)$ export EVAL_FILE_PATTERN=${DATA_DIR}/val-*
(vm)$ export VAL_JSON_FILE=${DATA_DIR}/instances_val2017.json
(vm)$ export SHAPE_PRIOR_PATH=gs://cloud-tpu-checkpoints/shapemask/kmeans_class_priors_91x20x32x32.npy

Defina algumas variáveis de ambiente obrigatórias:

VM de TPU

(vm)$ export PYTHONPATH="/usr/share/tpu/models:${PYTHONPATH}"
(vm)$ export TPU_LOAD_LIBRARY=0

Nó de TPU

(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"

Mude para o diretório que armazena o modelo:

VM de TPU

(vm)$ cd /usr/share/tpu/models/official/legacy/detection

Nó da TPU

(vm)$ cd /usr/share/models/official/legacy/detection

Inicie o treinamento do pod.

O treinamento de amostra é executado por apenas 20 etapas e leva aproximadamente 10 minutos para ser concluído em um nó de TPU v3-32. O treinamento para a conversão leva cerca de 11.250 etapas e aproximadamente duas horas em um pod de TPU v3-32.
```
(vm)$ python3 main.py \
 --strategy_type=tpu \
 --tpu=${TPU_NAME} \
 --model_dir=${MODEL_DIR} \
 --mode=train \
 --model=shapemask \
 --params_override="{train: { batch_size: 128, iterations_per_loop: 500, total_steps: 20, learning_rate: {'learning_rate_levels': [0.008, 0.0008], 'learning_rate_steps': [10000, 13000] }, checkpoint: { path: ${RESNET_CHECKPOINT}, prefix: resnet50/ }, train_file_pattern: ${TRAIN_FILE_PATTERN} }, eval: { val_json_file: ${VAL_JSON_FILE}, eval_file_pattern: ${EVAL_FILE_PATTERN}}, shapemask_head: {use_category_for_mask: true, shape_prior_path: ${SHAPE_PRIOR_PATH}} }"
```
Descrições de sinalizações de comando

strategy_type

Para treinar o modelo Shapemask em uma TPU, defina distribution_strategy como tpu.

tpu

O nome da Cloud TPU. Isso é definido usando a variável de ambiente TPU_NAME.

model_dir

O diretório em que os pontos de controle e os resumos são armazenados durante o treinamento do modelo. Se a pasta não existir, o programa criará uma. Ao usar uma Cloud TPU, o model_dir precisa ser um caminho do Cloud Storage (gs://...). É possível reutilizar uma pasta existente para carregar dados do ponto de controle atuais e armazenar outros pontos, contanto que os anteriores tenham sido criados usando uma Cloud TPU com o mesmo tamanho e versão do TensorFlow.

mode

Defina como train para treinar o modelo ou eval para avaliar o modelo.

params_override

Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte /usr/share/models/official/legacy/detection/main.py.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

Desconecte-se da instância do Compute Engine, caso ainda não tenha feito isso:
```
(vm)$ exit
```
Agora, o prompt precisa ser username@projectname, mostrando que você está no Cloud Shell.
Exclua os recursos do Cloud TPU e do Compute Engine. O comando usado para excluir os recursos depende se você está usando VMs ou nós de TPU. Para mais informações, consulte Arquitetura do sistema.
VM de TPU
```
$ gcloud compute tpus tpu-vm delete shapemask-tutorial \
--zone=europe-west4-a
```
Nó de TPU
```
$ gcloud compute tpus execution-groups delete shapemask-tutorial \
--zone=europe-west4-a
```
Execute gcloud compute tpus execution-groups list para verificar se os recursos foram excluídos. A exclusão pode levar vários minutos. A saída do comando a seguir não pode incluir nenhum dos recursos de TPU criados neste tutorial:
```
$ gcloud compute tpus execution-groups list --zone=europe-west4-a
```
Execute gsutil conforme mostrado. Substitua bucket-name pelo nome do bucket do Cloud Storage criado para este tutorial:

Cuidado: todos os dados de treinamento serão perdidos quando você excluir o bucket. Portanto, faça isso apenas quando terminar o tutorial.
```
$ gsutil rm -r gs://bucket-name
```

A seguir

Treinar com diferentes tamanhos de imagem

Para explorar, use uma rede neural maior. Por exemplo, ResNet-101 em vez de ResNet-50. Uma imagem maior de entrada e uma rede neural mais potente produzirão um modelo mais lento, porém, mais preciso.

Usar uma base diferente

Se preferir, faça o pré-treinamento de um modelo do ResNet no seu próprio conjunto de dados e use-o como base para o modelo do ShapeMask. Com mais trabalho, você também pode trocar em uma rede neural alternativa no lugar do ResNet. Por fim, caso tenha interesse em implementar modelos próprios de detecção de objetos, essa rede pode ser uma boa base para fazer mais experimentos.