Como treinar o MnasNet na Cloud TPU

Neste tutorial, você verá como treinar o modelo Tensorflow MnasNet usando um dispositivo Cloud TPU ou uma fatia do pod do Cloud TPU (vários dispositivos TPU). É possível aplicar o mesmo padrão a outros modelos de classificação de imagem otimizados para TPU que usam o TensorFlow e o conjunto de dados do ImageNet.

Descrição do modelo

O modelo deste tutorial é baseado no MnasNet: Platform-Aware Neural Architecture Search for Mobile, que primeiro introduz a arquitetura de rede neural móvel do AutoML (MnasNet). Este tutorial usa a variante de última geração, 'mnasnet-a1', e demonstra o treinamento do modelo usando o TPUEstimator.

Considerações especiais ao treinar em uma fração do pod (v2-32/v3-32 e acima)

Se você planeja treinar em uma fatia de pod de TPU, leia este documento que explica as considerações especiais ao treinar em uma parte de pod.

Objetivos

Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
Executar o job de treinamento.
Verificar os resultados da saída.

Custos

Neste tutorial, usamos os seguintes componentes faturáveis do Google Cloud:

Compute Engine
Cloud TPU
Cloud Storage

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Antes de começar o tutorial, verifique se o projeto do Google Cloud foi configurado corretamente.

Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

Acessar o seletor de projetos

Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como verificar se o faturamento está ativado em um projeto.

No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

Acessar o seletor de projetos

Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como verificar se o faturamento está ativado em um projeto.

Este tutorial usa componentes faturáveis do Google Cloud. Consulte a página de preços da Cloud TPU para fazer uma estimativa dos custos. Para evitar cobranças desnecessárias, não se esqueça de apagar os recursos criados ao terminar de usá-los.

Configurar os recursos

Nesta seção, você verá como configurar os recursos do Cloud Storage, da VM e do Cloud TPU para tutoriais.

Abra uma janela do Cloud Shell.

Abra o Cloud Shell
Crie uma variável para o ID do seu projeto.
```
export PROJECT_ID=project-id
```
Configure a CLI do Google Cloud para usar o projeto em que você quer criar a Cloud TPU.
```
gcloud config set project ${PROJECT_ID}
```
Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página Authorize Cloud Shell. Clique em Authorize na parte inferior da página para permitir que gcloud faça chamadas de API do GCP com suas credenciais.

Crie uma conta de serviço para o projeto da Cloud TPU.

gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID

O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com

Crie um bucket do Cloud Storage usando o seguinte comando: Substitua bucket-name por um nome para o bucket.
```
gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
```
Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. A ferramenta gcloud compute tpus execution-groups usada neste tutorial configura permissões padrão para a conta de serviço da Cloud TPU. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

O local do bucket precisa estar na mesma região da máquina virtual (VM) e do nó da TPU. As VMs e os nós da TPU estão localizados em zonas específicas, que são subdivisões dentro de uma região.
Inicie os recursos do Compute Engine e da Cloud TPU necessários neste tutorial usando o comando gcloud compute tpus execution-groups.

Observação: neste tutorial, usamos o TensorFlow 1.15.5, que é baseado na imagem do Debian 10 e o padrão do Python 3.6 é usado. As versões anteriores do TensorFlow 1.15.x eram baseadas no Debian 9 e são padrão para o Python 3.5.
```
gcloud compute tpus execution-groups create \
 --vm-only \
 --name=mnasnet-tutorial \
 --zone=europe-west4-a \
 --disk-size=300 \
 --machine-type=n1-standard-8 \
 --tf-version=1.15.5
```
Descrições de sinalizações de comando

vm-only

Crie apenas a VM do Compute Engine, não crie uma Cloud TPU.

name

O nome do Cloud TPU a ser criado.

zone

A zona em que você planeja criar a Cloud TPU.

disk-size

O tamanho do disco rígido em GB da VM criada pelo comando gcloud.

machine-type

O tipo de máquina da VM do Compute Engine a ser criada.

tf-version

A versão gcloud do Tensorflow é instalada na VM.

Para mais informações sobre o comando gcloud, consulte a referência da gcloud.
Quando solicitado, pressione y para criar os recursos da Cloud TPU.

Observação: a primeira vez que você executar gcloud compute tpus execution-groups em um projeto, ele levará cerca de cinco minutos para realizar tarefas de inicialização, como propagação de chave SSH e ativação da API.

Quando o comando gcloud compute tpus execution-groups terminar a execução, verifique se o prompt do shell foi alterado de username@projectname para username@vm-name. Essa alteração mostra que você fez login na VM do Compute Engine. Caso não esteja conectado à instância do Compute Engine, execute o seguinte comando:
```
gcloud compute ssh mnasnet-tutorial --zone=europe-west4-a
```
Daqui em diante, o prefixo (vm)$ significa que é preciso executar o comando na instância de VM do Compute Engine.
Crie uma variável de ambiente para o bucket de armazenamento. Substitua bucket-name pelo nome do seu bucket no Cloud Storage.
```
(vm)$ export STORAGE_BUCKET=gs://bucket-name
```
Crie uma variável de ambiente para o diretório de modelos.
```
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/mnasnet
```

Adicione a pasta de nível superior /models ao caminho do Python com o comando

(vm)$ export PYTHONPATH=${PYTHONPATH}:/usr/share/tpu/models:/usr/share/tpu/models/official/efficientnet

Localizar os dados

O ImageNet é um banco de dados de imagens. As imagens no banco de dados são organizadas em uma hierarquia; cada nó da hierarquia contém centenas e milhares de imagens.

Neste tutorial, usamos uma versão de demonstração do conjunto de dados completo do ImageNet, conhecido como fake_imagenet. Essa versão de demonstração permite testar os tutoriais e reduzir os requisitos de tempo e armazenamento normalmente associados à execução de um modelo com o conjunto de dados completo do ImageNet.

O conjunto de dados do fake_imagenet está neste local no Cloud Storage:

gs://cloud-tpu-test-datasets/fake_imagenet

Crie uma variável de ambiente para o diretório de dados.

(vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet

O conjunto de dados do fake_imagenet é útil apenas para entender como usar um Cloud TPU e validar o desempenho de ponta a ponta. Os números de acurácia e o modelo salvo não são importantes.

Para informações sobre como fazer o download e processar o conjunto de dados total do ImageNet, consulte Como fazer o download, o pré-processamento e o upload do conjunto de dados do ImageNet.

Treinar o modelo MnasNet com false_imagenet

O modelo de TPU do Mnasnet está pré-instalado na sua VM do Compute Engine no seguinte diretório:

/usr/share/tpu/models/official/mnasnet/

Execute o comando a seguir para criar o Cloud TPU.
```
(vm)$ gcloud compute tpus execution-groups create \
 --tpu-only \
 --accelerator-type=v3-8 \
 --name=mnasnet-tutorial \
 --zone=europe-west4-a \
 --tf-version=1.15.5
```
Descrições de sinalizações de comando

tpu-only

Crie apenas o Cloud TPU, não crie um Compute Engine.

accelerator-type

O tipo da Cloud TPU a ser criada.

name

O nome do Cloud TPU a ser criado.

zone

A zona em que você planeja criar a Cloud TPU.

tf-version

A versão gcloud do Tensorflow é instalada na VM.
Crie uma variável de ambiente para o nome da Cloud TPU.
```
(vm)$ export TPU_NAME=mnasnet-tutorial
```

Navegue até o diretório do modelo.

(vm)$ cd /usr/share/tpu/models/official/mnasnet/

Execute o script de treinamento.
```
(vm)$ python3 mnasnet_main.py \
  --tpu=${TPU_NAME} \
  --data_dir=${DATA_DIR} \
  --model_dir=${MODEL_DIR} \
  --model_name="mnasnet-a1" \
  --skip_host_call=true \
  --train_steps=109474 \
  --train_batch_size=4096
```
Descrições de sinalizações de comando

tpu

O nome do Cloud TPU para executar treinamento ou avaliação.

data_dir

Especifica o caminho do Cloud Storage para a entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.

model_dir

O caminho do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. É possível reutilizar uma pasta atual para carregar checkpoints gerados anteriormente e armazená-los, desde que os anteriores tenham sido criados usando um Cloud TPU do mesmo tamanho e versão do TensorFlow.

model_name

O nome do modelo a ser treinado. Por exemplo, mnasnet-a1.

skip_host_call

Defina como true para instruir o script a ignorar o host_call, que é executado em todas as etapas de treinamento. Isso é geralmente usado para gerar resumos de treinamento (perda de treinamento, taxa de aprendizado etc.). Quando skip_host_call=false, poderá haver uma queda de desempenho se a função host_call for lenta e não puder acompanhar o cálculo do TPU.

train_steps

O número de etapas a serem usadas no treinamento. O valor padrão é 218.949, que é aproximadamente 350 períodos, em um tamanho de lote de 2.048. Essa sinalização precisa ser ajustada de acordo com o valor de train_batch_size.

train_batch_size

O tamanho do lote de treinamento.

Para um único dispositivo da Cloud TPU, o procedimento treina o modelo MnasNet (variante "mnasnet-a1") por 350 períodos e avalia cada número fixo de etapas. Usando as sinalizações especificadas, o modelo é treinado em cerca de 23 horas. Com os dados reais da imagenet, as configurações reproduzirão o resultado da pesquisa de última geração, enquanto os usuários serão capazes de ajustar a velocidade de treinamento.

Como escalonar o modelo com os pods da Cloud TPU

Para resultados mais rápidos, escalone o modelo com os pods da Cloud TPU. O modelo Mnasnet totalmente compatível funciona com as seguintes frações de pod:

v2-32
v2-128
v2-256
v2-512
v3-32
v3-128
v3-256
v3-512
v3-1024
v3-2048

Ao trabalhar com pods da Cloud TPU, primeiro treine o modelo usando um pod e, em seguida, use um único dispositivo da Cloud TPU para avaliá-lo.

Como treinar com pods da Cloud TPU

Exclua o recurso da Cloud TPU criado para treinar o modelo em um único dispositivo.

(vm)$ gcloud compute tpus execution-groups delete mnasnet-tutorial \
--tpu-only \
--zone=europe-west4-a

Crie um novo pod do Cloud TPU.
```
(vm)$ gcloud compute tpus execution-groups create --tpu-only \
  --accelerator-type=v2-32 \
  --zone=europe-west4-a \
  --name=mnasnet-tutorial \
  --tf-version=1.15.5
```
Descrições de sinalizações de comando

tpu-only

Crie apenas uma Cloud TPU. Por padrão, o comando gcloud cria uma VM e uma Cloud TPU.

accelerator-type

O tipo da Cloud TPU a ser criada.

zone

A zona em que você planeja criar a Cloud TPU.

name

O nome do Cloud TPU a ser criado.

tf-version

A versão gcloud do Tensorflow é instalada na VM.
Atualize a variável de ambiente TPU_NAME
```
(vm)$ export TPU_NAME=Cloud TPU
```
Atualize o diretório MODEL_DIR para armazenar os dados de treinamento.
```
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/mnasnet-tutorial
```
Treine o modelo executando o script a seguir.

O script treina o modelo no conjunto de dados false_imagnet para 35 épocas. Isso leva aproximadamente 90 minutos para ser executado em um v3-128 Cloud TPU.
```
(vm)$ python3 mnasnet_main.py \
  --tpu=${TPU_NAME} \
  --data_dir=${DATA_DIR} \
  --model_dir=${MODEL_DIR} \
  --model_name="mnasnet-a1" \
  --skip_host_call=true \
  --train_steps=109474 \
  --train_batch_size=4096
```
Descrições de sinalizações de comando

tpu

O nome da Cloud TPU.

data_dir

Especifica o caminho do Cloud Storage para a entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.

model_dir

O caminho do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. É possível reutilizar uma pasta atual para carregar checkpoints gerados anteriormente e armazená-los, desde que os anteriores tenham sido criados usando um Cloud TPU do mesmo tamanho e versão do TensorFlow.

model_name

O nome do modelo a ser treinado. Por exemplo, efficientnet.

skip_host_call

Defina como true para instruir o script a ignorar o host_call, que é executado em todas as etapas de treinamento. Isso é geralmente usado para gerar resumos de treinamento (perda de treinamento, taxa de aprendizado etc.). Quando skip_host_call=false, pode haver uma queda de desempenho se a função host_call for lenta e não puder acompanhar o cálculo da TPU.

train_steps

O número de etapas a serem usadas no treinamento. O valor padrão é 218.949 passos, que é aproximadamente 350 épocas, em um tamanho de lote de 2048. Essa sinalização precisa ser ajustada de acordo com o valor da sinalização train_batch_size.

train_batch_size

O tamanho do lote de treinamento.

O procedimento treina o modelo MnasNet (variante "mnasnet-a1") no conjunto de dados fake_imagent para 350 períodos. Isso leva cerca de 5 horas.

Como avaliar o modelo

Neste conjunto de etapas, você usa o Cloud TPU para avaliar o modelo treinado acima em relação aos dados de validação false_imagenet.

Exclua o recurso do Cloud TPU criado para treinar o modelo em um pod.

(vm)$ gcloud compute tpus execution-groups delete mnasnet-tutorial \
  --tpu-only \
  --zone=europe-west4-a

Inicie um Cloud TPU v2-8. Use o mesmo nome que você usou para a VM do Compute Engine, que ainda precisa estar em execução.
```
(vm)$ gcloud compute tpus execution-groups create --tpu-only \
  --accelerator-type=v3-8 \
  --zone=europe-west4-a \
  --name=mnasnet-tutorial \
  --tf-version=1.15.5
```
Descrições de sinalizações de comando

tpu-only

Crie apenas uma Cloud TPU. Por padrão, o comando gcloud cria uma VM e uma Cloud TPU.

accelerator-type

O tipo da Cloud TPU a ser criada.

zone

A zona em que você planeja criar a Cloud TPU.

name

O nome do Cloud TPU a ser criado.

tf-version

A versão gcloud do Tensorflow é instalada na VM.
Crie uma variável de ambiente para o tipo de acelerador.
```
(vm)$ export ACCELERATOR_TYPE=v3-8
```
Execute a avaliação do modelo. Desta vez, adicione a sinalização mode e defina-a como eval.
```
(vm)$ python3 mnasnet_main.py \
  --tpu=${TPU_NAME} \
  --data_dir=${DATA_DIR} \
  --model_dir=${MODEL_DIR} \
  --mode=eval \
  --config_file=configs/cloud/${ACCELERATOR_TYPE}.yaml
```
Descrições de sinalizações de comando

tpu

O nome da Cloud TPU.

data_dir

Especifica o caminho do Cloud Storage para a entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.

model_dir

O caminho do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. É possível reutilizar uma pasta atual para carregar checkpoints gerados anteriormente e armazená-los, desde que os anteriores tenham sido criados usando um Cloud TPU do mesmo tamanho e versão do TensorFlow.

mode

Um de train_and_eval, train ou eval. train_and_eval treina e avalia o modelo. train treina o modelo. eval avalia o modelo.

config_file

O arquivo de configuração usado pelo script de treinamento/avaliação.

Isso gera um resultado semelhante ao seguinte:
```
Eval results: {
'loss': 7.532023,
'top_1_accuracy': 0.0010172526,
'global_step': 100,
'top_5_accuracy': 0.005065918
}
Elapsed seconds: 88
```

Limpar

As etapas abaixo mostram como evitar cobranças na sua conta do GCP pelo uso de recursos.

Encerre a conexão com a VM do Compute Engine:
```
(vm)$ exit
```
Agora, o prompt será user@projectname, mostrando que você está no Cloud Shell.

Exclua os recursos do Cloud TPU e do Compute Engine.

$ gcloud compute tpus execution-groups delete mnasnet-tutorial \
  --zone=europe-west4-a

Execute gcloud compute tpus execution-groups list para verificar se os recursos foram excluídos. A exclusão pode levar vários minutos. Uma resposta como esta indica que suas instâncias foram excluídas com sucesso.
```
$ gcloud compute tpus execution-groups list \
  --zone=europe-west4-a
```
```
   NAME             STATUS
```
Exclua o bucket do Cloud Storage usando gsutil, conforme mostrado abaixo. Substitua bucket-name pelo nome do bucket no Cloud Storage.
```
$ gsutil rm -r gs://bucket-name
```

A seguir

Geralmente, os tutoriais do Cloud TPU do TensorFlow treinam o modelo usando um conjunto de dados de amostra. Os resultados deste treinamento não podem ser usados para inferência. Para usar um modelo para inferência, treine os dados em um conjunto de dados disponível publicamente ou em seu próprio conjunto de dados. Os modelos do TensorFlow treinados em Cloud TPUs geralmente exigem que os conjuntos de dados estejam no formato TFRecord.

Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagem no formato TFRecord. Se você não estiver usando um modelo de classificação de imagem, converta manualmente o conjunto de dados para o TFRecord. Para saber mais, consulte TFRecord e tf.Example.

Ajuste de hiperparâmetros

Para melhorar o desempenho do modelo com o conjunto de dados, é possível ajustar os hiperparâmetros do modelo. Encontre informações sobre hiperparâmetros comuns a todos os modelos compatíveis com a TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo podem ser encontradas no código-fonte de cada modelo. Para saber mais sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros, Como usar o serviço de ajuste de hiperparâmetros e Ajustar hiperparâmetros.

Inferência

Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). O AI Platform é uma solução baseada na nuvem para desenvolver, treinar e implantar modelos de machine learning. Depois que um modelo é implantado, use o serviço do AI Platform Prediction.

Conheça as ferramentas de TPU no TensorBoard.

Como treinar o MnasNet na Cloud TPU

Descrição do modelo

Considerações especiais ao treinar em uma fração do pod (v2-32/v3-32 e acima)

Objetivos

Custos

Antes de começar

Configurar os recursos

Descrições de sinalizações de comando

Localizar os dados

Treinar o modelo MnasNet com false_imagenet

Descrições de sinalizações de comando

Descrições de sinalizações de comando

Como escalonar o modelo com os pods da Cloud TPU

Como treinar com pods da Cloud TPU

Descrições de sinalizações de comando

Descrições de sinalizações de comando

Como avaliar o modelo

Descrições de sinalizações de comando

Descrições de sinalizações de comando

Limpar

A seguir

Ajuste de hiperparâmetros

Inferência