Como treinar no Cloud TPU (TF 2.x)

Veja neste tutorial como treinar um modelo Keras ResNet-RS no Cloud TPU usando tf.distribute.TPUStrategy. Para mais informações sobre o ResNet-RS, consulte Como revisitar o ResNets: melhorias nas estratégias de treinamento e escalonamento.

Se você não conhece muito bem o Cloud TPU, é altamente recomendável consultar o quickstart para saber como criar uma TPU e uma VM do Compute Engine.

Objetivos

Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
Preparar um conjunto de dados ImageNet fictício que seja semelhante ao conjunto de dados do ImageNet.
Executar o job de treinamento.
Verificar os resultados da saída.

Custos

Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:

Compute Engine
Cloud TPU
Cloud Storage

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Antes de começar o tutorial, verifique se o projeto do Google Cloud foi configurado corretamente.

Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

Acessar o seletor de projetos

Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

Acessar o seletor de projetos

Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

Este tutorial usa componentes faturáveis do Google Cloud. Consulte a página de preços da Cloud TPU para fazer uma estimativa dos custos. Para evitar cobranças desnecessárias, não se esqueça de apagar os recursos criados ao terminar de usá-los.

Configurar os recursos

Nesta seção, fornecemos informações sobre como configurar recursos do bucket do Cloud Storage, da VM e da Cloud TPU para tutoriais.

Abra uma janela do Cloud Shell.

Abrir o Cloud Shell
Crie uma variável para o ID do seu projeto.
```
export PROJECT_ID=project-id
```
Configure a Google Cloud CLI para usar o projeto em que você quer criar a Cloud TPU.
```
gcloud config set project ${PROJECT_ID}
```
Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página Authorize Cloud Shell. Clique em Authorize na parte de baixo da página para permitir que gcloud faça chamadas de API do Google Cloud com suas credenciais.

Crie uma conta de serviço para o projeto da Cloud TPU.

gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID

O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com

Crie um bucket do Cloud Storage usando o seguinte comando:
```
gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name
```
Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. A ferramenta gcloud compute tpus execution-groups usada neste tutorial configura permissões padrão para a conta de serviço do Cloud TPU configurada na etapa anterior. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

O local do bucket precisa estar na mesma região que o Compute Engine (VM) e o nó da Cloud TPU.
Inicie uma VM do Compute Engine usando o comando gcloud.
```
$ gcloud compute tpus execution-groups create \
 --vm-only \
 --name=resnet-rs-tutorial \
 --zone=europe-west4-a \
 --disk-size=300 \
 --machine-type=n1-standard-16 \
 --tf-version=2.12.0
 
```
Descrições de sinalizações de comando

vm-only

Crie apenas uma VM, não crie uma TPU.

name

O nome da TPU que será criada.

zone

A zona onde o Cloud TPU será criado.

disk-size

O tamanho do disco rígido em GB da VM criada pelo comando gcloud compute tpus execution-groups.

machine-type

O tipo de máquina da VM do Compute Engine a ser criada.

Para mais informações sobre o comando gcloud, consulte a referência da gcloud.
Quando solicitado, pressione y para criar os recursos da Cloud TPU.

Observação: a primeira vez que você executar gcloud compute tpus execution-groups em um projeto, ele levará cerca de cinco minutos para realizar tarefas de inicialização, como propagação de chave SSH e ativação da API.

Quando o comando gcloud compute tpus execution-groups terminar a execução, verifique se o prompt do shell foi alterado de username@projectname para username@vm-name. Essa alteração mostra que você fez login na VM do Compute Engine.

Observação: se você não estiver conectado à instância do Compute Engine, execute o seguinte comando:
```
gcloud compute ssh resnet-rs-tutorial --zone=europe-west4-a
```
Ao continuar essas instruções, execute cada comando que começa com (vm)$ na instância do Compute Engine.

Instale os pacotes necessários.

$ pip3 install tensorflow-text==2.8.1 --no-deps

Definir variáveis de bucket do Cloud Storage

Configure as seguintes variáveis de ambiente, substituindo bucket-name pelo nome do bucket do Cloud Storage:

(vm)$ export STORAGE_BUCKET=gs://bucket-name

(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/resnet-rs-2x
(vm)$ export IMAGENET_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
(vm)$ export PYTHONPATH=/usr/share/models
(vm)$ export TPU_NAME=resnet-rs-tutorial

O aplicativo de treinamento precisa que os dados de treinamento sejam acessíveis no Cloud Storage. Ele também usa o bucket do Cloud Storage para armazenar checkpoints durante o treinamento.

Treinamento e avaliação de dispositivo único do Cloud TPU

O ImageNet é um banco de dados de imagens. As imagens do banco de dados são organizadas hierarquicamente, com cada nó da hierarquia representado por centenas e milhares de imagens.

Neste tutorial, usamos uma versão de demonstração do conjunto de dados completo do ImageNet, conhecido como fake_imagenet. Essa versão de demonstração permite testar os tutoriais e reduzir os requisitos de tempo e armazenamento normalmente associados à execução de um modelo com o conjunto de dados completo do ImageNet.

O conjunto de dados do fake_imagenet está neste local no Cloud Storage:

gs://cloud-tpu-test-datasets/fake_imagenet

O conjunto de dados do fake_imagenet é útil apenas para entender como usar um Cloud TPU e validar o desempenho de ponta a ponta. Os números de acurácia e o modelo salvo não são importantes.

Para informações sobre como fazer o download e processar o conjunto de dados total do ImageNet, consulte Como fazer o download, o pré-processamento e o upload do conjunto de dados do ImageNet.

Crie uma Cloud TPU usando o comando gcloud.
```
$ gcloud compute tpus execution-groups create \
 --tpu-only \
 --accelerator-type=v3-8  \
 --name=resnet-rs-tutorial \
 --zone=europe-west4-a \
 --tf-version=2.12.0
```
Descrições de sinalizações de comando

tpu-only

Crie apenas uma TPU, não uma VM.

accelerator-type

O tipo do Cloud TPU a ser criado.

name

O nome da TPU que será criada.

zone

A zona onde o Cloud TPU será criado.

tf-version

A versão do TensorFlow instalada na VM.

Defina a variável de nome TPU_NAME.

(vm)$ export TPU_NAME=resnet-rs-tutorial

Execute o script de treinamento.
```
(vm)$ python3 /usr/share/models/official/vision/beta/train.py \
--experiment=resnet_rs_imagenet \
--mode=train_and_eval \
--model_dir=$MODEL_DIR \
--tpu=$TPU_NAME \
--config_file=/usr/share/models/official/vision/beta/configs/experiments/image_classification/imagenet_resnetrs50_i160.yaml \
--params_override="task.train_data.input_path=$IMAGENET_DIR/train*, task.validation_data.input_path=$IMAGENET_DIR/valid*, trainer.train_steps=100"
```
Descrições de sinalizações de comando

experiment

O nome do experimento que será realizado.

mode

O modo de execução do script. Os valores válidos são: "train", "eval" ou "train_and_eval".

model_dir

O bucket do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento. Use uma pasta atual para carregar os checkpoints criados anteriormente em uma TPU com o mesmo tamanho e versão do TensorFlow.

tpu

O nome da TPU que será usada.

config_file

O caminho para um arquivo de configuração de script.

params_override

Substitua as configurações definidas no arquivo de configuração de script.

Esse procedimento treinará o ResNet-RS para 100 etapas de treinamento e será concluído em um nó da TPU v3-8 em menos de cinco minutos. A saída do script de treinamento precisa incluir textos como:

{
  'train_loss': 1.435225,
  'train_accuracy': 0.00084427913
}

O script de treinamento também executa a avaliação. A saída da avaliação precisa conter um texto como este:

Run stats:
{
  'eval_loss': 0.861013,
  'eval_acc': 0.001,
  'train_loss': 1.435225,
  'train_acc': 0.00084427913,
  'step_timestamp_log': [
    'BatchTimestamp<batch_index: 0,
    timestamp: 1606330585.7613473>',
    'BatchTimestamp<batch_index: 500,
    timestamp: 1606330883.8486104>',
    'BatchTimestamp<batch_index: 1000,
    timestamp: 1606331119.515312>',
    'BatchTimestamp<batch_index: 1251,
    timestamp: 1606331240.7516596>'
  ],
  'train_finish_time': 1606331296.395158,
  'avg_exp_per_second': 1951.6983246161021
}

Para treinar o modelo ResNet-RS para convergência, omita o argumento trainer.train_steps=100, conforme mostrado no script a seguir. O treinamento e a avaliação são feitos juntos.

(vm)$ python3 /usr/share/models/official/vision/beta/train.py \
  --experiment=resnet_rs_imagenet \
  --mode=train_and_eval \
  --model_dir=$MODEL_DIR \
  --tpu=$TPU_NAME \
  --config_file=/usr/share/models/official/vision/beta/configs/experiments/image_classification/imagenet_resnetrs50_i160.yaml \
  --params_override="task.train_data.input_path=$IMAGENET_DIR/train*, task.validation_data.input_path=$IMAGENET_DIR/valid*"

Descrições de sinalizações de comando

experiment: O nome do experimento que será realizado.
mode: O modo de execução do script. Os valores válidos são: "train", "eval" ou "train_and_eval".
model_dir: O bucket do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento. Use uma pasta atual para carregar os checkpoints criados anteriormente em uma TPU com o mesmo tamanho e versão do TensorFlow.
tpu: O nome da TPU que será usada.
config_file: O caminho para um arquivo de configuração de script.
params_override: Substitua as configurações definidas no arquivo de configuração de script.

Como o treinamento e a avaliação foram feitos no fake_imagenet, os resultados não refletem a saída real que apareceria se o treinamento e a avaliação fossem realizados em um conjunto de dados real.

A esta altura, é possível concluir este tutorial e limpar seus recursos do Google Cloud ou explorar a execução do modelo nos pods do Cloud TPU.

Usar modelos maiores

O ResNet-RS inclui uma família de modelos de tamanhos diferentes, com os modelos maiores que costumam ser mais precisos, porém exigem mais computação. Para mais informações, consulte Como revisitar o ResNets: melhorias nas estratégias de treinamento e escalonamento.

É possível escolher o tamanho do modelo a ser treinado alterando o config_file no comando a seguir.

(vm)$ python3 /usr/share/models/official/vision/beta/train.py \
  --experiment=resnet_rs_imagenet \
  --mode=train_and_eval \
  --model_dir=$MODEL_DIR \
  --tpu=$TPU_NAME \
  --config_file=/usr/share/models/official/vision/beta/configs/experiments/image_classification/imagenet_resnetrs200_i256.yaml \
  --params_override="task.train_data.input_path=$IMAGENET_DIR/train*, task.validation_data.input_path=$IMAGENET_DIR/valid*"

As configurações disponíveis estão em /usr/share/models/official/vision/beta/configs/experiments/ na sua VM.

Escalonar seu modelo com pods do Cloud TPU

O treinamento do modelo em pods do Cloud TPU pode exigir algumas alterações no script de treinamento. Para mais informações, consulte Como treinar em pods de TPU.

Para resultados mais rápidos, escalone o modelo com os pods da Cloud TPU. O modelo ResNet-50 totalmente compatível funciona com as seguintes frações de pod:

v2-32
v3-32

Com os pods da Cloud TPU, o treinamento e a avaliação são feitos juntos.

Como treinar com pods da Cloud TPU

Exclua o recurso da Cloud TPU criado para treinar o modelo em um único dispositivo.

(vm)$ gcloud compute tpus execution-groups delete resnet-rs-tutorial \
  --zone=europe-west4-a \
  --tpu-only

Crie um novo recurso do Cloud TPU para o pod usando o parâmetro accelerator-type para especificar a fração do pod que você quer usar. Por exemplo, o comando a seguir usa uma fração do pod v3-32.
```
(vm)$ gcloud compute tpus execution-groups  create --name=resnet-rs-tutorial \
  --accelerator-type=v3-32  \
  --zone=europe-west4-a \
  --tf-version=2.12.0 \
  --tpu-only
```
Descrições de sinalizações de comando

name

O nome do Cloud TPU a ser criado.

accelerator-type

O tipo do Cloud TPU a ser criado.

zone

A zona em que você planeja criar o Cloud TPU.

tf-version

A versão do Tensorflow gcloud é instalada na VM.

tpu-only

Crie apenas uma Cloud TPU. Por padrão, o comando gcloud cria uma VM e uma Cloud TPU.
Execute o script de treinamento.
```
(vm)$ python3 /usr/share/models/official/vision/beta/train.py \
--experiment=resnet_rs_imagenet \
--mode=train_and_eval \
--model_dir=$MODEL_DIR \
--tpu=$TPU_NAME \
--config_file=/usr/share/models/official/vision/beta/configs/experiments/image_classification/imagenet_resnetrs50_i160.yaml \
--params_override="task.train_data.input_path=$IMAGENET_DIR/train*, task.validation_data.input_path=$IMAGENET_DIR/valid*, trainer.train_steps=100"
```
Descrições de sinalizações de comando

experiment

O nome do experimento que será realizado.

mode

O modo de execução do script. Os valores válidos são: "train", "eval" ou "train_and_eval".

model_dir

O bucket do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento. Use uma pasta atual para carregar os checkpoints gerados anteriormente criados em uma TPU do mesmo tamanho e versão do TensorFlow.

tpu

O nome da TPU que será usada.

config_file

O caminho para um arquivo de configuração de script.

params_override

Substitua as configurações definidas no arquivo de configuração de script.

{
  'train_loss': 1.435225,
  'train_accuracy': 0.00084427913
}

O script de treinamento também executa a avaliação. A saída da avaliação precisa conter um texto como este:

Run stats:
{
  'eval_loss': 0.861013,
  'eval_acc': 0.001,
  'train_loss': 1.435225,
  'train_acc': 0.00084427913,
  'step_timestamp_log': [
    'BatchTimestamp<batch_index: 0,
    timestamp: 1606330585.7613473>',
    'BatchTimestamp<batch_index: 500,
    timestamp: 1606330883.8486104>',
    'BatchTimestamp<batch_index: 1000,
    timestamp: 1606331119.515312>',
    'BatchTimestamp<batch_index: 1251,
    timestamp: 1606331240.7516596>'
  ],
  'train_finish_time': 1606331296.395158,
  'avg_exp_per_second': 1951.6983246161021
}

O treinamento e a avaliação são feitos juntos. Cada período tem 1.251 etapas de um total de 112.590 etapas de treinamento e 48 etapas de avaliação.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

Desconecte-se da instância do Compute Engine, caso ainda não tenha feito isso:
```
(vm)$ exit
```
Agora, o prompt será username@projectname, mostrando que você está no Cloud Shell.

No Cloud Shell, use o seguinte comando para excluir a VM do Compute Engine e o Cloud TPU:

$ gcloud compute tpus execution-groups delete resnet-rs-tutorial \
  --zone=europe-west4-a

Execute gcloud compute tpus execution-groups list para verificar se os recursos foram excluídos. A exclusão pode levar vários minutos. Uma resposta como esta indica que suas instâncias foram excluídas com sucesso.
```
$ gcloud compute tpus execution-groups list \
 --zone=europe-west4-a
```
Você verá uma lista vazia de TPUs como a seguinte:
```
   NAME             STATUS
```
Exclua o bucket do Cloud Storage usando gsutil, conforme mostrado abaixo. Substitua bucket-name pelo nome do bucket no Cloud Storage.
```
$ gsutil rm -r gs://bucket-name
```

A seguir

Geralmente, os tutoriais do Cloud TPU do TensorFlow treinam o modelo usando um conjunto de dados de amostra. Os resultados deste treinamento não podem ser usados para inferência. Para usar um modelo para inferência, treine os dados em um conjunto de dados disponível publicamente ou no seu próprio conjunto de dados. Os modelos do TensorFlow treinados em Cloud TPUs geralmente exigem que os conjuntos de dados estejam no formato TFRecord.

Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagens no formato TFRecord. Se você não estiver usando um modelo de classificação de imagens, será necessário converter seu conjunto de dados para o formato TFRecord. Para mais informações, consulte TFRecord e tf.Example.

Ajuste de hiperparâmetros

Para melhorar o desempenho do modelo com seu conjunto de dados, é possível ajustar os hiperparâmetros do modelo. Veja informações sobre hiperparâmetros comuns a todos os modelos compatíveis com TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo estão disponíveis no código-fonte de cada modelo. Para mais informações sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros e Ajustar hiperparâmetros.

Inferência

Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). É possível usar a ferramenta de conversão de inferência do Cloud TPU para preparar e otimizar um modelo do TensorFlow para inferência no Cloud TPU v5e. Para mais informações sobre inferência no Cloud TPU v5e, consulte Introdução à inferência no Cloud TPU v5e.