Veja neste tutorial como treinar um modelo Keras ResNet na Cloud TPU usando tf.distribute.TPUStrategy
.
Se você não conhece muito bem o Cloud TPU, é altamente recomendável consultar o guia de início rápido para saber como criar uma TPU e uma VM do Compute Engine.
Objetivos
- Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
- Preparar um conjunto de dados ImageNet fictício que seja semelhante ao conjunto de dados do ImageNet.
- Executar o job de treinamento.
- Verificar os resultados da saída.
Custos
Neste tutorial, há componentes faturáveis do Google Cloud, entre eles:- Compute Engine
- Cloud TPU
- Cloud Storage
Use a calculadora de preços para gerar uma estimativa de custos baseada na projeção de uso. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.
Antes de começar
Antes de começar o tutorial, verifique se o projeto do Google Cloud foi configurado corretamente.
-
Faça login na sua conta do Google.
Se você ainda não tiver uma, inscreva-se.
-
No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
-
Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.
Este tutorial usa componentes faturáveis do Google Cloud. Consulte a página de preços da Cloud TPU para fazer uma estimativa dos custos. Para evitar cobranças desnecessárias, não se esqueça de apagar os recursos criados ao terminar de usá-los.
Configurar os recursos
Nesta seção, fornecemos informações sobre como configurar recursos do bucket do Cloud Storage, da VM e da Cloud TPU para tutoriais.
Abra uma janela do Cloud Shell.
Crie uma variável para o ID do seu projeto.
export PROJECT_ID=project-id
Configure a ferramenta de linha de comando
gcloud
para usar o projeto em que a Cloud TPU será criada.gcloud config set project ${PROJECT_ID}
Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página
Authorize Cloud Shell
. Clique emAuthorize
na parte inferior da página para permitir quegcloud
faça chamadas de API do GCP com suas credenciais.Crie uma conta de serviço para o projeto da Cloud TPU.
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
Crie um bucket do Cloud Storage usando o seguinte comando:
gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. A ferramenta
ctpu up
usada neste tutorial configura permissões padrão para a conta de serviço do Cloud TPU configurada na etapa anterior. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.O local do bucket precisa estar na mesma região que o Compute Engine (VM) e o nó da Cloud TPU.
Inicie o recurso da VM do Compute Engine usando o comando
ctpu up
.ctpu up --project=${PROJECT_ID} \ --zone=europe-west4-a \ --vm-only \ --name=resnet-tutorial \ --disk-size-gb=300 \ --machine-type=n1-standard-16 \ --tf-version=2.4.0
Descrições de sinalizações de comando
project
- o ID do projeto do GCP
zone
- A zona em que você planeja criar a Cloud TPU.
vm-only
- Crie somente uma VM. Por padrão, o comando
ctpu up
cria uma VM e uma Cloud TPU. name
- O nome da Cloud TPU a ser criada.
disk-size-gb
- O tamanho do disco rígido em GB da VM criada pelo comando
ctpu up
. machine-type
- O tipo de máquina da VM do Compute Engine a ser criado.
tf-version
- A versão do Tensorflow
ctpu
é instalada na VM.
Para mais informações sobre o utilitário do CTPU, consulte a Referência do CTPU.
Quando solicitado, pressione y para criar os recursos da Cloud TPU.
Quando o comando
ctpu up
terminar a execução, verifique se o prompt do shell foi alterado deusername@projectname
parausername@vm-name
. Essa alteração mostra que você fez login na VM do Compute Engine.gcloud compute ssh resnet-tutorial --zone=europe-west4-a
Ao continuar essas instruções, execute cada comando que começa com
(vm)$
na instância do Compute Engine.
Definir variáveis de bucket do Cloud Storage
Configure as seguintes variáveis de ambiente, substituindo bucket-name pelo nome do bucket do Cloud Storage:
(vm)$ export STORAGE_BUCKET=gs://bucket-name
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/resnet-2x (vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet (vm)$ export PYTHONPATH="$PYTHONPATH:/usr/share/models/"
O aplicativo de treinamento precisa que os dados de treinamento sejam acessíveis no Cloud Storage. Ele também usa o bucket do Cloud Storage para armazenar checkpoints durante o treinamento.
Treine e avalie o modelo ResNet com o fake_imagenet
O ImageNet é um banco de dados de imagens. As imagens do banco de dados são organizadas hierarquicamente, com cada nó da hierarquia representado por centenas e milhares de imagens.
Neste tutorial, usamos uma versão de demonstração do conjunto de dados completo do ImageNet, conhecido como fake_imagenet. Essa versão de demonstração permite testar os tutoriais e reduzir os requisitos de tempo e armazenamento normalmente associados à execução de um modelo com o conjunto de dados completo do ImageNet.
O conjunto de dados do fake_imagenet está neste local no Cloud Storage:
gs://cloud-tpu-test-datasets/fake_imagenet
O conjunto de dados do fake_imagenet é útil apenas para entender como usar um Cloud TPU e validar o desempenho de ponta a ponta. Os números de acurácia e o modelo salvo não são importantes.
Para informações sobre como fazer o download e processar o conjunto de dados total do ImageNet, consulte Como fazer o download, o pré-processamento e o upload do conjunto de dados do ImageNet.
Inicie um recurso da Cloud TPU usando o utilitário ctpu.
(vm)$ ctpu up --project=${PROJECT_ID} \ --tpu-only \ --tpu-size=v3-8 \ --name=resnet-tutorial \ --zone=europe-west4-a \ --tf-version=2.4.0
Descrições de sinalizações de comando
tpu-only
- Cria a Cloud TPU sem criar uma VM. Por padrão, o
comando
ctpu up
cria uma VM e uma Cloud TPU. project
- o ID do projeto do GCP
tpu-size
- O tipo da Cloud TPU a ser criada.
name
- O nome da Cloud TPU a ser criada.
zone
- A zona em que você planeja criar a Cloud TPU.
tf-version
- A versão do Tensorflow
ctpu
é instalada na VM.
Para mais informações sobre o utilitário do CTPU, consulte a Referência do CTPU.
Defina a variável de nome da Cloud TPU. Este será um nome especificado com o parâmetro
--name
paractpu up
ou o padrão, seu nome de usuário:(vm)$ export TPU_NAME=resnet-tutorial
O script de treinamento do ResNet requer um pacote extra. Instalar agora.
(vm)$ sudo pip3 install tensorflow-model-optimization>=0.1.3
Navegue até o diretório do modelo ResNet-50:
(vm)$ cd /usr/share/models/official/vision/image_classification/resnet/
Execute o script de treinamento. Ele usa um conjunto de dados false_imagenet e treina o ResNet por uma época.
(vm)$ python3 resnet_ctl_imagenet_main.py \ --tpu=${TPU_NAME} \ --model_dir=${MODEL_DIR} \ --data_dir=${DATA_DIR} \ --batch_size=1024 \ --steps_per_loop=500 \ --train_epochs=1 \ --use_synthetic_data=false \ --dtype=fp32 \ --enable_eager=true \ --enable_tensorboard=true \ --distribution_strategy=tpu \ --log_steps=50 \ --single_l2_loss_op=true \ --use_tf_function=true
Descrições de sinalizações de comando
tpu
- O nome da TPU.
model_dir
- Especifica o diretório em que os pontos de controle e os resumos são armazenados
durante o treinamento de modelo. Se a pasta não existir, ela será criada pelo programa. Ao usar uma Cloud TPU, o
model_dir
precisa ser um caminho do Cloud Storage (gs://...
). É possível reutilizar uma pasta existente para carregar dados do ponto de controle atual e armazenar outros pontos, contanto que os anteriores tenham sido criados usando a TPU com o mesmo tamanho e versão do TensorFlow. data_dir
- O caminho do Cloud Storage da entrada de treinamento. Neste exemplo, ele está definido como o conjunto de dados fake_imagenet.
batch_size
- O tamanho do lote de treinamento.
steps_per_loop
- O número de etapas de treinamento a serem executadas antes de salvar o estado na CPU. Uma etapa de treinamento é o processamento de um lote de exemplos. Isso inclui o encaminhamento e a retropropagação.
train_epochs
- O número de vezes que o modelo deve ser treinado usando o conjunto de dados inteiro.
use_synthetic_data
- Define se é necessário usar dados sintéticos para treinamento.
dtype
- O tipo de dado a ser usado para treinamento.
enable_eager
- Ative a execução rápida do TensorFlow.
enable_tensorboard
- Ative o TensorBoard.
distribution_strategy
- Para treinar o modelo ResNet em uma TPU, defina
distribution_strategy
comotpu
. log_steps
- O número de etapas de treinamento a serem executadas antes de registrar informações
de tempo como
examples per second
. single_l2_loss_op
- Calcule L2_loss em pesos concatenados em vez de usar a perda de L2 por camada Keras.
use_tf_function
- Encapsule o treino e teste as etapas dentro de um
tf.function
.
Isso treinará o ResNet por uma época e será concluído em um nó de TPU v3-8 em menos de 10 minutos. No final do treinamento, será exibida uma saída semelhante a esta:
I1107 20:28:57.561836 140033625347520 resnet_ctl_imagenet_main.py:222] Training 1 epochs, each epoch has 1251 steps, total steps: 1251; Eval 48 steps I1107 20:34:09.638025 140033625347520 resnet_ctl_imagenet_main.py:358] Training loss: 0.6292637, accuracy: 0.99680257 at epoch 1 I1107 20:34:21.682796 140033625347520 resnet_ctl_imagenet_main.py:372] Test loss: 3.8977659, accuracy: 0.0% at epoch: 1 I1107 20:34:22.028973 140033625347520 resnet_ctl_imagenet_main.py:392] Run stats: {'train_loss': 0.6292637, 'train_acc': 0.99680257, 'eval_acc': 0.0, 'step_timestamp_log': ['BatchTimestamp <batch_index: 1, timestamp: 1573158554.11>'], 'train_finish_time': 1573158861.683073, 'eval_loss': 3.8977659>}
Para treinar a ResNet para convergência, execute-a por 90 épocas conforme mostrado no script a seguir. O treinamento e a avaliação são feitos juntos. Cada época tem 1251 etapas para um total de 112.590 etapas de treinamento e 48 etapas de avaliação.
(vm)$ python3 resnet_ctl_imagenet_main.py \
--tpu=${TPU_NAME} \
--model_dir=${MODEL_DIR} \
--data_dir=${DATA_DIR} \
--batch_size=1024 \
--steps_per_loop=500 \
--train_epochs=90 \
--use_synthetic_data=false \
--dtype=fp32 \
--enable_eager=true \
--enable_tensorboard=true \
--distribution_strategy=tpu \
--log_steps=50 \
--single_l2_loss_op=true \
--use_tf_function=true
Descrições de sinalizações de comando
tpu
- O nome da TPU.
model_dir
- Especifica o diretório em que os pontos de controle e os resumos são armazenados
durante o treinamento do modelo. Se a pasta não existir, o programa criará uma. Ao usar uma Cloud TPU, o
model_dir
precisa ser um caminho do Cloud Storage (gs://...
). É possível reutilizar uma pasta existente para carregar dados dos pontos de controle atuais e armazenar outros pontos, contanto que os anteriores tenham sido criados usando uma Cloud TPU com o mesmo tamanho e versão do TensorFlow. data_dir
- O caminho do Cloud Storage da entrada de treinamento. Neste exemplo, ele está definido como o conjunto de dados fake_imagenet.
batch_size
- O tamanho do lote de treinamento.
steps_per_loop
- O número de etapas de treinamento a serem executadas antes de salvar o estado na CPU. Uma etapa do treinamento é o processamento de um lote de exemplos. Isso inclui um encaminhamento e a retropropagação.
train_epochs
- O número de vezes que o modelo deve ser treinado usando o conjunto de dados inteiro.
use_synthetic_data
- Define se é necessário usar dados sintéticos para treinamento.
dtype
- O tipo de dado a ser usado para treinamento.
enable_eager
- Ative a execução rápida do TensorFlow.
enable_tensorboard
- Ative o TensorBoard.
distribution_strategy
- Para treinar o modelo ResNet em uma TPU, defina
distribution_strategy
comotpu
. log_steps
- O número de etapas de treinamento a serem executadas antes de registrar informações
de tempo como
examples per second
. single_l2_loss_op
- Calcule L2_loss em pesos concatenados em vez de usar a perda de L2 por camada Keras.
use_tf_function
- Encapsule o treino e teste as etapas dentro de um
tf.function
.
Como o treinamento e a avaliação foram feitos no fake_imagenet, os resultados não refletem a saída real que apareceria se o treinamento e a avaliação fossem realizados em um conjunto de dados real.
A partir daqui, é possível concluir este tutorial e limpar os recursos do GCP ou explorar a execução do modelo em pods da Cloud TPU.
Como escalonar o modelo com os pods da Cloud TPU
Para resultados mais rápidos, escalone o modelo com os pods da Cloud TPU. O modelo ResNet-50 totalmente compatível funciona com as seguintes frações de pod:
- v2-32
- v3-32
Com os pods da Cloud TPU, o treinamento e a avaliação são feitos juntos.
Como treinar com pods da Cloud TPU
Exclua o recurso da Cloud TPU criado para treinar o modelo em um único dispositivo.
(vm)$ ctpu delete --project=${PROJECT_ID} \ --zone=europe-west4-a \ --tpu-only \ --name=resnet-tutorial
Descrições de sinalizações de comando
project
- o ID do projeto do GCP
zone
- A zona em que você planeja criar a Cloud TPU.
tpu-only
- Exclui a Cloud TPU.
name
- O nome da Cloud TPU a ser criada.
disk-size-gb
- O tamanho do disco rígido em GB da VM criada pelo comando
ctpu up
.
Depois que o Cloud TPU for excluído, crie um novo pod do Cloud TPU. Execute o comando
ctpu up
, usando o parâmetrotpu-size
para especificar a fração de pod a ser usada. Por exemplo, o comando a seguir usa uma fração de pod v3-32.(vm)$ ctpu up --project=${PROJECT_ID} \ --zone=europe-west4-a \ --tpu-only \ --name=resnet-tutorial \ --tpu-size=v3-32
Descrições de sinalizações de comando
Para mais informações sobre o utilitário do CTPU, consulte a Referência do CTPU.
Defina algumas variáveis de ambiente obrigatórias:
(vm)$ export TPU_NAME=resnet-tutorial (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/resnet-2x-pod
Navegue até o diretório do script:
(vm)$ cd /usr/share/models/official/vision/image_classification/resnet
Treine o modelo.
(vm)$ python3 resnet_ctl_imagenet_main.py \ --tpu=${TPU_NAME} \ --model_dir=${MODEL_DIR} \ --data_dir=${DATA_DIR} \ --batch_size=4096 \ --steps_per_loop=500 \ --train_epochs=1 \ --use_synthetic_data=false \ --dtype=fp32 \ --enable_eager=true \ --enable_tensorboard=true \ --distribution_strategy=tpu \ --log_steps=50 \ --single_l2_loss_op=true \ --use_tf_function=true
Descrições de sinalizações de comando
tpu
- O nome da TPU.
model_dir
- Especifica o diretório em que os pontos de controle e os resumos são armazenados
durante o treinamento do modelo. Se a pasta não existir, ela será criada pelo programa. Ao usar uma Cloud TPU, o
model_dir
precisa ser um caminho do Cloud Storage (gs://...
). É possível reutilizar uma pasta existente para carregar dados dos pontos de controle atuais e armazenar outros pontos, contanto que os anteriores tenham sido criados usando a Cloud TPU com o mesmo tamanho e versão do TensorFlow. data_dir
- O caminho do Cloud Storage da entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.
batch_size
- O tamanho do lote de treinamento.
steps_per_loop
- O número de etapas de treinamento a serem executadas antes de salvar o estado na CPU. Uma etapa de treinamento é o processamento de um lote de exemplos. Isso inclui um encaminhamento e a retropropagação.
train_epochs
- O número de vezes que o modelo deve ser treinado usando o conjunto de dados inteiro.
use_synthetic_data
- Define se é necessário usar dados sintéticos para treinamento.
dtype
- O tipo de dado a ser usado para treinamento.
enable_eager
- Ativa a execução rápida do TensorFlow.
enable_tensorboard
- Ativa o TensorBoard.
distribution_strategy
- Para treinar o modelo ResNet em uma TPU, defina
distribution_strategy
comotpu
. log_steps
- O número de etapas de treinamento a serem executadas antes de registrar informações
de tempo como
examples per second
. single_l2_loss_op
- Calcule L2_loss em pesos concatenados em vez de usar a perda de L2 por camada Keras.
use_tf_function
- Encapsule o treino e teste as etapas dentro de um
tf.function
.
O procedimento treina o modelo no conjunto de dados false_imagenet para uma época (total de 312 etapas de treinamento e 12 etapas de avaliação). O treinamento leva aproximadamente dois minutos em uma Cloud TPU v3-32. Quando o treinamento e a avaliação forem concluídos, uma mensagem semelhante a esta será exibida:
1107 22:45:19.821746 140317155378624 resnet_ctl_imagenet_main.py:358] Training loss: 0.22576721, accuracy: 0.838141 at epoch 1 I1107 22:45:33.892045 140317155378624 resnet_ctl_imagenet_main.py:372] Test loss: 0.26673648, accuracy: 0.0% at epoch: 1 I1107 22:45:34.851322 140317155378624 resnet_ctl_imagenet_main.py:392] Run stats: {'train_loss': 0.22576721, 'train_acc': 0.838141, 'eval_acc': 0.0, 'step_timestamp_log': ['BatchTimestamp<batch_index: 1, timestamp: 1573166574.67>'], 'train_finish_time': 1573166733.892282, 'eval_loss': 0.26673648}
Limpeza
Para evitar cobranças na sua conta do Google Cloud pelos recursos usados neste tutorial, exclua o projeto que contém os recursos ou mantenha o projeto e exclua os recursos individuais.
Desconecte-se da instância do Compute Engine, caso ainda não tenha feito isso:
(vm)$ exit
Agora, o prompt será
username@projectname
, mostrando que você está no Cloud Shell.No Cloud Shell, execute
ctpu delete
com a sinalização--zone
que você usou ao configurar a VM do Compute Engine e a Cloud TPU. Isso exclui sua VM e sua Cloud TPU.$ ctpu delete --project=${PROJECT_ID} \ --zone=europe-west4-a \ --name=resnet-tutorial
Execute
ctpu status
para garantir que não haja instâncias alocadas e evitar cobranças desnecessárias no uso da TPU. A exclusão pode levar vários minutos. Uma resposta como esta indica que não há mais instâncias alocadas:$ ctpu status --project=${PROJECT_ID} \ --zone=europe-west4-a
2018/04/28 16:16:23 WARNING: Setting zone to "europe-west4-a" No instances currently exist. Compute Engine VM: -- Cloud TPU: --
Execute
gsutil
conforme mostrado. Substitua bucket-name pelo nome do bucket do Cloud Storage criado para este tutorial:$ gsutil rm -r gs://bucket-name
A seguir
Neste tutorial, você treinou o modelo RESNET usando um conjunto de dados de amostra. Os resultados deste treinamento (na maioria dos casos) não podem ser usados para inferência. Para usar um modelo para inferência, é possível treinar os dados em um conjunto de dados disponível publicamente ou no seu próprio conjunto de dados. Os modelos treinados nas Cloud TPUs exigem que os conjuntos de dados estejam no formato TFRecord.
Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagem no formato TFRecord. Se você não estiver usando um modelo de classificação de imagem, converta manualmente o conjunto de dados para o TFRecord. Para mais informações, consulte TFRecord e tf.Example
Ajuste de hiperparâmetros
Para melhorar o desempenho do modelo com o conjunto de dados, é possível ajustar os hiperparâmetros. Encontre informações sobre hiperparâmetros comuns a todos os modelos compatíveis com a TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo podem ser encontradas no código-fonte de cada modelo. Para mais informações sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros, Como usar o serviço de ajuste de hiperparâmetros e Ajustar hiperparâmetros.
Inferência
Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). O AI Platform é uma solução baseada em nuvem para desenvolver, treinar e implantar modelos de machine learning. Depois que um modelo é implantado, use o serviço do AI Platform Prediction.
- Saiba como treinar e avaliar usando seus dados no lugar dos conjuntos de dados false_imagenet ou ImageNet seguindo o tutorial de conversão do conjunto de dados. O tutorial explica como usar o script de exemplo de conversão de dados de classificação de imagem para converter um conjunto de dados brutos para classificação de imagens em TFRecord utilizáveis por modelos do Cloud TPU Tensorflow.
- Execute um colab da Cloud TPU que demonstra como executar um modelo de classificação de imagem usando seus próprios dados de imagem.
- Explore os outros tutoriais da Cloud TPU.
- Aprenda a usar as ferramentas de monitoramento de TPU no TensorBoard.
- Veja como treinar o ResNet com Cloud TPU e GKE.