Neste tutorial, você verá como treinar o modelo Tensorflow MnasNet usando um dispositivo Cloud TPU ou uma fatia do pod do Cloud TPU (vários dispositivos TPU). É possível aplicar o mesmo padrão a outros modelos de classificação de imagem otimizados para TPU que usam o TensorFlow e o conjunto de dados do ImageNet.
Descrição do modelo
O modelo deste tutorial é baseado no MnasNet: Platform-Aware Neural Architecture Search for Mobile, que primeiro introduz a arquitetura de rede neural móvel do AutoML (MnasNet). Este tutorial usa a variante de última geração, 'mnasnet-a1', e demonstra o treinamento do modelo usando o TPUEstimator.
Considerações especiais ao treinar em uma fração do pod (v2-32/v3-32 e acima)
Se você planeja treinar em uma fatia de pod de TPU, leia este documento que explica as considerações especiais ao treinar em uma parte de pod.
Objetivos
- Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
- Executar o job de treinamento.
- Verificar os resultados da saída.
Custos
Neste tutorial, há componentes faturáveis do Google Cloud, entre eles:
- Compute Engine
- Cloud TPU
- Cloud Storage
Use a calculadora de preços para gerar uma estimativa de custos baseada na projeção de uso.
Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.
Antes de começar
Antes de começar o tutorial, verifique se o projeto do Google Cloud foi configurado corretamente.
-
Faça login na sua conta do Google.
Se você ainda não tiver uma, inscreva-se.
-
No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
-
Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.
Este tutorial usa componentes faturáveis do Google Cloud. Consulte a página de preços da Cloud TPU para fazer uma estimativa dos custos. Para evitar cobranças desnecessárias, não se esqueça de apagar os recursos criados ao terminar de usá-los.
Configurar os recursos
Nesta seção, você verá como configurar os recursos do Cloud Storage, da VM e do Cloud TPU para tutoriais.
Abra uma janela do Cloud Shell.
Crie uma variável para o ID do seu projeto.
export PROJECT_ID=project-id
Configure a ferramenta de linha de comando
gcloud
para usar o projeto em que a Cloud TPU será criada.gcloud config set project ${PROJECT_ID}
Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página
Authorize Cloud Shell
. Clique emAuthorize
na parte inferior da página para permitir quegcloud
faça chamadas de API do GCP com suas credenciais.Crie uma conta de serviço para o projeto da Cloud TPU.
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
Crie um bucket do Cloud Storage usando o seguinte comando: Substitua bucket-name por um nome para o bucket.
gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. A ferramenta
ctpu up
usada neste tutorial configura permissões padrão para a conta de serviço da Cloud TPU. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.O local do bucket precisa estar na mesma região da máquina virtual (VM) e do nó da TPU. As VMs e os nós da TPU estão localizados em zonas específicas, que são subdivisões dentro de uma região.
Inicie os recursos do Compute Engine necessários para este tutorial usando o comando
ctpu up
.ctpu up --project=${PROJECT_ID} \ --zone=europe-west4-a \ --vm-only \ --disk-size-gb=300 \ --machine-type=n1-standard-8 \ --tf-version=1.15.5 \ --name=mnasnet-tutorial
Descrições de sinalizações de comando
project
- o ID do projeto do GCP
zone
- A zona em que você planeja criar a Cloud TPU.
vm-only
- Cria a VM sem criar uma Cloud TPU. Por padrão, o
comando
ctpu up
cria uma VM e uma Cloud TPU. disk-size-gb
- O tamanho do disco rígido em GB da VM criada pelo comando
ctpu up
. machine-type
- O tipo de máquina da VM do Compute Engine a ser criado.
tf-version
- A versão do
ctpu
do Tensorflow é instalada na VM. name
- O nome da Cloud TPU a ser criada.
Para mais informações sobre o utilitário do CTPU, consulte Referência do CTPU.
Quando solicitado, pressione y para criar os recursos da Cloud TPU.
Quando o comando
ctpu up
terminar a execução, verifique se o prompt do shell foi alterado deusername@projectname
parausername@vm-name
. Essa alteração mostra que você fez login na VM do Compute Engine. Caso não esteja conectado à instância do Compute Engine, execute o seguinte comando:gcloud compute ssh mnasnet-tutorial --zone=europe-west4-a
Daqui em diante, o prefixo
(vm)$
significa que é preciso executar o comando na instância de VM do Compute Engine.Crie uma variável de ambiente para o bucket de armazenamento. Substitua bucket-name pelo nome do seu bucket no Cloud Storage.
(vm)$ export STORAGE_BUCKET=gs://bucket-name
Crie uma variável de ambiente para o diretório de modelos.
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/mnasnet
Adicione a pasta de nível superior
/models
ao caminho do Python com o comando(vm)$ export PYTHONPATH=${PYTHONPATH}:/usr/share/tpu/models:/usr/share/tpu/models/official/efficientnet
Localizar os dados
O ImageNet é um banco de dados de imagens. As imagens no banco de dados são organizadas em uma hierarquia; cada nó da hierarquia contém centenas e milhares de imagens.
Neste tutorial, usamos uma versão de demonstração do conjunto de dados completo do ImageNet, conhecido como fake_imagenet. Essa versão de demonstração permite testar os tutoriais e reduzir os requisitos de tempo e armazenamento normalmente associados à execução de um modelo com o conjunto de dados completo do ImageNet.
O conjunto de dados do fake_imagenet está neste local no Cloud Storage:
gs://cloud-tpu-test-datasets/fake_imagenet
Crie uma variável de ambiente para o diretório de dados.
(vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
O conjunto de dados do fake_imagenet é útil apenas para entender como usar um Cloud TPU e validar o desempenho de ponta a ponta. Os números de acurácia e o modelo salvo não são importantes.
Para informações sobre como fazer o download e processar o conjunto de dados total do ImageNet, consulte Como fazer o download, o pré-processamento e o upload do conjunto de dados do ImageNet.
Treinar o modelo MnasNet com false_imagenet
O modelo de TPU do Mnasnet está pré-instalado na sua VM do Compute Engine no seguinte diretório:
/usr/share/tpu/models/official/mnasnet/
Inicie um recurso do Cloud TPU usando o utilitário
ctpu
e defina algumas variáveis de ambiente usadas posteriormente.(vm)$ ctpu up --project=${PROJECT_ID}
--tpu-only
--tf-version=1.15.5
--name=mnasnet-tutorial(vm)$ export TPU_NAME=mnasnet-tutorial
Navegue até o diretório do modelo.
(vm)$ cd /usr/share/tpu/models/official/mnasnet/
Execute o script de treinamento.
(vm)$ python3 mnasnet_main.py \ --tpu=${TPU_NAME} \ --data_dir=${DATA_DIR} \ --model_dir=${MODEL_DIR} \ --model_name="mnasnet-a1" \ --skip_host_call=true \ --train_steps=109474 \ --train_batch_size=4096
--tpu
especifica o nome da Cloud TPU. Observe quectpu
transmite esse nome para a VM do Compute Engine como uma variável de ambiente (TPU_NAME
).--data_dir
especifica o caminho do Cloud Storage para a entrada de treinamento.--model_dir
especifica o diretório em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. Se a pasta não existir, o programa criará uma. Ao usar uma Cloud TPU, omodel_dir
precisa ser um caminho do Cloud Storage (gs://...
). É possível reutilizar uma pasta atual para carregar dados dos checkpoints atuais e armazenar outros checkpoints, contanto que os anteriores tenham sido criados usando uma TPU do mesmo tamanho e versão do Tensorflow.Para um único dispositivo da Cloud TPU, o procedimento treina o modelo MnasNet (variante "mnasnet-a1") por 350 períodos e avalia cada número fixo de etapas. Usando as sinalizações especificadas, o modelo é treinado em cerca de 23 horas. Com os dados reais da imagenet, as configurações reproduzirão o resultado da pesquisa de última geração, enquanto os usuários serão capazes de ajustar a velocidade de treinamento.
Como escalonar o modelo com os pods da Cloud TPU
Para resultados mais rápidos, escalone o modelo com os pods da Cloud TPU. O modelo Mnasnet totalmente compatível funciona com as seguintes frações de pod:
- v2-32
- v2-128
- v2-256
- v2-512
- v3-32
- v3-128
- v3-256
- v3-512
- v3-1024
- v3-2048
Ao trabalhar com pods da Cloud TPU, primeiro treine o modelo usando um pod e, em seguida, use um único dispositivo da Cloud TPU para avaliá-lo.
Como treinar com pods da Cloud TPU
Exclua o recurso da Cloud TPU criado para treinar o modelo em um único dispositivo.
(vm)$ ctpu delete --project=${PROJECT_ID} \ --tpu-only \ --name=mnasnet-tutorial
Execute o comando
ctpu up
, usando o parâmetrotpu-size
para especificar a fração de pod a ser usada. Por exemplo, o comando a seguir usa uma fração de pod v2-32.(vm)$ ctpu up --project=${PROJECT_ID} \ --tpu-only \ --tpu-size=v2-32 \ --tf-version=1.15.5 \ --name=Cloud TPU
Atualize as variáveis de ambiente
TPU_NAME
.(vm)$ export TPU_NAME=Cloud TPU
Atualize o diretório
MODEL_DIR
para armazenar os dados de treinamento.(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/Cloud TPU
Treine o modelo executando o script a seguir.
O script treina o modelo no conjunto de dados false_imagnet para 35 épocas. Isso leva aproximadamente 90 minutos para ser executado em um v3-128 Cloud TPU.
(vm)$ python3 mnasnet_main.py \ --tpu=${TPU_NAME} \ --data_dir=${DATA_DIR} \ --model_dir=${MODEL_DIR} \ --model_name="mnasnet-a1" \ --skip_host_call=true \ --train_steps=109474 \ --train_batch_size=4096
--tpu
especifica o nome da Cloud TPU. Observe quectpu
transmite esse nome para a VM do Compute Engine como uma variável de ambiente (TPU_NAME
).--data_dir
especifica o caminho do Cloud Storage para a entrada de treinamento.--model_dir
especifica o diretório em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. Se a pasta não existir, o programa criará uma. Ao usar uma Cloud TPU, omodel_dir
precisa ser um caminho do Cloud Storage (gs://...
). É possível reutilizar uma pasta atual para carregar dados dos checkpoints atuais e armazenar outros checkpoints, contanto que os anteriores tenham sido criados usando uma TPU do mesmo tamanho e versão do Tensorflow.
O procedimento treina o modelo MnasNet (variante "mnasnet-a1") no conjunto de dados fake_imagent para 350 períodos. Isso leva cerca de 5 horas.
Como avaliar o modelo
Neste conjunto de etapas, você usa o Cloud TPU para avaliar o modelo treinado acima em relação aos dados de validação false_imagenet.
Exclua o recurso do Cloud TPU criado para treinar o modelo em um pod.
(vm)$ ctpu delete --project=${PROJECT_ID} \ --tpu-only \ --name=${TPU_NAME}
Inicie um Cloud TPU v2-8. Use o mesmo nome que você usou para a VM do Compute Engine, que ainda precisa estar em execução.
(vm)$ ctpu up --project=${PROJECT_ID} \ --tpu-only \ --tf-version=1.15.5 \ --name=mnasnet-eval
Crie uma variável de ambiente para seu nome de TPU.
(vm)$ export TPU_NAME=mnasnet-eval
Crie uma variável de ambiente para o tipo de acelerador.
(vm)$ export ACCELERATOR_TYPE=v3-8
Execute a avaliação do modelo. Desta vez, adicione a sinalização
mode
e defina-a comoeval
.(vm)$ python3 mnasnet_main.py \ --tpu=${TPU_NAME} \ --data_dir=${DATA_DIR} \ --model_dir=${MODEL_DIR} \ --mode=eval \ --config_file=configs/cloud/${ACCELERATOR_TYPE}.yaml
Isso gera um resultado semelhante ao seguinte:
Eval results: {'loss': 7.532023, 'top_1_accuracy': 0.0010172526, 'global_step': 100, 'top_5_accuracy': 0.005065918}. Elapsed seconds: 88
Limpar
As etapas abaixo mostram como evitar cobranças na sua conta do GCP pelo uso de recursos.
Encerre a conexão com a VM do Compute Engine:
(vm)$ exit
Agora, o prompt precisa ser
user@projectname
, mostrando que você está no Cloud Shell.No Cloud Shell, execute
ctpu delete
com a sinalização --zone usada ao configurar a Cloud TPU para excluir a VM do Compute Engine e a Cloud TPU:$ ctpu delete --project=${PROJECT_ID} \ --zone=europe-west4-a \ --name=mnasnet-tutorial
Execute
ctpu status
para garantir que não haja instâncias alocadas e evitar cobranças desnecessárias no uso da TPU. A exclusão pode levar vários minutos. Uma resposta como esta indica que não há mais instâncias alocadas:$ ctpu status --project=${PROJECT_ID} \ --zone=europe-west4-a
2018/04/28 16:16:23 WARNING: Setting zone to "europe-west4-a" No instances currently exist. Compute Engine VM: -- Cloud TPU: --
Execute
gsutil
conforme mostrado. Substitua bucket-name pelo nome do bucket do Cloud Storage criado para este tutorial:$ gsutil rm -r gs://bucket-name
A seguir
Neste tutorial, você treinou o modelo MNASNET usando um conjunto de dados de amostra. Os resultados deste treinamento (na maioria dos casos) não podem ser usados para inferência. Para usar um modelo para inferência, é possível treinar os dados em um conjunto de dados disponível publicamente ou no seu próprio conjunto de dados. Os modelos treinados nas Cloud TPUs exigem que os conjuntos de dados estejam no formato TFRecord.
Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagem no formato TFRecord. Se você não estiver usando um modelo de classificação de imagem, converta manualmente o conjunto de dados para o TFRecord. Para mais informações, consulte TFRecord e tf.Example
Ajuste de hiperparâmetros
Para melhorar o desempenho do modelo com o conjunto de dados, é possível ajustar os hiperparâmetros. Encontre informações sobre hiperparâmetros comuns a todos os modelos compatíveis com a TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo podem ser encontradas no código-fonte de cada modelo. Para mais informações sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros, Como usar o serviço de ajuste de hiperparâmetros e Ajustar hiperparâmetros.
Inferência
Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). O AI Platform é uma solução baseada em nuvem para desenvolver, treinar e implantar modelos de machine learning. Depois que um modelo é implantado, use o serviço do AI Platform Prediction.
- Saiba mais sobre
ctpu
, incluindo como instalá-lo em uma máquina local. - Conheça as ferramentas de TPU no TensorBoard.