Como treinar o ResNet no Cloud TPU

O modelo deste tutorial é baseado no artigo Deep Residual Learning for Image Recognition (em inglês), que foi o primeiro a apresentar a arquitetura de rede residual ou ResNet. O tutorial usa a variante de 50 camadas, o ResNet-50, e demonstra o treinamento do modelo usando a TPUEstimator. O modelo do ResNet-50 vem pré-instalado na VM do Compute Engine.

Objetivos

  • Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
  • Preparar uma versão de teste do conjunto de dados do ImageNet, conhecido como conjunto de dados do fake_imagenet.
  • Executar o job de treinamento.
  • Verificar os resultados da saída.

Custos

Neste tutorial, há componentes faturáveis do Google Cloud, entre eles:

  • Compute Engine
  • Cloud TPU
  • Cloud Storage

Use a Calculadora de preços para gerar uma estimativa de custo com base no uso previsto. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Antes de iniciar este tutorial, verifique se o projeto do Google Cloud está configurado corretamente.

  1. Faça login na sua Conta do Google.

    Se você ainda não tiver uma, inscreva-se.

  2. No Console do GCP, na página do seletor de projetos, selecione ou crie um projeto do GCP.

    Acesse a página do seletor de projetos

  3. Verifique se o faturamento foi ativado no projeto do Google Cloud Platform. Saiba como confirmar que o faturamento está ativado para seu projeto.

  4. Este tutorial usa componentes faturáveis do Google Cloud. Consulte a página de preços da Cloud TPU para fazer uma estimativa dos custos. Para evitar cobranças desnecessárias, não se esqueça de apagar os recursos criados ao terminar de usá-los.

Configurar os recursos

Nesta seção, você verá como configurar os recursos do Cloud Storage, da VM e do Cloud TPU para tutoriais.

  1. Abra uma janela do Cloud Shell.

    Abrir o Cloud Shell

  2. Crie uma variável para o nome do projeto.

        export PROJECT_NAME=project-name
        
  3. Configure a ferramenta de linha de comando da gcloud para usar o projeto em que o Cloud TPU será criado.

        gcloud config set project ${PROJECT_NAME}
        
  4. Crie um bucket do Cloud Storage usando o seguinte comando:

        gsutil mb -p ${PROJECT_NAME} -c standard -l europe-west4 -b on gs://bucket-name
        

    Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. A ferramenta ctpu up usada neste tutorial configura permissões padrão para a conta de serviço do Cloud TPU. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

    O local do bucket precisa estar na mesma região da máquina virtual (VM) e do nó da TPU. As VMs e os nós da TPU estão localizados em zonas específicas, que são subdivisões dentro de uma região.

  5. Inicie os recursos do Compute Engine necessários para isso usando o comando ctpu up.

    ctpu up --zone=europe-west4-a \
        --vm-only \
        --disk-size-gb=300 \
        --machine-type=n1-standard-8 \
        --tf-version=1.15 \
        --name=resnet-tutorial

    Para mais informações sobre o utilitário do CTPU, consulte Referência do CTPU.

  6. Quando solicitado, pressione y para criar os recursos do Cloud TPU.

Quando o comando ctpu up terminar a execução, verifique se o prompt do shell foi alterado de username@project para username@vm-name. Essa alteração mostra que você fez login na VM do Compute Engine. Caso não esteja conectado à instância do Compute Engine, execute o seguinte comando:

    gcloud compute ssh resnet-tutorial --zone=europe-west4-a
    

Daqui em diante, o prefixo (vm)$ significa que é preciso executar o comando na instância de VM do Compute Engine.

Configurar caminhos de armazenamento, modelo e dados

Configure as seguintes variáveis de ambiente, substituindo o bucket-name pelo nome do seu bucket no Cloud Storage:

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/resnet
    (vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
    (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/tpu/models"
    

O aplicativo de treinamento precisa que os dados de treinamento sejam acessíveis no Cloud Storage. Ele usa o bucket do Cloud Storage para armazenar checkpoints durante o treinamento.

Treine e avalie o modelo ResNet com o fake_imagenet

O ImageNet é um banco de dados de imagens. As imagens no banco de dados são organizadas em uma hierarquia; cada nó da hierarquia contém centenas e milhares de imagens.

Neste tutorial, usamos uma versão de demonstração do conjunto de dados completo do ImageNet, conhecido como fake_imagenet. Essa versão de demonstração permite testar os tutoriais e reduzir os requisitos de tempo e armazenamento normalmente associados à execução de um modelo com base no conjunto de dados completo do ImageNet.

O conjunto de dados do fake_imagenet está neste local no Cloud Storage:

gs://cloud-tpu-test-datasets/fake_imagenet

O conjunto de dados do fake_imagenet é útil apenas para entender como usar um Cloud TPU e validar o desempenho de ponta a ponta. Os números de acurácia e o modelo salvo não são importantes.

Para informações sobre como fazer o download e processar o conjunto de dados total do ImageNet, consulte Como fazer o download, o pré-processamento e o upload do conjunto de dados do ImageNet.

  1. Inicie um recurso do Cloud TPU usando o utilitário ctpu e defina algumas variáveis de ambiente usadas posteriormente.

         (vm)$ ctpu up --tpu-only \
         --tf-version=1.15 \
         --name=resnet-tutorial
        
         (vm)$ export TPU_NAME=resnet-tutorial
         (vm)$ export ACCELERATOR_TYPE=v3-8
        
  2. Navegue até o diretório do modelo:

        (vm)$ cd /usr/share/tpu/models/official/resnet/
        
  3. Execute o script de treinamento.

    Para um único dispositivo do Cloud TPU, o script treina o modelo do ResNet-50 por 90 épocas e avalia cada número fixo de etapas de treinamento. Usando as sinalizações especificadas, o modelo é treinado em cerca de 10 horas.

    Como o treinamento e a avaliação foram feitos no conjunto de dados do fake_imagenet, os resultados não refletem a saída real que apareceria se o treinamento e a avaliação fossem realizados em um conjunto de dados real.

    Como você está treinando esse modelo com dados falsos, convém reduzir o tempo de conclusão do script de treinamento. É possível usar o argumento --train_steps para resnet_main.py e especificar o número de etapas de treinamento a serem usadas. Por exemplo, é possível definir train_steps como 1000, e o modelo será treinado por aproximadamente 30 minutos.

         (vm)$ python3 resnet_main.py \
            --tpu=${TPU_NAME} \
            --data_dir=${DATA_DIR} \
            --model_dir=${MODEL_DIR} \
            --config_file=configs/cloud/${ACCELERATOR_TYPE}.yaml
        
    Parâmetro Descrição
    tpu Especifica o nome do Cloud TPU. Observe que ctpu transmite esse nome para a VM do Compute Engine como uma variável de ambiente (TPU_NAME).
    data_dir Especifica o caminho do Cloud Storage para a entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.
    model_dir Especifica o diretório em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. Se a pasta não existir, ela será criada pelo programa. Ao usar um Cloud TPU, o model_dir precisa ser um caminho do Cloud Storage (`gs://... `). É possível reutilizar uma pasta existente para carregar dados dos checkpoints atuais e armazenar outros checkpoints, contanto que os anteriores tenham sido criados usando um TPU com o mesmo tamanho e versão do TensorFlow.
    config_file Especifica o arquivo de configuração YAML que será usado durante o treinamento. O nome desse arquivo corresponde ao tipo de TPU usado. Por exemplo, v2-8.yaml.

A partir daqui, é possível concluir este tutorial e limpar os recursos do GCP ou explorar a execução do modelo em um pod do Cloud TPU.

Como escalonar o modelo com os pods do Cloud TPU

Para resultados mais rápidos, escalone o modelo com os pods do Cloud TPU. O modelo ResNet-50 totalmente compatível pode funcionar com as seguintes frações de pod:

  • v2-32
  • v2-128
  • v2-256
  • v2-512
  • v3-32
  • v3-128
  • v3-256
  • v3-512
  • v3-1024
  • v3-2048

Ao trabalhar com pods do Cloud TPU, primeiro treine o modelo usando um pod e, em seguida, use um único dispositivo do Cloud TPU para avaliá-lo.

Como treinar com pods do Cloud TPU

  1. Exclua o recurso do Cloud TPU criado para treinar o modelo em um único dispositivo.

         (vm)$ ctpu delete --tpu-only --name=resnet-tutorial
        
  2. Execute o comando ctpu up, usando o parâmetro tpu-size para especificar a fração de pod a ser usada. Por exemplo, o comando a seguir usa uma fração de pod v2-32.

          (vm)$ ctpu up --tpu-only --tpu-size=v2-32 --tf-version=1.15 --name=resnet-pod
        
  3. Atualize as variáveis de ambiente TPU_NAME e ACCELERATOR_TYPE para especificar um nome de podcast da TPU que seja um tipo de acelerador.

          (vm)$ export TPU_NAME=resnet-pod
          (vm)$ export ACCELERATOR_TYPE=v2-32
        
  4. Atualize o diretório MODEL_DIR para armazenar os dados de treinamento.

          (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/resnet-pod
        
  5. Treine o modelo, atualizando o parâmetro config_file para usar o arquivo de configuração que corresponde à fração de pod que você quer usar. Por exemplo, o script de treinamento usa o arquivo de configuração v2-32.yaml.

    O script treina o modelo no conjunto de dados false_imagnet para 35 épocas. Isso leva aproximadamente 90 minutos para ser executado em um v3-128 Cloud TPU.

          (vm)$ python3 resnet_main.py \
            --tpu=${TPU_NAME} \
            --data_dir=${DATA_DIR} \
            --model_dir=${MODEL_DIR} \
            --config_file=configs/cloud/${ACCELERATOR_TYPE}.yaml
        

Como avaliar o modelo

Nesta etapa, você usa o Cloud TPU para avaliar o modelo treinado acima com base nos dados de validação do fake_imagenet.

  1. Exclua o recurso do Cloud TPU criado para treinar o modelo.

         (vm)$ ctpu delete --tpu-only --name=resnet-pod
        
  2. Inicie um v2-8 Cloud TPU.

         (vm)$ ctpu up --tpu-only \
           --tf-version=1.15 \
           --name=resnet-eval
        
  3. Atualize a variável de ambiente TPU_NAME.

         (vm)$ export TPU_NAME=resnet-eval
        
  4. Execute a avaliação do modelo. Desta vez, adicione a sinalização mode e defina-a como eval.

         (vm)$ python3 resnet_main.py \
           --tpu=${TPU_NAME} \
           --data_dir=${DATA_DIR} \
           --model_dir=${MODEL_DIR} \
           --mode=eval
           --config_file=configs/cloud/${ACCELERATOR_TYPE}.yaml
        

Isso gera um resultado semelhante ao seguinte:

Eval results: {'loss': 8.255788, 'top_1_accuracy': 0.0009969076, 'global_step': 0, 'top_5_accuracy': 0.005126953}. Elapsed seconds: 76

Como o treinamento e a avaliação foram feitos no banco de dados fake_imagenet, os resultados não refletem a saída real que apareceria se o treinamento e a avaliação fossem realizados em um conjunto de dados real.

Como limpar

Para evitar que os recursos presentes neste tutorial sejam cobrados na conta do Google Cloud Platform, faça o seguinte:

  1. Desconecte-se da instância do Compute Engine, caso ainda não tenha feito isso:

        (vm)$ exit
        

    Agora, o prompt precisa ser username@project, mostrando que você está no Cloud Shell.

  2. No Cloud Shell, execute ctpu delete com a sinalização --zone usada ao configurar o Cloud TPU para excluir a VM do Compute Engine e o Cloud TPU:

        $ ctpu delete --zone=europe-west4-a
        
  3. Execute ctpu status para garantir que não haja instâncias alocadas e evitar cobranças desnecessárias no uso da TPU. A exclusão pode levar vários minutos. Uma resposta como esta indica que não há mais instâncias alocadas:

        2018/04/28 16:16:23 WARNING: Setting zone to "europe-west4-a"
        No instances currently exist.
                Compute Engine VM:     --
                Cloud TPU:             --
        
  4. Execute gsutil, conforme mostrado, substituindo bucket-name pelo nome do bucket do Cloud Storage criado para este tutorial:

        $ gsutil rm -r gs://bucket-name
        

A seguir