Como treinar o EfficientNet no Cloud TPU (TF 2.x)

Neste tutorial, mostramos como treinar um modelo Keras EfficNet no Cloud TPU usando tf.distribute.TPUStrategy.

Se você não estiver familiarizado com a Cloud TPU, é altamente recomendável consultar o guia de início rápido para saber como criar uma VM da Cloud TPU e do Compute Engine.

Objetivos

  • Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
  • Preparar um conjunto de dados ImageNet fictício que seja semelhante ao conjunto de dados do ImageNet.
  • Executar o job de treinamento.
  • Verificar os resultados da saída.

Custos

Neste tutorial, há componentes faturáveis do Google Cloud, entre eles:

  • Compute Engine
  • Cloud TPU
  • Cloud Storage

Use a calculadora de preços para gerar uma estimativa de custos baseada na projeção de uso. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Antes de começar o tutorial, verifique se o projeto do Google Cloud foi configurado corretamente.

  1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
  2. No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  3. Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.

  4. Este tutorial usa componentes faturáveis do Google Cloud. Consulte a página de preços da Cloud TPU para fazer uma estimativa dos custos. Para evitar cobranças desnecessárias, não se esqueça de apagar os recursos criados ao terminar de usá-los.

Configurar os recursos

Nesta seção, fornecemos informações sobre como configurar recursos do bucket do Cloud Storage, da VM e da Cloud TPU para tutoriais.

  1. Abra uma janela do Cloud Shell.

    Abrir o Cloud Shell

  2. Crie uma variável para o ID do seu projeto.

    export PROJECT_ID=project-id
    
  3. Configure a ferramenta de linha de comando gcloud para usar o projeto em que a Cloud TPU será criada.

    gcloud config set project ${PROJECT_ID}
    

    Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página Authorize Cloud Shell. Clique em Authorize na parte inferior da página para permitir que gcloud faça chamadas de API do GCP com suas credenciais.

    Para mais informações sobre o comando gcloud, consulte a Referência do gcloud.

  4. Crie uma conta de serviço para o projeto da Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Crie um bucket do Cloud Storage usando o seguinte comando:

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name/
    

    Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. O comando gcloud compute tpus execution-groups usado neste tutorial configura permissões padrão para a conta de serviço do Cloud TPU configurada na etapa anterior. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

    O local do bucket precisa estar na mesma região que o Compute Engine (VM) e o nó da Cloud TPU.

  6. Preparar o conjunto de dados ou usar fake_imagenet

    O ImageNet é um banco de dados de imagens. As imagens do banco de dados são organizadas hierarquicamente, com cada nó da hierarquia representado por centenas e milhares de imagens.

    Neste tutorial, usamos uma versão de demonstração do conjunto de dados completo do ImageNet, conhecido como fake_imagenet. Essa versão de demonstração permite testar os tutoriais e reduzir os requisitos de tempo e armazenamento normalmente associados à execução de um modelo com o conjunto de dados completo do ImageNet.

    O conjunto de dados do fake_imagenet está neste local no Cloud Storage:

    gs://cloud-tpu-test-datasets/fake_imagenet

    O conjunto de dados do fake_imagenet é útil apenas para entender como usar um Cloud TPU e validar o desempenho de ponta a ponta. Os números de acurácia e o modelo salvo não são importantes.

    Se você quiser usar o conjunto de dados completo do ImageNet, consulte Como fazer o download, o pré-processamento e o upload do conjunto de dados do ImageNet (em inglês).

  7. Use o comando gcloud para iniciar uma VM do Compute Engine e a Cloud TPU. O comando usado dependerá de você estar usando VMs de TPU ou nós de TPU. Para mais informações sobre as duas arquiteturas de VM, consulte Arquitetura do sistema.

    VM de TPU

    $ gcloud alpha compute tpus tpu-vm  create efficientnet-tutorial \
    --zone=europe-west4-a \
    --accelerator-type=v3-8 \
    --version=v2-alpha
    

    Descrições de sinalizações de comando

    zone
    A zona em que você planeja criar a Cloud TPU.
    accelerator-type
    O tipo do Cloud TPU a ser criado.
    version
    A versão do ambiente de execução do Cloud TPU.

    Nó da TPU

    gcloud compute tpus execution-groups create \
    --name=efficientnet-tutorial \
    --zone=europe-west4-a \
    --disk-size=300 \
    --machine-type=n1-standard-16 \
    --tf-version=2.5.0 \
    --accelerator-type=v3-8
    

    Descrições de sinalizações de comando

    project
    o ID do projeto do GCP
    name
    O nome da Cloud TPU a ser criada.
    zone
    A zona em que você planeja criar a Cloud TPU.
    disk-size
    O tamanho do disco rígido em GB da VM criada pelo comando gcloud .
    machine-type
    O tipo de máquina da VM do Compute Engine a ser criada.
    tf-version
    A versão do gcloud do Tensorflow é instalada na VM.
    accelerator-type
    O tipo do Cloud TPU a ser criado.

    Para mais informações sobre o comando gcloud, consulte a Referência do gcloud.

  8. Se você não estiver conectado automaticamente à instância do Compute Engine, faça login executando o seguinte comando ssh. Quando você está conectado à VM, o prompt de shell muda de username@projectname para username@vm-name:

    VM de TPU

    gcloud alpha compute tpus tpu-vm  ssh efficientnet-tutorial --zone=europe-west4-a
    

    Nó da TPU

    gcloud compute ssh efficientnet-tutorial --zone=europe-west4-a
    
  9. Defina a variável de nome da Cloud TPU.

    VM de TPU

    (vm)$ export TPU_NAME=local
    

    Nó da TPU

    (vm)$ export TPU_NAME=efficientnet-tutorial
    
  10. Definir variáveis de bucket do Cloud Storage

    Substitua bucket-name pelo nome do seu intervalo do Cloud Storage:

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/efficientnet-2x
    (vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
    

    O aplicativo de treinamento precisa que os dados de treinamento sejam acessíveis no Cloud Storage. Ele também usa o bucket do Cloud Storage para armazenar checkpoints durante o treinamento.

  11. Instale os requisitos do TensorFlow.

    O comando usado depende de você estar usando VMs de TPU ou nós da TPU.

    VM de TPU

    (vm)$ git clone https://github.com/tensorflow/models.git
    (vm)$ pip3 install -r models/official/requirements.txt
    

    Nó da TPU

    (vm)$ sudo pip3 install -r /usr/share/models/official/requirements.txt
    
  12. O script de treinamento EfficientNet requer pacotes extras. Instale-os agora:

    (vm)$ sudo pip3 install tensorflow-addons
    (vm)$ sudo pip3 install tensorflow-model-optimization>=0.1.3
    
  13. Defina a variável de ambiente PYTHONPATH:

    VM de TPU

    (vm)$ export PYTHONPATH="${PWD}/models:${PYTHONPATH}"
    

    Nó da TPU

    (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
    

    O modelo EfficientNet é pré-instalado na VM do Compute Engine.

  14. Mude para o diretório que armazena o modelo:

    VM de TPU

    (vm)$ cd ~/models/official/vision/image_classification
    

    Nó da TPU

    (vm)$ cd /usr/share/models/official/vision/image_classification
    

Treine o modelo

  1. Execute o script de treinamento. Ele usa um conjunto de dados false_imagenet e treina o EfficientNet por uma época.

    (vm)$ python3 classifier_trainer.py \
      --mode=train_and_eval \
      --model_type=efficientnet \
      --dataset=imagenet \
      --tpu=${TPU_NAME} \
      --data_dir=${DATA_DIR} \
      --model_dir=${MODEL_DIR} \
      --params_override="train.epochs=1, train_dataset.builder=records, validation_dataset.builder=records"
    

    Descrições de sinalizações de comando

    mode
    Um de train, eval ou train_and_eval.
    model_type
    O tipo do modelo. Por exemplo, efficientnet.
    dataset
    O nome do conjunto de dados. Por exemplo, imagenet.
    tpu
    O nome do Cloud TPU para executar treinamento ou avaliação.
    data_dir
    Especifica o caminho do Cloud Storage para a entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.
    model_dir
    O caminho do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. É possível reutilizar uma pasta atual para carregar checkpoints gerados anteriormente e armazená-los, desde que os anteriores tenham sido criados usando um Cloud TPU do mesmo tamanho e versão do TensorFlow.
    config_file
    O caminho para o arquivo json que contém o modelo EfficientNet pré-treinando. Esse arquivo contém a arquitetura do modelo.
    params_override
    Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte /usr/share/models/official/vision/detection/main.py.

    Isso treinará o EfficientNet por 1 período e será concluído em um nó do Cloud TPU v3-8 em menos de 10 minutos. Quando o script de treinamento for concluído, uma saída semelhante a esta será exibida:

    Run stats:
    {
      'accuracy_top_1': 0.0010172526817768812,
      'eval_loss': 7.104171276092529,
      'loss': 7.113735675811768,
      'training_accuracy_top_1': 0.0009773431811481714,
      'step_timestamp_log': [
        'BatchTimestamp<batch_index: 0,
        timestamp: 1604960724.2224622>',
        'BatchTimestamp<batch_index: 1251,
        timestamp: 1604961281.3745298>'
      ],
      'train_finish_time': 1604961342.6359076,
      'avg_exp_per_second': 2071.493269569079
    }
    

    Para treinar o EfficientNet para convergência, execute-o por 90 períodos, conforme mostrado no script a seguir. O treinamento e a avaliação são feitos juntos. Cada época tem 1251 etapas para um total de 112.590 etapas de treinamento e 48 etapas de avaliação.

    (vm)$ python3 classifier_trainer.py \
         --mode=train_and_eval \
         --model_type=efficientnet \
         --dataset=imagenet \
         --tpu=${TPU_NAME} \
         --data_dir=${DATA_DIR} \
         --model_dir=${MODEL_DIR} \
         --config_file=configs/examples/efficientnet/imagenet/efficientnet-b0-tpu.yaml \
         --params_override="train_dataset.builder=records, validation_dataset.builder=records"
    

    Descrições de sinalizações de comando

    mode
    Um dos valores train, eval ou train_and_eval.
    model_type
    O tipo do modelo. Por exemplo, efficientnet, etc.
    dataset
    O nome do conjunto de dados. Por exemplo, imagenet.
    tpu
    O nome do Cloud TPU para executar o treinamento ou a avaliação.
    data_dir
    Especifica o caminho do Cloud Storage para a entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.
    model_dir
    O caminho do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. É possível reutilizar uma pasta atual para carregar checkpoints gerados anteriormente e armazenar outros checkpoints, contanto que os anteriores tenham sido criados usando uma Cloud TPU do mesmo tamanho e versão do TensorFlow.
    config_file
    O caminho para o arquivo JSON que contém o modelo EfficientNet pré-treinado. Esse arquivo contém a arquitetura do modelo.
    params_override
    Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte /usr/share/models/official/vision/detection/main.py.

    Como o treinamento foi feito no conjunto de dados fake_imagenet, os resultados não refletem a saída real que apareceria se o treinamento fosse realizado em um conjunto de dados real.

    Você concluiu o treinamento sobre um único dispositivo. Siga as etapas abaixo para excluir os recursos de TPU de dispositivo único atuais.

  2. Desconecte-se da instância do Compute Engine:

    (vm)$ exit
    

    Agora, o prompt precisa ser username@projectname, mostrando que você está no Cloud Shell.

  3. Exclua o recurso da TPU.

    VM de TPU

    $ gcloud alpha compute tpus tpu-vm  delete efficientnet-tutorial \
    --zone=europe-west4-a
    

    Descrições de sinalizações de comando

    zone
    A zona em que o Cloud TPU reside.

    Nó da TPU

    $ gcloud compute tpus execution-groups delete efficientnet-tutorial \
    --tpu-only \
    --zone=europe-west4-a
    

    Descrições de sinalizações de comando

    tpu-only
    Exclui apenas a Cloud TPU. A VM permanece disponível.
    zone
    A zona que contém a TPU a ser excluída.

A partir daqui, é possível concluir este tutorial e limpar ou continuar e explorar a execução do modelo em pods da Cloud TPU.

Como escalonar o modelo com os pods da Cloud TPU

Treinamento de pod de VM de TPU

Nesta seção, você verá como configurar um bucket do Cloud Storage e os recursos do Cloud TPU para treinamento de pod.

  1. Abra uma janela do Cloud Shell.

    Abrir o Cloud Shell

  2. Crie uma variável para o ID do seu projeto.

    export PROJECT_ID=project-id
    
  3. Configure a ferramenta de linha de comando gcloud para usar o projeto em que a Cloud TPU será criada.

    gcloud config set project ${PROJECT_ID}
    

    Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página Authorize Cloud Shell. Clique em Authorize na parte inferior da página para permitir que gcloud faça chamadas de API do GCP com suas credenciais.

  4. Crie uma conta de serviço para o projeto da Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Crie um bucket do Cloud Storage usando o seguinte comando ou use um bucket criado anteriormente para o projeto:

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name
    

    Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. O comando gcloud usado neste tutorial configura permissões padrão para a conta de serviço do Cloud TPU que você configurou na etapa anterior. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

    O local do bucket precisa estar na mesma região que a VM do TPU.

  6. Preparar o conjunto de dados ou usar fake_imagenet

    O ImageNet é um banco de dados de imagens. As imagens do banco de dados são organizadas hierarquicamente, com cada nó da hierarquia representado por centenas e milhares de imagens.

    O treinamento padrão do pod acessa uma versão de demonstração do conjunto de dados completo do ImageNet, conhecido como fake_imagenet. Essa versão de demonstração permite testar o treinamento do pod e, ao mesmo tempo, reduzir os requisitos de armazenamento e tempo normalmente associados ao treinamento de um modelo em relação ao banco de dados completo do ImageNet.

    O conjunto de dados do fake_imagenet é útil apenas para entender como usar um Cloud TPU e validar o desempenho de ponta a ponta. Os números de acurácia e o modelo salvo não são importantes.

    Se você quiser usar o conjunto de dados completo do ImageNet, consulte Como fazer o download, o pré-processamento e o upload do conjunto de dados do ImageNet (em inglês).

  7. Inicie um pod de VM de TPU usando o comando gcloud alpha compute tpus tpu-vm. Este tutorial especifica um pod v3-32. Para outras opções de pods, consulte a página de tipos de TPU disponíveis.

    $ gcloud alpha compute tpus tpu-vm create efficientnet-tutorial \
    --zone=europe-west4-a \
    --accelerator-type=v3-32 \
    --version=v2-alpha-pod
    

    Descrições de sinalizações de comando

    zone
    A zona em que você planeja criar a Cloud TPU.
    accelerator-type
    O tipo do Cloud TPU a ser criado.
    version
    A versão do ambiente de execução do Cloud TPU.
  8. Se você não estiver conectado automaticamente à instância do Compute Engine, faça login executando o seguinte comando ssh. Quando você está conectado à VM, o prompt de shell muda de username@projectname para username@vm-name:

      gcloud alpha compute tpus tpu-vm ssh efficientnet-tutorial --zone=europe-west4-a
      

  9. Defina a variável de nome da Cloud TPU.

    (vm)$ export TPU_NAME=efficientnet-tutorial
    
  10. Configure as seguintes variáveis de ambiente, substituindo bucket-name pelo nome do bucket do Cloud Storage:

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/efficientnet-2x-pod
    (vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
    

    O aplicativo de treinamento precisa que os dados de treinamento sejam acessíveis no Cloud Storage. Ele também usa o bucket do Cloud Storage para armazenar checkpoints durante o treinamento.

  11. Instale os requisitos do TensorFlow.

      (vm)$ git clone https://github.com/tensorflow/models.git
      (vm)$ pip3 install -r models/official/requirements.txt
      

  12. Defina algumas variáveis de ambiente obrigatórias:

     (vm)$ export PYTHONPATH="${PWD}/models:${PYTHONPATH}"
     (vm)$ export TPU_LOAD_LIBRARY=0
     

  13. Mude para o diretório que armazena o modelo:

    (vm)$ cd ~/models/official/vision/image_classification
    
  14. Treine o modelo.

    (vm)$ python3 classifier_trainer.py \
    --mode=train_and_eval \
    --model_type=efficientnet \
    --dataset=imagenet \
    --tpu=${TPU_NAME} \
    --data_dir=${DATA_DIR} \
    --model_dir=${MODEL_DIR} \
    --config_file=configs/examples/efficientnet/imagenet/efficientnet-b0-tpu.yaml \
    --params_override="train.epochs=1, train_dataset.builder=records, validation_dataset.builder=records"
    

    Descrições de sinalizações de comando

    mode
    Quando definido como train_and_eval, este script treina e avalia o modelo. Quando definido como export_only, este script exporta um modelo salvo.
    model_type
    O tipo do modelo. Por exemplo, efficientnet, etc.
    dataset
    O nome do conjunto de dados. Por exemplo, imagenet.
    tpu
    Usa o nome especificado na variável TPU_NAME.
    data_dir
    Especifica o caminho do Cloud Storage para a entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.
    model_dir
    O caminho do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. É possível reutilizar uma pasta atual para carregar checkpoints gerados anteriormente e armazená-los, desde que os anteriores tenham sido criados usando um Cloud TPU do mesmo tamanho e versão do TensorFlow.
    config_file
    O caminho para o arquivo json que contém o modelo EfficientNet pré-treinado. Esse arquivo contém a arquitetura do modelo.
    params_override
    Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte /usr/share/models/official/vision/detection/main.py.

Este procedimento treina o modelo no conjunto de dados false_imagenet para uma época (total de 312 etapas de treinamento e 12 etapas de avaliação). O treinamento leva aproximadamente 5 minutos em uma Cloud TPU v3-32. Quando o treinamento e a avaliação forem concluídos, uma mensagem semelhante a esta será exibida:

312/312 - 272s - loss: 7.1147 - accuracy: 0.0010 - top_5_accuracy: 0.0051
- val_loss: 7.1048 - val_accuracy: 9.9691e-04 - val_top_5_accuracy: 0.0049

12/12 - 6s - loss: 7.1048 - accuracy: 9.9691e-04 - top_5_accuracy: 0.0049
I0414 00:41:46.632883 140326444914496 classifier_trainer.py:445] Run stats:
{'accuracy_top_1': 0.0009969075908884406, 'eval_loss': 7.104842185974121,
'loss': 7.114657878875732, 'training_accuracy_top_1': 0.0010086450492963195,
'step_timestamp_log': ['BatchTimestamp', 'BatchTimestamp'], 'train_finish_time': 1618360899.2756596,
'avg_exp_per_second': 4564.777920838655}

Treinamento de pod de nó da TPU

Se você estiver usando uma configuração de nó do TPU, siga estas etapas para treinar o modelo em um pod.

  1. Crie um novo pod da Cloud TPU. Execute o comando gcloud compute tpus execution-groups, usando o parâmetro accelerator-type para especificar a fração de pod a ser usada. Por exemplo, o comando a seguir usa uma fração de pod v3-32.

    (vm)$ gcloud compute tpus execution-groups  create --name=efficientnet-tutorial \
      --accelerator-type=v3-32  \
      --zone=europe-west4-a \
      --tf-version=2.5.0
    

    Descrições de sinalizações de comando

    name
    O nome da Cloud TPU a ser criada.
    accelerator-type
    O tipo da Cloud TPU a ser criada.
    zone
    A zona em que você planeja criar a Cloud TPU.
    tf-version
    A versão do gcloud do Tensorflow é instalada na VM.
    tpu-only
    Crie apenas uma Cloud TPU. Por padrão, o comando gcloud cria uma VM e uma Cloud TPU.
  2. Se você não estiver conectado automaticamente à instância do Compute Engine, faça login executando o seguinte comando ssh. Quando você está conectado à VM, o prompt de shell muda de username@projectname para username@vm-name:

    gcloud compute ssh efficientnet-tutorial --zone=europe-west4-a
    
  3. Atualize o diretório MODEL_DIR para armazenar os dados de treinamento do Pod da Cloud TPU.

    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/efficientnet-2x-pod
    
  4. Defina o nome da Cloud TPU.

    (vm)$ export TPU_NAME=efficientnet-tutorial
    
  5. Navegue até o diretório do modelo:

    (vm)$ cd /usr/share/models/official/vision/image_classification/
    
  6. Treine o modelo.

    (vm)$ python3 classifier_trainer.py \
    --mode=train_and_eval \
    --model_type=efficientnet \
    --dataset=imagenet \
    --tpu=${TPU_NAME} \
    --data_dir=${DATA_DIR} \
    --model_dir=${MODEL_DIR} \
    --config_file=configs/examples/efficientnet/imagenet/efficientnet-b0-tpu.yaml \
    --params_override="train.epochs=1, train_dataset.builder=records, validation_dataset.builder=records"
    

    Descrições de sinalizações de comando

    mode
    Quando definido como train_and_eval, este script treina e avalia o modelo. Quando definido como export_only, este script exporta um modelo salvo.
    model_type
    O tipo do modelo. Por exemplo, efficientnet, etc.
    dataset
    O nome do conjunto de dados. Por exemplo, imagenet.
    tpu
    Usa o nome especificado na variável TPU_NAME.
    data_dir
    Especifica o caminho do Cloud Storage para a entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.
    model_dir
    O caminho do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. É possível reutilizar uma pasta atual para carregar checkpoints gerados anteriormente e armazená-los, desde que os anteriores tenham sido criados usando um Cloud TPU do mesmo tamanho e versão do TensorFlow.
    config_file
    O caminho para o arquivo json que contém o modelo EfficientNet pré-treinado. Esse arquivo contém a arquitetura do modelo.
    params_override
    Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte /usr/share/models/official/vision/detection/main.py.

O procedimento treina o modelo no conjunto de dados false_imagenet para uma época (total de 312 etapas de treinamento e 12 etapas de avaliação). O treinamento leva aproximadamente dois minutos em uma Cloud TPU v3-32. Quando o treinamento e a avaliação forem concluídos, uma mensagem semelhante a esta será exibida:

Run stats:
{
  'accuracy_top_1': 0.0009969075908884406,
  'eval_loss': 7.105168342590332,
  'loss': 7.114983081817627,
  'training_accuracy_top_1': 0.0010031675919890404,
  'step_timestamp_log': [
    'BatchTimestamp<batch_index: 0,
    timestamp: 1605041621.4997303>',
    'BatchTimestamp<batch_index: 312,
    timestamp: 1605041970.8633356>'
  ],
  'train_finish_time': 1605042032.2274444,
  'avg_exp_per_second': 3111.5120716536226
}

Limpeza

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

  1. Desconecte-se da instância do Compute Engine, caso ainda não tenha feito isso:

    (vm)$ exit
    

    Agora, o prompt precisa ser username@projectname, mostrando que você está no Cloud Shell.

  2. Exclua os recursos do Cloud TPU e do Compute Engine.

    VM de TPU

    $ gcloud alpha compute tpus tpu-vm delete efficientnet-tutorial \
    --zone=europe-west4-a
    

    Nó da TPU

    $ gcloud compute tpus execution-groups delete efficientnet-tutorial \
    --zone=europe-west4-a
    
  3. Execute gcloud compute tpus execution-groups list para verificar se os recursos foram excluídos. A exclusão pode levar vários minutos. Uma resposta como esta indica que suas instâncias foram excluídas com sucesso.

    $ gcloud compute tpus execution-groups list --zone=europe-west4-a
    
    Listed 0 items.
    
  4. Exclua o bucket do Cloud Storage usando gsutil, conforme mostrado abaixo. Substitua bucket-name pelo nome do bucket no Cloud Storage.

    $ gsutil rm -r gs://bucket-name
    

A seguir

Neste tutorial, você treinou o modelo efficientnet usando um conjunto de dados de amostra. Os resultados deste treinamento (na maioria dos casos) não podem ser usados para inferência. Para usar um modelo para inferência, é possível treinar os dados em um conjunto de dados disponível publicamente ou no seu próprio conjunto de dados. Os modelos treinados nas Cloud TPUs exigem que os conjuntos de dados estejam no formato TFRecord.

Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagem no formato TFRecord. Se você não estiver usando um modelo de classificação de imagem, converta manualmente o conjunto de dados para o TFRecord. Para mais informações, consulte TFRecord e tf.Example

Ajuste de hiperparâmetros

Para melhorar o desempenho do modelo com o conjunto de dados, é possível ajustar os hiperparâmetros. Encontre informações sobre hiperparâmetros comuns a todos os modelos compatíveis com a TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo podem ser encontradas no código-fonte de cada modelo. Para mais informações sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros, Como usar o serviço de ajuste de hiperparâmetros e Ajustar hiperparâmetros.

Inferência

Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). O AI Platform é uma solução baseada em nuvem para desenvolver, treinar e implantar modelos de machine learning. Depois que um modelo é implantado, use o serviço do AI Platform Prediction.

  • Saiba como treinar e avaliar usando seus dados no lugar dos conjuntos de dados false_imagenet ou ImageNet seguindo o tutorial de conversão do conjunto de dados. O tutorial explica como usar o script de exemplo de conversão de dados de classificação de imagem para converter um conjunto de dados brutos para classificação de imagens em TFRecord utilizáveis por modelos do Cloud TPU Tensorflow.

  • Execute um colab da Cloud TPU que demonstra como executar um modelo de classificação de imagem usando seus próprios dados de imagem.

  • Explore os outros tutoriais da Cloud TPU.

  • Aprenda a usar as ferramentas de monitoramento de TPU no TensorBoard.