Como treinar o EfficientNet no Cloud TPU (TF 2.x)

Neste tutorial, mostramos como treinar um modelo Keras EfficNet no Cloud TPU usando tf.distribute.TPUStrategy.

Se você não estiver familiarizado com a Cloud TPU, é altamente recomendável consultar o quickstart para saber como criar uma VM da Cloud TPU e do Compute Engine.

Objetivos

Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
Preparar um conjunto de dados ImageNet fictício que seja semelhante ao conjunto de dados do ImageNet.
Executar o job de treinamento.
Verificar os resultados da saída.

Custos

Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:

Compute Engine
Cloud TPU
Cloud Storage

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Antes de começar o tutorial, verifique se o projeto do Google Cloud foi configurado corretamente.

Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

Acessar o seletor de projetos

Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

Acessar o seletor de projetos

Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

Este tutorial usa componentes faturáveis do Google Cloud. Consulte a página de preços da Cloud TPU para fazer uma estimativa dos custos. Para evitar cobranças desnecessárias, não se esqueça de apagar os recursos criados ao terminar de usá-los.

Treinamento de dispositivo único do Cloud TPU

Nesta seção, descrevemos como configurar os recursos do Cloud TPU e treinar o modelo EfficientNet usando um único dispositivo do Cloud TPU.

Abra uma janela do Cloud Shell.

Abrir o Cloud Shell
Crie uma variável para o ID do seu projeto.
```
export PROJECT_ID=project-id
```
Configure a Google Cloud CLI para usar o projeto em que você quer criar a Cloud TPU.
```
gcloud config set project ${PROJECT_ID}
```
Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página Authorize Cloud Shell. Clique em Authorize na parte de baixo da página para permitir que gcloud faça chamadas de API com suas credenciais.

Para mais informações sobre o comando gcloud, consulte a Referência da gcloud.
Crie uma conta de serviço para o projeto da Cloud TPU.

As contas de serviço permitem que o serviço do Cloud TPU acesse outros serviços do Google Cloud.
```
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
```
O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:
```
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
```
Exportar variáveis de configuração da TPU

Defina a zona em que você treinará o modelo e armazenará todos os dados relacionados ao treinamento.
```
$ export ZONE=europe-west4-a
```
Crie um bucket do Cloud Storage usando o seguinte comando:
```
gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name/
```
Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. O comando gcloud compute tpus execution-groups usado neste tutorial configura permissões padrão para a conta de serviço do Cloud TPU configurada na etapa anterior. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

O local do bucket precisa estar na mesma região que o Compute Engine (VM) e o nó da Cloud TPU.
Preparar o conjunto de dados ou usar fake_imagenet

O ImageNet é um banco de dados de imagens. As imagens do banco de dados são organizadas hierarquicamente, com cada nó da hierarquia representado por centenas e milhares de imagens.

Neste tutorial, usamos uma versão de demonstração do conjunto de dados completo do ImageNet, conhecido como fake_imagenet. Essa versão de demonstração permite testar os tutoriais e reduzir os requisitos de tempo e armazenamento normalmente associados à execução de um modelo com o conjunto de dados completo do ImageNet.

O conjunto de dados do fake_imagenet está neste local no Cloud Storage:
```
gs://cloud-tpu-test-datasets/fake_imagenet
```
O conjunto de dados do fake_imagenet é útil apenas para entender como usar um Cloud TPU e validar o desempenho de ponta a ponta. Os números de acurácia e o modelo salvo não são importantes.

Se você quiser usar o conjunto de dados completo do ImageNet, consulte Como fazer o download, o pré-processamento e o upload do conjunto de dados do ImageNet.

Cuidado: para este tutorial, não defina a variável de ambiente STORAGE_BUCKET como o caminho do conjunto de dados fake_imagenet. É possível ler dados em gs://cloud-tpu-test-datasets, mas não fazer gravações nele. Como resultado, não é possível usá-lo para gravar registros de treinamento. Verifique se a variável de ambiente STORAGE_BUCKET está definida como seu próprio bucket do Cloud Storage, conforme mostrado acima.
Inicie os recursos de TPU usando o comando gcloud. O comando usado depende se você usa VMs ou nós de TPU. Para mais informações sobre a arquitetura de duas VMs, consulte Arquitetura do sistema.
VM de TPU
```
$ gcloud compute tpus tpu-vm create efficientnet-tutorial \
--zone=${ZONE} \
--accelerator-type=v3-8 \
--version=tpu-vm-tf-2.16.1-pjrt
```
Descrições de sinalizações de comando

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, acesse Versões de TPU.

version

A versão do software do Cloud TPU.
Nó da TPU
```
gcloud compute tpus execution-groups create \
--name=efficientnet-tutorial \
--zone=${ZONE} \
--disk-size=300 \
--machine-type=n1-standard-16 \
--tf-version=2.12.0 \
--accelerator-type=v3-8
```
Descrições de sinalizações de comando

project

ID do seu projeto do Google Cloud

name

O nome do Cloud TPU a ser criado.

zone

A zona em que você planeja criar o Cloud TPU.

disk-size

O tamanho do disco rígido em GB da VM criada pelo comando gcloud.

machine-type

O tipo de máquina da VM do Compute Engine a ser criada.

tf-version

A versão do Tensorflow gcloud é instalada na VM.

accelerator-type

O tipo do Cloud TPU a ser criado.
Observação: se você tiver mais de um projeto, especifique o ID dele com a sinalização --project.

Para mais informações sobre o comando gcloud, consulte a Referência da gcloud.

Observação :a primeira vez que você executar gcloud compute tpus tpu-vm ou gcloud compute tpus Execution-groups em um projeto levará aproximadamente 5 minutos para realizar tarefas de inicialização, como propagação de chave SSH e ativação da API.
Se você não for conectado automaticamente à instância do Compute Engine, faça login executando o seguinte comando ssh. Quando você faz login na VM, o prompt do shell muda de username@projectname para username@vm-name:
VM de TPU
```
gcloud compute tpus tpu-vm ssh efficientnet-tutorial --zone=${ZONE}
```
Nó da TPU
```
gcloud compute ssh efficientnet-tutorial --zone=${ZONE}
```
Importante: a partir desse ponto, o prefixo (vm) $ significa que é necessário executar o comando na instância de VM do Compute Engine.

Defina a variável de nome da Cloud TPU.

VM de TPU

(vm)$ export TPU_NAME=local

Nó de TPU

(vm)$ export TPU_NAME=efficientnet-tutorial

Definir variáveis de bucket do Cloud Storage

Substitua bucket-name pelo nome do seu intervalo do Cloud Storage:
```
(vm)$ export STORAGE_BUCKET=gs://bucket-name
```
```
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/efficientnet-2x
(vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
```
O aplicativo de treinamento precisa que os dados de treinamento sejam acessíveis no Cloud Storage. Ele também usa o bucket do Cloud Storage para armazenar checkpoints durante o treinamento.
Ao criar sua TPU, se você definir o parâmetro --version como uma versão que termina com -pjrt, defina as seguintes variáveis de ambiente para ativar o ambiente de execução PJRT:
```
  (vm)$ export NEXT_PLUGGABLE_DEVICE_USE_C_API=true
  (vm)$ export TF_PLUGGABLE_DEVICE_LIBRARY_PATH=/lib/libtpu.so
```

Instale os requisitos do TensorFlow.

O comando usado depende se você usa VMs ou nós de TPU.

VM de TPU

(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt

Nó da TPU

(vm)$ pip3 install --user -r /usr/share/models/official/requirements.txt

O script de treinamento EffectiveNet requer pacotes extras (somente VM de TPU). Instale-os agora:

VM de TPU

(vm)$ sudo pip3 install tensorflow-addons
(vm)$ sudo pip3 install tensorflow-model-optimization>=0.1.3

Defina algumas variáveis de ambiente obrigatórias:
VM de TPU
```
(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/tpu/models"
```
Nó da TPU
```
(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
```
O modelo EfficientNet é pré-instalado na VM do Compute Engine.

Mude para o diretório que armazena o modelo:

VM de TPU

(vm)$ cd /usr/share/tpu/models/official/legacy/image_classification

Nó de TPU

(vm)$ cd /usr/share/models/official/legacy/image_classification

Treine o modelo. Ele usa um conjunto de dados false_imagenet e treina o EfficientNet por uma época.
```
(vm)$ python3 classifier_trainer.py \
  --mode=train_and_eval \
  --model_type=efficientnet \
  --dataset=imagenet \
  --tpu=${TPU_NAME} \
  --data_dir=${DATA_DIR} \
  --model_dir=${MODEL_DIR} \
  --config_file=configs/examples/efficientnet/imagenet/efficientnet-b0-tpu.yaml \
  --params_override="train.epochs=1, train_dataset.builder=records, validation_dataset.builder=records"
```
Descrições de sinalizações de comando

mode

train, eval ou train_and_eval.

model_type

O tipo do modelo. Por exemplo, efficientnet.

dataset

O nome do conjunto de dados. Por exemplo, imagenet.

tpu

O nome do Cloud TPU para executar treinamento ou avaliação.

data_dir

Especifica o caminho do Cloud Storage para a entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.

model_dir

O caminho do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. É possível reutilizar uma pasta atual para carregar checkpoints gerados anteriormente e armazená-los, desde que os anteriores tenham sido criados usando um Cloud TPU do mesmo tamanho e versão do TensorFlow.

config_file

O caminho para o arquivo json que contém o modelo EfficientNet pré-treinando. Esse arquivo contém a arquitetura do modelo.

params_override

Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte /usr/share/models/official/legacy/detection/main.py.

Esse procedimento treinará o EfficientNet para um período e será concluído em um nó do Cloud TPU v3-8 em cerca de 40 minutos. Quando o script de treinamento for concluído, uma resposta semelhante a esta será exibida:
```
Run stats:
{
  'accuracy_top_1': 0.0010172526817768812,
  'eval_loss': 7.104171276092529,
  'loss': 7.113735675811768,
  'training_accuracy_top_1': 0.0009773431811481714,
  'step_timestamp_log': [
    'BatchTimestamp<batch_index: 0,
    timestamp: 1604960724.2224622>',
    'BatchTimestamp<batch_index: 1251,
    timestamp: 1604961281.3745298>'
  ],
  'train_finish_time': 1604961342.6359076,
  'avg_exp_per_second': 2071.493269569079
}
```
Para treinar o EfficientNet para convergência no conjunto de dados ImageNet, execute-o por 90 períodos, conforme mostrado no script a seguir. O treinamento e a avaliação são feitos juntos. Cada período tem 1.251 etapas para um total de 112.590 etapas de treinamento e 48 etapas de avaliação.
```
(vm)$ python3 classifier_trainer.py \
     --mode=train_and_eval \
     --model_type=efficientnet \
     --dataset=imagenet \
     --tpu=${TPU_NAME} \
     --data_dir=${DATA_DIR} \
     --model_dir=${MODEL_DIR} \
     --config_file=configs/examples/efficientnet/imagenet/efficientnet-b0-tpu.yaml \
     --params_override="train_dataset.builder=records, validation_dataset.builder=records"
```
Descrições de sinalizações de comando

mode

train, eval ou train_and_eval.

model_type

O tipo do modelo. Por exemplo, efficientnet, etc.

dataset

O nome do conjunto de dados. Por exemplo, imagenet.

tpu

O nome do Cloud TPU para executar o treinamento ou a avaliação.

data_dir

Especifica o caminho do Cloud Storage para a entrada de treinamento. Neste exemplo, ele está definido como o conjunto de dados fake_imagenet.

model_dir

O caminho do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. É possível reutilizar uma pasta atual para carregar checkpoints gerados anteriormente e armazenar outros checkpoints, desde que os anteriores tenham sido criados usando um Cloud TPU com o mesmo tamanho e versão do TensorFlow.

config_file

O caminho para o arquivo JSON que contém o modelo EfficientNet pré-treinado. Esse arquivo contém a arquitetura do modelo.

params_override

Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte /usr/share/models/official/legacy/detection/main.py.

Como o treinamento foi feito no conjunto de dados fake_imagenet, os resultados da saída não refletem a saída real que apareceria se o treinamento fosse realizado em um conjunto de dados real.

Você concluiu o treinamento para dispositivos únicos. Siga as etapas abaixo para excluir os recursos atuais da TPU de dispositivo único.
Desconecte-se da instância do Compute Engine:
```
(vm)$ exit
```
Agora, o prompt precisa ser username@projectname, mostrando que você está no Cloud Shell.
Exclua o recurso da TPU.
VM de TPU
```
$ gcloud compute tpus tpu-vm delete efficientnet-tutorial \
--zone=${ZONE}
```
Descrições de sinalizações de comando

zone

A zona onde o Cloud TPU residiu.
Nó de TPU
```
$ gcloud compute tpus execution-groups delete efficientnet-tutorial \
--tpu-only \
--zone=${ZONE}
```
Descrições de sinalizações de comando

tpu-only

Exclui apenas o Cloud TPU. A VM continua disponível.

zone

A zona que contém a TPU a ser excluída.

Neste ponto, é possível concluir este tutorial e limpar ou continuar executando o modelo nos Pods do Cloud TPU.

Escalonar seu modelo com pods do Cloud TPU

O treinamento do modelo em pods do Cloud TPU pode exigir algumas alterações no script de treinamento. Para mais informações, consulte Como treinar em pods de TPU.

Treinamento de pod do Cloud TPU

Nesta seção, você verá informações sobre como configurar um bucket do Cloud Storage e recursos do Cloud TPU para treinamento de Pod.

Abra uma janela do Cloud Shell.

Abrir o Cloud Shell
Crie uma variável para o ID do seu projeto.
```
export PROJECT_ID=project-id
```
Configure a Google Cloud CLI para usar o projeto em que você quer criar a Cloud TPU.
```
gcloud config set project ${PROJECT_ID}
```
Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página Authorize Cloud Shell. Clique em Authorize na parte de baixo da página para permitir que gcloud faça chamadas de API do Google Cloud com suas credenciais.
Crie uma conta de serviço para o projeto da Cloud TPU.

As contas de serviço permitem que o serviço do Cloud TPU acesse outros serviços do Google Cloud.
```
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
```
O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:
```
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
```
Crie um bucket do Cloud Storage usando o comando a seguir ou use um bucket criado anteriormente para o projeto:
```
gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name
```
Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. O comando gcloud usado neste tutorial configura permissões padrão para a conta de serviço do Cloud TPU configurada na etapa anterior. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

O local do bucket precisa estar na mesma região que a VM da TPU.
Exportar variáveis de configuração da TPU

Defina a zona em que você treinará o modelo e armazenará todos os dados relacionados ao treinamento.
```
$ export ZONE=europe-west4-a
```
Preparar o conjunto de dados ou usar fake_imagenet

O ImageNet é um banco de dados de imagens. As imagens do banco de dados são organizadas hierarquicamente, com cada nó da hierarquia representado por centenas e milhares de imagens.

O treinamento do Pod padrão acessa uma versão de demonstração do conjunto de dados completo do ImageNet, conhecido como fake_imagenet. Essa versão de demonstração permite testar o treinamento do Pod e, ao mesmo tempo, reduzir os requisitos de armazenamento e tempo normalmente associados ao treinamento de um modelo no banco de dados completo do ImageNet.

O conjunto de dados do fake_imagenet é útil apenas para entender como usar um Cloud TPU e validar o desempenho de ponta a ponta. Os números de acurácia e o modelo salvo não são importantes.

Se você quiser usar o conjunto de dados completo do ImageNet, consulte Como fazer o download, o pré-processamento e o upload do conjunto de dados do ImageNet.

Cuidado: não defina a variável de ambiente STORAGE_BUCKET como o caminho do conjunto de dados fake_imagenet. Você pode ler a partir do, gs://cloud-tpu-test-datasets mas não fazer gravações nele. Sendo assim, não é possível usá-lo para gravar registros de treinamento. Certifique-se de que a variável de ambiente STORAGE_BUCKET esteja definida como seu próprio bucket do Cloud Storage.
Inicie os recursos do Cloud TPU usando o comando gcloud.

O comando usado depende se você usa uma VM ou um nó de TPU. Para mais informações sobre a arquitetura de duas VMs, consulte Arquitetura do sistema. Para mais informações sobre o comando gcloud, consulte a Referência da gcloud. Neste tutorial, é especificado um Pod v3-32. Para outras opções de pod, consulte Versões de TPU.
VM de TPU
Observação: se não houver capacidade suficiente disponível no momento para criar o Pod de TPU, é possível enfileirar sua solicitação usando recursos na fila. Os recursos na fila permitem que você receba capacidade quando ela estiver disponível. Para solicitar os recursos do Cloud TPU como recursos na fila, use o comando gcloud alpha compute tpus queued-resources create. Para mais informações, consulte Gerenciar recursos na fila.
```
$ gcloud compute tpus tpu-vm create efficientnet-tutorial \
  --zone=${ZONE} \
  --accelerator-type=v3-32 \
  --version=tpu-vm-tf-2.16.1-pod-pjrt
```
Descrições de sinalizações de comando

zone

A zona em que você planeja criar o Cloud TPU.

accelerator-type

O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, acesse Versões de TPU.

version

A versão do software do Cloud TPU.

Observação: a primeira vez que você executar gcloud em um projeto, ele levará cerca de cinco minutos para realizar tarefas de inicialização, como propagação de chave SSH e ativação da API.
Nó da TPU
```
(vm)$ gcloud compute tpus execution-groups  create --name=efficientnet-tutorial \
 --accelerator-type=v3-32  \
 --zone=${ZONE} \
 --tf-version=2.12.0
```
Descrições de sinalizações de comando

name

O nome do Cloud TPU a ser criado.

accelerator-type

O tipo do Cloud TPU a ser criado.

zone

A zona em que você planeja criar o Cloud TPU.

tf-version

A versão do Tensorflow gcloud é instalada na VM.

tpu-only

Crie apenas uma Cloud TPU. Por padrão, o comando gcloud cria uma VM e uma Cloud TPU.

Observação: a primeira vez que você executar gcloud em um projeto, ele levará cerca de cinco minutos para realizar tarefas de inicialização, como propagação de chave SSH e ativação de API.
Se você não for conectado automaticamente à instância do Compute Engine, faça login executando o seguinte comando ssh. Quando você faz login na VM, o prompt do shell muda de username@projectname para username@vm-name:
VM de TPU
```
$ gcloud compute tpus tpu-vm ssh efficientnet-tutorial --zone=${ZONE}
```
Nó de TPU
```
$ gcloud compute ssh efficientnet-tutorial --zone=${ZONE}
```
Importante: a partir desse ponto, o prefixo (vm) $ significa que é necessário executar o comando na instância de VM do Compute Engine.

Ao seguir essas instruções, execute cada comando iniciado por (vm)$ na janela de sessão da VM.
Exporte as variáveis de configuração da TPU:
```
(vm)$ export STORAGE_BUCKET=gs://bucket-name
```
```
(vm)$ export TPU_NAME=efficientnet-tutorial
(vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/efficientnet-2x-pod
```
O aplicativo de treinamento precisa que os dados de treinamento sejam acessíveis no Cloud Storage. Ele também usa o bucket do Cloud Storage para armazenar checkpoints durante o treinamento.

Instale os requisitos do TensorFlow.

VM de TPU

(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt

Nó da TPU

(vm)$ pip3 install -r /usr/share/models/official/requirements.txt

Defina algumas variáveis de ambiente obrigatórias:

VM de TPU

(vm)$ export PYTHONPATH="/usr/share/tpu/models:${PYTHONPATH}"
(vm)$ export TPU_LOAD_LIBRARY=0

Nó da TPU

(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"

O modelo EfficientNet é pré-instalado na VM do Compute Engine.

Mude para o diretório que armazena o modelo:

VM de TPU

(vm)$ cd /usr/share/tpu/models/official/legacy/image_classification/

Nó de TPU

(vm)$ cd /usr/share/models/official/legacy/image_classification/

Treine o modelo.
```
(vm)$ python3 classifier_trainer.py \
--mode=train_and_eval \
--model_type=efficientnet \
--dataset=imagenet \
--tpu=${TPU_NAME} \
--data_dir=${DATA_DIR} \
--model_dir=${MODEL_DIR} \
--config_file=configs/examples/efficientnet/imagenet/efficientnet-b0-tpu.yaml \
--params_override="train.epochs=1, train_dataset.builder=records, validation_dataset.builder=records"
```
Descrições de sinalizações de comando

mode

Quando definido como train_and_eval, este script treina e avalia o modelo. Quando definido como export_only, este script exporta um modelo salvo.

model_type

O tipo do modelo. Por exemplo, efficientnet, etc.

dataset

O nome do conjunto de dados. Por exemplo, imagenet.

tpu

Usa o nome especificado na variável TPU_NAME.

data_dir

Especifica o caminho do Cloud Storage para a entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.

model_dir

O caminho do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. É possível reutilizar uma pasta atual para carregar checkpoints gerados anteriormente e armazená-los, desde que os anteriores tenham sido criados usando um Cloud TPU do mesmo tamanho e versão do TensorFlow.

config_file

O caminho para o arquivo json que contém o modelo EfficientNet pré-treinado. Esse arquivo contém a arquitetura do modelo.

params_override

Uma string JSON que modifica parâmetros de script padrão. Para mais informações sobre parâmetros de script, consulte /usr/share/models/official/legacy/detection/main.py.

O procedimento treina o modelo no conjunto de dados false_imagenet para uma época (total de 312 etapas de treinamento e 12 etapas de avaliação). O treinamento leva aproximadamente dois minutos em uma Cloud TPU v3-32. Quando o treinamento e a avaliação forem concluídos, uma mensagem semelhante a esta será exibida:

Run stats:
{
  'accuracy_top_1': 0.0009969075908884406,
  'eval_loss': 7.105168342590332,
  'loss': 7.114983081817627,
  'training_accuracy_top_1': 0.0010031675919890404,
  'step_timestamp_log': [
    'BatchTimestamp<batch_index: 0,
    timestamp: 1605041621.4997303>',
    'BatchTimestamp<batch_index: 312,
    timestamp: 1605041970.8633356>'
  ],
  'train_finish_time': 1605042032.2274444,
  'avg_exp_per_second': 3111.5120716536226
}

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

Desconecte-se da instância do Compute Engine, caso ainda não tenha feito isso:
```
(vm)$ exit
```
Agora, o prompt precisa ser username@projectname, mostrando que você está no Cloud Shell.

Exclua os recursos do Cloud TPU e do Compute Engine.

VM de TPU

$ gcloud compute tpus tpu-vm delete efficientnet-tutorial \
--zone=${ZONE}

Nó de TPU

$ gcloud compute tpus execution-groups delete efficientnet-tutorial \
--zone=${ZONE}

Execute gcloud compute tpus execution-groups list para verificar se os recursos foram excluídos. A exclusão pode levar vários minutos. A saída do comando a seguir não pode incluir nenhum dos recursos de TPU criados neste tutorial:
```
$ gcloud compute tpus execution-groups list --zone=${ZONE}
```
Exclua o bucket do Cloud Storage usando gsutil, conforme mostrado abaixo. Substitua bucket-name pelo nome do bucket no Cloud Storage.
```
$ gsutil rm -r gs://bucket-name
```

A seguir

Geralmente, os tutoriais do Cloud TPU do TensorFlow treinam o modelo usando um conjunto de dados de amostra. Os resultados deste treinamento não podem ser usados para inferência. Para usar um modelo para inferência, treine os dados em um conjunto de dados disponível publicamente ou no seu próprio conjunto de dados. Os modelos do TensorFlow treinados em Cloud TPUs geralmente exigem que os conjuntos de dados estejam no formato TFRecord.

Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagens no formato TFRecord. Se você não estiver usando um modelo de classificação de imagens, será necessário converter seu conjunto de dados para o formato TFRecord. Para mais informações, consulte TFRecord e tf.Example.

Ajuste de hiperparâmetros

Para melhorar o desempenho do modelo com seu conjunto de dados, é possível ajustar os hiperparâmetros do modelo. Veja informações sobre hiperparâmetros comuns a todos os modelos compatíveis com TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo estão disponíveis no código-fonte de cada modelo. Para mais informações sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros e Ajustar hiperparâmetros.

Inferência

Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). É possível usar a ferramenta de conversão de inferência do Cloud TPU para preparar e otimizar um modelo do TensorFlow para inferência no Cloud TPU v5e. Para mais informações sobre inferência no Cloud TPU v5e, consulte Introdução à inferência no Cloud TPU v5e.

Saiba como treinar e avaliar usando seus dados no lugar dos conjuntos de dados false_imagenet ou ImageNet seguindo o tutorial de conversão do conjunto de dados. O tutorial explica como usar o script de exemplo de conversão de dados de classificação de imagem para converter um conjunto de dados brutos para classificação de imagens em TFRecord utilizáveis por modelos do Cloud TPU Tensorflow.
Execute um colab da Cloud TPU que demonstra como executar um modelo de classificação de imagem usando seus próprios dados de imagem.
Explore os outros tutoriais da Cloud TPU.
Aprenda a usar as ferramentas de monitoramento de TPU no TensorBoard.

Como treinar o EfficientNet no Cloud TPU (TF 2.x)

Objetivos

Custos

Antes de começar

Treinamento de dispositivo único do Cloud TPU

VM de TPU

Descrições de sinalizações de comando

Nó da TPU

Descrições de sinalizações de comando

VM de TPU

Nó da TPU

VM de TPU

Nó de TPU

VM de TPU

Nó da TPU

VM de TPU

VM de TPU

Nó da TPU

VM de TPU

Nó de TPU

Descrições de sinalizações de comando

Descrições de sinalizações de comando

VM de TPU

Descrições de sinalizações de comando

Nó de TPU

Descrições de sinalizações de comando

Escalonar seu modelo com pods do Cloud TPU

Treinamento de pod do Cloud TPU

VM de TPU

Descrições de sinalizações de comando

Nó da TPU

Descrições de sinalizações de comando

VM de TPU

Nó de TPU

VM de TPU

Nó da TPU

VM de TPU

Nó da TPU

VM de TPU

Nó de TPU

Descrições de sinalizações de comando

Limpar

VM de TPU

Nó de TPU

A seguir

Ajuste de hiperparâmetros

Inferência