Os modelos EfficientNet são uma família de modelos de classificação de imagens com precisão de última geração, além de serem menores e mais rápidos do que outros modelos. Os EfficientNet-EdgeTpu são modelos personalizados para execução eficiente nos dispositivos Google EdgeTPU.
O modelo neste tutorial é baseado em EfficientNet: repensando o escalonamento de modelos para redes neurais convolucionais (em inglês). Os pesquisadores desenvolveram uma nova técnica para melhorar o desempenho do modelo: equilibrar cuidadosamente a profundidade, a largura e a resolução da rede, usando um coeficiente composto simples, mas altamente eficaz.
A família de modelos de efficientnet-b0
a efficientnet-b7
pode alcançar uma precisão de classificação de imagem decente, considerando os dispositivos Google EdgeTPU restritos por recursos.
efficientnet-b0
, o modelo usado neste tutorial, corresponde ao menor
modelo básico, enquanto efficientnet-b7
corresponde ao modelo mais potente, mas caro para computação. O tutorial demonstra o treinamento do modelo usando a
TPUEstimator (em inglês).
Objetivos
- Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
- Preparar uma versão de teste do conjunto de dados do ImageNet, conhecido como conjunto de dados do fake_imagenet.
- Executar o job de treinamento.
- Verificar os resultados da saída.
Custos
Neste tutorial, usamos os seguintes componentes faturáveis do Google Cloud:
- Compute Engine
- Cloud TPU
- Cloud Storage
Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços.
Antes de começar
Antes de começar o tutorial, verifique se o projeto do Google Cloud foi configurado corretamente.
- Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
-
No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
-
Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como verificar se o faturamento está ativado em um projeto.
-
No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
-
Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como verificar se o faturamento está ativado em um projeto.
Este tutorial usa componentes faturáveis do Google Cloud. Consulte a página de preços da Cloud TPU para fazer uma estimativa dos custos. Para evitar cobranças desnecessárias, não se esqueça de apagar os recursos criados ao terminar de usá-los.
Configurar os recursos
Nesta seção, você verá como configurar os recursos do Cloud Storage, a VM e a Cloud TPU do Cloud Storage para tutoriais.
Abra uma janela do Cloud Shell.
Crie uma variável para o ID do seu projeto.
export PROJECT_ID=project-id
Configure a CLI do Google Cloud para usar o projeto em que você quer criar a Cloud TPU.
gcloud config set project ${PROJECT_ID}
Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página
Authorize Cloud Shell
. Clique emAuthorize
na parte inferior da página para permitir quegcloud
faça chamadas de API do GCP com suas credenciais.Crie uma conta de serviço para o projeto da Cloud TPU.
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
Crie um bucket do Cloud Storage usando o seguinte comando:
gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. A ferramenta
gcloud compute tpus execution-groups
usada neste tutorial configura permissões padrão para a conta de serviço da Cloud TPU. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.O local do bucket precisa estar na mesma região da máquina virtual (VM) e do nó da TPU. As VMs e os nós da TPU estão localizados em zonas específicas, que são subdivisões dentro de uma região.
Inicie os recursos do Compute Engine e da Cloud TPU necessários neste tutorial usando o comando
gcloud compute tpus execution-groups
.gcloud compute tpus execution-groups create \ --vm-only \ --name=efficientnet-tutorial \ --zone=europe-west4-a \ --disk-size=300 \ --machine-type=n1-standard-8 \ --tf-version=1.15.5
Descrições de sinalizações de comando
vm-only
- Crie apenas a VM do Compute Engine, não crie uma Cloud TPU.
name
- O nome do Cloud TPU a ser criado.
zone
- A zona em que você planeja criar a Cloud TPU.
disk-size
- O tamanho do disco rígido em GB da VM criada pelo comando
gcloud
. machine-type
- O tipo de máquina da VM do Compute Engine a ser criada.
tf-version
- A versão
gcloud
do Tensorflow é instalada na VM.
Para mais informações sobre o comando
gcloud
, consulte a referência da gcloud.Quando solicitado, pressione y para criar os recursos da Cloud TPU.
Quando o comando
gcloud compute tpus execution-groups
terminar a execução, verifique se o prompt do shell foi alterado deusername@projectname
parausername@vm-name
. Essa alteração mostra que você fez login na VM do Compute Engine.gcloud compute ssh efficientnet-tutorial --zone=europe-west4-a
Daqui em diante, o prefixo
(vm)$
significa que é preciso executar o comando na instância de VM do Compute Engine.
Prepare os dados
Configure as seguintes variáveis de ambiente, substituindo bucket-name pelo nome do bucket do Cloud Storage:
Crie uma variável de ambiente para o nome do bucket. Substitua bucket-name pelo nome do seu bucket.
(vm)$ export STORAGE_BUCKET=gs://bucket-name
Crie algumas variáveis de ambiente adicionais.
(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/efficientnet (vm)$ export DATA_DIR=gs://cloud-tpu-test-datasets/fake_imagenet (vm)$ export TPU_NAME=efficientnet-tutorial (vm)$ export PYTHONPATH=$PYTHONPATH:/usr/share/tpu/models
O aplicativo de treinamento precisa que os dados de treinamento sejam acessíveis no Cloud Storage. Ele também usa o bucket do Cloud Storage para armazenar pontos de verificação durante o treinamento.
Treine e avalie o modelo EfficientNet com o fake_imagenet
O ImageNet é um banco de dados de imagens. As imagens do banco de dados são organizadas hierarquicamente, com cada nó da hierarquia representado por centenas e milhares de imagens.
Neste tutorial, usamos uma versão de demonstração do conjunto de dados completo do ImageNet, conhecido como fake_imagenet. Essa versão de demonstração permite testar os tutoriais e reduzir os requisitos de tempo e armazenamento normalmente associados à execução de um modelo com o conjunto de dados completo do ImageNet.
O conjunto de dados do fake_imagenet está neste local no Cloud Storage:
gs://cloud-tpu-test-datasets/fake_imagenet
O conjunto de dados do fake_imagenet é útil apenas para entender como usar um Cloud TPU e validar o desempenho de ponta a ponta. Os números de acurácia e o modelo salvo não são importantes.
Para informações sobre como fazer o download e processar o conjunto de dados total do ImageNet, consulte Como fazer o download, o pré-processamento e o upload do conjunto de dados do ImageNet.
Inicie um recurso da Cloud TPU.
(vm)$ gcloud compute tpus execution-groups create \ --tpu-only \ --name=efficientnet-tutorial \ --zone=europe-west4-a \ --disk-size=300 \ --machine-type=n1-standard-8 \ --tf-version=1.15.5
Descrições de sinalizações de comando
tpu-only
- Crie apenas o Cloud TPU, não crie um Compute Engine.
name
- O nome do Cloud TPU a ser criado.
zone
- A zona em que você planeja criar a Cloud TPU.
disk-size
- O tamanho do disco rígido em GB da VM criada pelo comando
gcloud
. machine-type
- O tipo de máquina da VM do Compute Engine a ser criada.
tf-version
- A versão
gcloud
do Tensorflow é instalada na VM.
Navegue até o diretório do modelo:
(vm)$ cd /usr/share/tpu/models/official/efficientnet/
Execute o script de treinamento.
(vm)$ python3 main.py \ --tpu=${TPU_NAME} \ --data_dir=${DATA_DIR} \ --model_dir=${MODEL_DIR} \ --model_name='efficientnet-b0' \ --skip_host_call=true \ --train_batch_size=2048 \ --train_steps=1000
Descrições de sinalizações de comando
tpu
- Usa o nome especificado na variável TPU_NAME.
data_dir
- Especifica o caminho do Cloud Storage para a entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.
model_dir
- O caminho do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. É possível reutilizar uma pasta atual para carregar checkpoints gerados anteriormente e armazená-los, desde que os anteriores tenham sido criados usando um Cloud TPU do mesmo tamanho e versão do TensorFlow.
model_name
- O nome do modelo a ser treinado. Por exemplo,
efficientnet
. skip_host_call
- Defina como
true
para instruir o script a ignorar ohost_call
, que é executado em todas as etapas de treinamento. Isso é geralmente usado para gerar resumos de treinamento (perda de treinamento, taxa de aprendizado etc.). Quandoskip_host_call=false
, poderá haver uma queda de desempenho se a funçãohost_call
for lenta e não puder acompanhar o cálculo do TPU. train_batch_size
- O tamanho do lote de treinamento.
train_steps
- O número de etapas a serem usadas no treinamento. O valor padrão é
218.949 passos, que é aproximadamente 350 épocas, em um tamanho de lote de
2048. Essa sinalização precisa ser ajustada de acordo com o
valor da sinalização
train_batch_size
.
Isso treina o modelo EfficientNet (variante efficientnet-b0
) por apenas 1000 etapas porque
está usando o conjunto de dados fictício do ImageNet. Ao treinar com o conjunto de dados
completo do ImageNet, é possível treinar para a convergência usando o seguinte comando:
(vm)$ python3 main.py \
--tpu=${TPU_NAME} \
--data_dir=${DATA_DIR} \
--model_dir=${MODEL_DIR} \
--model_name='efficientnet-b0' \
--skip_host_call=true \
--train_batch_size=2048 \
--train_steps=218948
Isso treina o modelo EfficientNet por 350 períodos e avalia após o processamento
de um lote de dados. Usando as sinalizações especificadas, o modelo é treinado em cerca de 23
horas. Essas configurações precisam ter aproximadamente 76,5% de precisão no primeiro nível do conjunto de dados de validação do
ImageNet. O melhor ponto de verificação do modelo e o resultado da avaliação correspondente estão
dentro da pasta archive
no diretório do modelo: ${STORAGE_BUCKET}/efficientnet/archive
.
Como escalonar o modelo com os pods da Cloud TPU
Para resultados mais rápidos, escalone o modelo com os pods da Cloud TPU. O modelo totalmente compatível funciona com as seguintes frações de pod:
- v2-32
- v3-32
Ao trabalhar com pods da Cloud TPU, primeiro treine o modelo usando um pod e, em seguida, use um único dispositivo da Cloud TPU para avaliá-lo.
Como treinar com pods da Cloud TPU
Exclua o recurso da Cloud TPU criado para treinar o modelo em um único dispositivo.
(vm)$ gcloud compute tpus execution-groups delete efficientnet-tutorial \ --zone=europe-west4-a \ --tpu-only
Execute o comando
gcloud compute tpus execution-groups
, usando o parâmetroaccelerator-type
para especificar a fração de pod a ser usada. Por exemplo, o comando a seguir usa uma fração de pod v3-32.(vm)$ gcloud compute tpus execution-groups create --tpu-only \ --name=efficientnet-tutorial \ --zone=europe-west4-a \ --accelerator-type=v2-32 \ --tf-version=1.15.5
Descrições de sinalizações de comando
tpu-only
- Crie apenas uma Cloud TPU. Por padrão, o comando
gcloud
cria uma VM e uma Cloud TPU. name
- O nome do Cloud TPU a ser criado.
zone
- A zona em que você planeja criar a Cloud TPU.
accelerator-type
- O tipo da Cloud TPU a ser criada.
tf-version
- A versão
gcloud compute tpus execution-groups
do Tensorflow é instalada na VM.
Crie uma variável de ambiente para seu nome de TPU.
(vm)$ export TPU_NAME=efficientnet-tutorial
Atualize o diretório
MODEL_DIR
para armazenar os dados de treinamento.(vm)$ export MODEL_DIR=${STORAGE_BUCKET}/efficientnet-tutorial
Treine o modelo.
(vm)$ python3 main.py \ --tpu=${TPU_NAME} \ --data_dir=${DATA_DIR} \ --model_dir=${MODEL_DIR} \ --model_name='efficientnet-b3' \ --skip_host_call=true \ --mode=train \ --train_steps=1000 \ --train_batch_size=4096 \ --iterations_per_loop=100
Descrições de sinalizações de comando
tpu
- O nome da Cloud TPU.
data_dir
- O caminho do Cloud Storage para entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.
model_dir
- O caminho do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. É possível reutilizar uma pasta atual para carregar checkpoints gerados anteriormente e armazená-los, desde que os anteriores tenham sido criados usando um Cloud TPU do mesmo tamanho e versão do TensorFlow.
model_name
- O nome do modelo a ser treinado.
skip_host_call
- Defina como
true
para instruir o script a ignorar ohost_call
, que é executado em todas as etapas de treinamento. Isso é geralmente usado para gerar resumos de treinamento (perda de treinamento, taxa de aprendizado etc.). Quandoskip_host_call=false
, pode haver uma queda de desempenho se a funçãohost_call
for lenta e não puder acompanhar o cálculo da TPU. mode
- Um de
train_and_eval
,train
oueval
.train_and_eval
treina e avalia o modelo.train
treina o modelo.eval
avalia o modelo. train_steps
- Especifica o número de etapas de treinamento.
train_batch_size
- O tamanho do lote de treinamento.
iterations_per_loop
- O número de etapas de treinamento a serem executadas na TPU antes de enviar métricas para a CPU.
Isso treina o modelo EfficientNet (variante efficientnet-b0
) por apenas 1000 etapas porque
está usando o conjunto de dados fictício do ImageNet. Ao treinar com o conjunto de dados
completo do ImageNet, é possível treinar para a convergência usando o seguinte
comando:
(vm)$ python3 main.py \
--tpu=${TPU_NAME} \
--data_dir=${DATA_DIR} \
--model_dir=${MODEL_DIR} \
--model_name='efficientnet-b3' \
--skip_host_call=true \
--mode=train \
--train_steps=109474 \
--train_batch_size=4096 \
--iterations_per_loop=100
Esse comando treina o modelo EfficientNet (variante efficientnet-b3
) por
350 períodos. O modelo precisa alcançar 81,1% de precisão no conjunto de desenvolvedores do ImageNet, o que
terminará em aproximadamente 20 horas. O melhor checkpoint do modelo e
o resultado da avaliação correspondente está dentro da pasta archive
no diretório do modelo: ${STORAGE_BUCKET}/efficientnet/archive
.
Como avaliar o modelo
Neste conjunto de etapas, você usa o Cloud TPU para avaliar o modelo treinado acima em relação aos dados de validação false_imagenet.
Exclua o recurso do Cloud TPU criado para treinar o modelo em um pod.
(vm)$ gcloud compute tpus execution-groups delete efficientnet-tutorial \ --tpu-only \ --zone=europe-west4-a
Inicie um Cloud TPU v2-8 para executar a avaliação. Use o mesmo nome que você usou para a VM do Compute Engine, que ainda precisa estar em execução.
(vm)$ gcloud compute tpus execution-groups create --tpu-only \ --name=efficientnet-tutorial \ --accelerator-type=v2-8 \ --zone=europe-west4-a \ --tf-version=1.15.5
Descrições de sinalizações de comando
Crie uma variável de ambiente para seu nome de TPU.
(vm)$ export TPU_NAME=efficientnet-tutorial
Execute a avaliação do modelo. Desta vez, adicione a sinalização
mode
e defina-a comoeval
.(vm)$ python3 main.py \ --tpu=${TPU_NAME} \ --data_dir=${DATA_DIR} \ --model_dir=${MODEL_DIR} \ --model_name='efficientnet-b3' \ --skip_host_call=true \ --mode=eval
Descrições de sinalizações de comando
tpu
- Usa o nome especificado na variável TPU_NAME.
data_dir
- Especifica o caminho do Cloud Storage para a entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.
model_dir
- O caminho do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. É possível reutilizar uma pasta atual para carregar checkpoints gerados anteriormente e armazená-los, desde que os anteriores tenham sido criados usando um Cloud TPU do mesmo tamanho e versão do TensorFlow.
model_name
- O nome do modelo a ser treinado. Por exemplo,
efficientnet
, etc. skip_host_call
- Defina como
true
para instruir o script a ignorar ohost_call
, que é executado em todas as etapas de treinamento. Isso é geralmente usado para gerar resumos de treinamento (perda de treinamento, taxa de aprendizado etc.). Quandoskip_host_call=false
, pode haver uma queda de desempenho se a funçãohost_call
for lenta e não puder acompanhar o cálculo da TPU. mode
- Quando definido como
train_and_eval
, este script treina e avalia o modelo. Quando definido comoexport_only
, este script exporta um modelo salvo.
Isso gera um resultado semelhante ao seguinte:
Eval results: { 'loss': 7.532023, 'top_1_accuracy': 0.0010172526, 'global_step': 100, 'top_5_accuracy': 0.005065918 } Elapsed seconds: 88
Limpar
Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.
Desconecte-se da instância do Compute Engine, caso ainda não tenha feito isso:
(vm)$ exit
Agora, o prompt precisa ser
username@projectname
, mostrando que você está no Cloud Shell.No Cloud Shell, use o seguinte comando para excluir a VM do Compute Engine e o Cloud TPU:
$ gcloud compute tpus execution-groups delete efficientnet-tutorial \ --zone=europe-west4-a
Execute
gcloud compute tpus execution-groups list
para verificar se os recursos foram excluídos. A exclusão pode levar vários minutos. Uma resposta como esta indica que suas instâncias foram excluídas com sucesso:$ gcloud compute tpus execution-groups list \ --zone=europe-west4-a
Você verá uma lista vazia de TPUs como a seguinte:
NAME STATUS
Exclua o bucket do Cloud Storage usando
gsutil
, conforme mostrado abaixo. Substitua bucket-name pelo nome do bucket no Cloud Storage.$ gsutil rm -r gs://bucket-name
A seguir
Geralmente, os tutoriais do Cloud TPU do TensorFlow treinam o modelo usando um conjunto de dados de amostra. Os resultados deste treinamento não podem ser usados para inferência. Para usar um modelo para inferência, treine os dados em um conjunto de dados disponível publicamente ou em seu próprio conjunto de dados. Os modelos do TensorFlow treinados em Cloud TPUs geralmente exigem que os conjuntos de dados estejam no formato TFRecord.
Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagem no formato TFRecord. Se você não estiver usando um modelo de classificação de imagem, converta manualmente o conjunto de dados para o TFRecord. Para saber mais, consulte TFRecord e tf.Example.
Ajuste de hiperparâmetros
Para melhorar o desempenho do modelo com o conjunto de dados, é possível ajustar os hiperparâmetros do modelo. Encontre informações sobre hiperparâmetros comuns a todos os modelos compatíveis com a TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo podem ser encontradas no código-fonte de cada modelo. Para saber mais sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros, Como usar o serviço de ajuste de hiperparâmetros e Ajustar hiperparâmetros.
Inferência
Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). O AI Platform é uma solução baseada na nuvem para desenvolver, treinar e implantar modelos de machine learning. Depois que um modelo é implantado, use o serviço do AI Platform Prediction.
- Conheça as ferramentas de TPU no TensorBoard.