Visão geral
Neste tutorial, você verá como executar o modelo Mask RCNN usando a Cloud TPU com o conjunto de dados COCO (em inglês).
Mask RCNN é uma rede neural profunda projetada para abordar a detecção de objetos e a segmentação de imagens, um dos desafios mais difíceis da visão computacional.
O modelo Mask RCNN gera caixas delimitadoras e máscaras de segmentação para cada instância de um objeto na imagem. Ele é baseado na rede de pirâmide de atributos (FPN, na sigla em inglês) e em um backbone ResNet50.
Neste tutorial, Tensorflow Keras APIs (em inglês) é usado para treinar o modelo. A
API Keras é uma API de alto nível do TensorFlow que pode ser usada para
criar e executar um modelo de machine learning no Cloud TPU. A API simplifica o processo de desenvolvimento do modelo ao ocultar a maior parte da implementação de nível baixo. Isso facilita a alternância entre a TPU e outras plataformas, como GPU ou CPU.
Para seguir as instruções abaixo, você precisa estar familiarizado com o treinamento de um modelo no Cloud TPU. Se você não conhece o Cloud TPU, consulte o Guia de início rápido para uma introdução básica.
Objetivos
- Preparar o conjunto de dados COCO
- Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
- Configurar recursos de TPU para treinamento e avaliação
- Executar treinamento e avaliação em uma única Cloud TPU ou em um pod da Cloud TPU.
Custos
Neste tutorial, usamos os seguintes componentes faturáveis do Google Cloud:
- Compute Engine
- Cloud TPU
- Cloud Storage
Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços.
Antes de começar
Antes de começar o tutorial, verifique se o projeto do Google Cloud foi configurado corretamente.
- Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
-
No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
-
Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como verificar se o faturamento está ativado em um projeto.
-
No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.
-
Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como verificar se o faturamento está ativado em um projeto.
Este tutorial usa componentes faturáveis do Google Cloud. Consulte a página de preços da Cloud TPU para fazer uma estimativa dos custos. Para evitar cobranças desnecessárias, não se esqueça de apagar os recursos criados ao terminar de usá-los.
Preparar o conjunto de dados COCO
Este tutorial usa o conjunto de dados COCO. O conjunto de dados precisa estar no formato TFRecord em um bucket do Cloud Storage a ser usado para o treinamento.
Se você já tem o conjunto de dados COCO preparado em um bucket do Cloud Storage localizado na zona que você usará para treinar o modelo, pode acessar diretamente o treinamento de dispositivo único. Caso contrário, siga as etapas abaixo para preparar o conjunto de dados.
Abra uma janela do Cloud Shell.
No Cloud Shell, configure
gcloudcom o ID do projeto.export PROJECT_ID=project-id gcloud config set project ${PROJECT_ID}No Cloud Shell, crie um bucket do Cloud Storage usando o seguinte comando:
gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-nameInicie uma instância de VM do Compute Engine.
Essa instância de VM só será usada para fazer o download e o pré-processamento do conjunto de dados COCO. Preencha instance-name com o nome de sua escolha.
$ gcloud compute tpus execution-groups create \ --vm-only \ --name=instance-name \ --zone=europe-west4-a \ --disk-size=300 \ --machine-type=n1-standard-16 \ --tf-version=2.11.0Descrições de sinalizações de comando
vm-only- Crie somente uma VM. Por padrão, o comando
gcloud compute tpus execution-groupscria uma VM e uma Cloud TPU. name- O nome do Cloud TPU a ser criado.
zone- A zona em que você planeja criar a Cloud TPU.
disk-size- O tamanho do disco rígido em GB da VM criada pelo comando
gcloud compute tpus execution-groups. machine-type- O tipo de máquina da VM do Compute Engine a ser criada.
tf-version- A versão do Tensorflow
gcloud compute tpus execution-groupsé instalada na VM.
Se você não for conectado automaticamente à instância do Compute Engine, faça login executando o seguinte comando
ssh. Quando você faz login na VM, o prompt do shell muda deusername@projectnameparausername@vm-name:$ gcloud compute ssh instance-name --zone=europe-west4-aConfigure duas variáveis, uma para o bucket de armazenamento criado anteriormente e outra para o diretório que contém os dados de treinamento (DATA_DIR) no bucket de armazenamento.
(vm)$ export STORAGE_BUCKET=gs://bucket-name(vm)$ export DATA_DIR=${STORAGE_BUCKET}/cocoInstale os pacotes necessários para pré-processar os dados.
(vm)$ sudo apt-get install -y python3-tk && \ pip3 install --user Cython matplotlib opencv-python-headless pyyaml Pillow && \ pip3 install --user "git+https://github.com/cocodataset/cocoapi#egg=pycocotools&subdirectory=PythonAPI"Execute o script
download_and_preprocess_coco.shpara converter o conjunto de dados COCO em um conjunto de TFRecords (*.tfrecord) esperado pelo aplicativo de treinamento.(vm)$ git clone https://github.com/tensorflow/tpu.git (vm)$ sudo bash tpu/tools/datasets/download_and_preprocess_coco.sh ./data/dir/coco
Isso instala as bibliotecas necessárias e executa o script de pré-processamento. A saída são alguns arquivos
*.tfrecordno diretório de dados. O script de download e conversão do COCO leva aproximadamente 1 hora para ser concluído.Copiar os dados para o bucket do Cloud Storage
Depois de converter os dados para TFRecords, use o comando
gsutilpara copiá-los do armazenamento local para o bucket do Cloud Storage. Também é preciso copiar os arquivos de anotação. Eles ajudam a validar o desempenho do modelo.(vm)$ gsutil -m cp ./data/dir/coco/*.tfrecord ${DATA_DIR} (vm)$ gsutil cp ./data/dir/coco/raw-data/annotations/*.json ${DATA_DIR}
Limpar os recursos da VM
Depois que o conjunto de dados COCO for convertido em TFRecords e copiado para o DATA_DIR no bucket do Cloud Storage, será possível excluir a instância do Compute Engine.
Desconecte-se da instância do Compute Engine:
(vm)$ exitAgora, o prompt precisa ser
username@projectname, mostrando que você está no Cloud Shell.Exclua a instância do Compute Engine.
$ gcloud compute instances delete instance-name --zone=europe-west4-a
Treinamento de dispositivo único do Cloud TPU
Abra uma janela do Cloud Shell.
Crie uma variável de ambiente para o código do projeto.
export PROJECT_ID=project-id
Configure o Google Cloud CLI para usar o projeto em que você quer criar a Cloud TPU.
gcloud config set project ${PROJECT_ID}Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página
Authorize Cloud Shell. Clique emAuthorizena parte inferior da página para permitir quegcloudfaça chamadas da API Google Cloud com suas credenciais.Crie uma conta de serviço para o projeto da Cloud TPU.
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
Exportar variáveis de configuração da TPU
Exporte o ID do projeto, o nome que você quer usar para os recursos da TPU e a zona em que você treinará o modelo e armazenará todos os dados relacionados ao treinamento.
$ export TPU_NAME=mask-rcnn-tutorial $ export ZONE=europe-west4-a
Use o comando
gcloudpara iniciar uma VM do Compute Engine e a Cloud TPU. O comando usado depende se você usa VMs ou nós de TPU. Para ver mais informações sobre as duas arquiteturas de VM, consulte Arquitetura do sistema.VM de TPU
$ gcloud compute tpus tpu-vm create mask-rcnn-tutorial \ --zone=europe-west4-a \ --accelerator-type=v3-8 \ --version=tpu-vm-tf-2.11.0Nó da TPU
$ gcloud compute tpus execution-groups create \ --zone=europe-west4-a \ --name=mask-rcnn-tutorial \ --accelerator-type=v3-8 \ --machine-type=n1-standard-8 \ --disk-size=300 \ --tf-version=2.11.0Descrições de sinalizações de comando
zone- A zona em que você planeja criar a Cloud TPU.
name- O nome da TPU. Se não for especificado, o padrão será seu nome de usuário.
accelerator-type- O tipo do Cloud TPU a ser criado.
machine-type- O tipo de máquina da VM do Compute Engine a ser criada.
disk-size- O tamanho do volume raiz da VM do Compute Engine (em GB).
tf-version- A versão do Tensorflow
gcloudé instalada na VM.
Para mais informações sobre o comando
gcloud, consulte a referência da gcloud.Se você não for conectado automaticamente à instância do Compute Engine, faça login executando o seguinte comando
ssh. Quando você faz login na VM, o prompt do shell muda deusername@projectnameparausername@vm-name:VM de TPU
gcloud compute tpus tpu-vm ssh mask-rcnn-tutorial --zone=europe-west4-a
Nó de TPU
gcloud compute tpus execution-groups ssh mask-rcnn-tutorial --zone=europe-west4-a
Instale os requisitos do TensorFlow.
O comando usado depende se você usa VMs ou nós de TPU.
VM de TPU
(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txtNó da TPU
(vm)$ pip3 install --user -r /usr/share/models/official/requirements.txtDefina a variável de nome da Cloud TPU.
VM de TPU
(vm)$ export TPU_NAME=localNó da TPU
(vm)$ export TPU_NAME=mask-rcnn-tutorialConfigure as seguintes variáveis de ambiente, substituindo bucket-name pelo nome do bucket do Cloud Storage que armazena o conjunto de dados COCO:
(vm)$ export STORAGE_BUCKET=gs://bucket-nameAdicione variáveis de ambiente aos diretórios de dados e modelos.
(vm)$ export DATA_DIR=${STORAGE_BUCKET}/coco (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/mask-rcnn
Adicione mais algumas variáveis de ambiente necessárias:
(vm)$ export RESNET_CHECKPOINT=gs://cloud-tpu-checkpoints/retinanet/resnet50-checkpoint-2018-02-07 (vm)$ export TRAIN_FILE_PATTERN=${DATA_DIR}/train-* (vm)$ export EVAL_FILE_PATTERN=${DATA_DIR}/val-* (vm)$ export VAL_JSON_FILE=${DATA_DIR}/instances_val2017.json
Defina a variável de ambiente
PYTHONPATH:VM de TPU
(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/tpu/models"Nó de TPU
(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"Mude para o diretório que armazena o modelo:
VM de TPU
(vm)$ cd /usr/share/tpu/models/official/visionNó da TPU
(vm)$ cd /usr/share/models/official/legacy/detection
O script a seguir executa um treinamento de amostra que treina 10 etapas de treinamento e 10 etapas de avaliação. A conclusão leva aproximadamente 6 minutos em uma TPU v3-8. O treinamento para a conversão leva cerca de 22.500 etapas e aproximadamente 6 horas em uma TPU v3-8.
Execute o seguinte comando para treinar o modelo Mask-RCNN:
(vm)$ python3 train.py \ --tpu=${TPU_NAME} \ --experiment=maskrcnn_resnetfpn_coco \ --mode=train_and_eval \ --config_file=configs/experiments/maskrcnn/r50fpn_640_coco_scratch_tpu4x4.yaml \ --model_dir=${MODEL_DIR} \ --params_override="task.train_data.input_path=${TRAIN_FILE_PATTERN},task.validation_data.input_path=${EVAL_FILE_PATTERN},task.annotation_file=${VAL_JSON_FILE},runtime.distribution_strategy=tpu,trainer.train_steps=10,trainer.validation_steps=10,task.train_data.global_batch_size=8,task.validation_data.global_batch_size=8"Descrições de sinalizações de comando
strategy_type- A estratégia de distribuição.
tpu- O nome da TPU.
- especifica o diretório em que os checkpoints e os resumos são armazenados
durante o treinamento de modelo. Se a pasta não existir, ela será criada pelo programa. Ao usar um Cloud TPU, o
model_dirprecisa ser um caminho do Cloud Storage (`gs://...`). É possível reutilizar uma pasta existente para carregar os dados dos checkpoints atuais e para armazenar outros checkpoints, contanto que os checkpoints anteriores tenham sido criados usando a TPU do mesmo tamanho e versão do TensorFlow.
model_dirQuando o treinamento for concluído, aparecerá uma mensagem semelhante à seguinte:
{'frcnn_box_loss': 0.033865165, 'frcnn_cls_loss': 1.2535654, 'learning_rate': 0.008266499, 'mask_loss': 1.2039567, 'model_loss': 2.821458, 'rpn_box_loss': 0.034982488, 'rpn_score_loss': 0.2950886, 'total_loss': 4.340171, 'training_loss': 4.340171} train | step: 10 | steps/sec: 0.1 | output: {'frcnn_box_loss': 0.033865165, 'frcnn_cls_loss': 1.2535654, 'learning_rate': 0.008266499, 'mask_loss': 1.2039567, 'model_loss': 2.821458, 'rpn_box_loss': 0.034982488, 'rpn_score_loss': 0.2950886, 'total_loss': 4.340171, 'training_loss': 4.340171}Isso é seguido pela saída das etapas de avaliação.
Você concluiu o treinamento e a avaliação de um dispositivo único. Siga as etapas abaixo para excluir os recursos atuais da TPU de dispositivo único.
Desconecte-se da instância do Compute Engine:
(vm)$ exitAgora, o prompt precisa ser
username@projectname, mostrando que você está no Cloud Shell.Exclua o recurso da TPU.
VM de TPU
$ gcloud compute tpus tpu-vm delete mask-rcnn-tutorial \ --zone=europe-west4-aDescrições de sinalizações de comando
zone- A zona onde o Cloud TPU residiu.
Nó de TPU
$ gcloud compute tpus execution-groups delete mask-rcnn-tutorial \ --tpu-only \ --zone=europe-west4-aDescrições de sinalizações de comando
tpu-only- Exclui apenas o Cloud TPU. A VM continua disponível.
zone- A zona que contém a TPU a ser excluída.
Neste ponto, é possível concluir este tutorial e limpar ou continuar executando o modelo nos Pods do Cloud TPU.
Como escalonar o modelo com os pods da Cloud TPU
Treinar seu modelo em pods de { product_name_short }} pode exigir algumas alterações no seu script de treinamento. Para mais informações, consulte Como treinar em pods de TPU.
Treinamento do Pod de TPU
Abra uma janela do Cloud Shell.
Crie uma variável para o ID do seu projeto.
export PROJECT_ID=project-id
Configure o Google Cloud CLI para usar o projeto em que você quer criar a Cloud TPU.
gcloud config set project ${PROJECT_ID}Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página
Authorize Cloud Shell. Clique emAuthorizena parte inferior da página para permitir quegcloudfaça chamadas da API Google Cloud com suas credenciais.Crie uma conta de serviço para o projeto da Cloud TPU.
As contas de serviço permitem que o serviço do Cloud TPU acesse outros serviços do Google Cloud.
gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:
service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
Se você preparou o conjunto de dados COCO e o moveu para o bucket de armazenamento, é possível usá-lo novamente no treinamento do pod. Se você ainda não preparou o conjunto de dados COCO, prepare-o agora e volte aqui para configurar o treinamento.
Inicie um pod do Cloud TPU
Neste tutorial, especificamos um pod v3-32. Para outras opções de pod, consulte a página de tipos de TPU disponíveis.
VM de TPU
$ gcloud compute tpus tpu-vm create mask-rcnn-tutorial \ --zone=europe-west4-a \ --accelerator-type=v3-32 \ --version=tpu-vm-tf-2.11.0-podNó de TPU
(vm)$ gcloud compute tpus execution-groups create \ --zone=europe-west4-a \ --name=mask-rcnn-tutorial \ --accelerator-type=v3-32 \ --tf-version=2.11.0Descrições de sinalizações de comando
Se você não for conectado automaticamente à instância do Compute Engine, faça login executando o seguinte comando
ssh. Quando você faz login na VM, o prompt do shell muda deusername@projectnameparausername@vm-name:VM de TPU
gcloud compute tpus tpu-vm ssh mask-rcnn-tutorial --zone=europe-west4-a
Nó de TPU
gcloud compute ssh mask-rcnn-tutorial --zone=europe-west4-a
Instale os requisitos do TensorFlow.
O comando usado depende se você usa VMs ou nós de TPU.
VM de TPU
(vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txtNó da TPU
(vm)$ pip3 install --user -r /usr/share/models/official/requirements.txtO script de treinamento requer um pacote extra. Instalar agora.
(vm)$ pip3 install --user tensorflow-model-optimization>=0.1.3Defina a variável de nome da Cloud TPU.
(vm)$ export TPU_NAME=mask-rcnn-tutorialConfigure as seguintes variáveis de ambiente, substituindo bucket-name pelo nome do bucket do Cloud Storage:
(vm)$ export STORAGE_BUCKET=gs://bucket-nameAdicione mais algumas variáveis de ambiente necessárias:
(vm)$ export RESNET_CHECKPOINT=gs://cloud-tpu-checkpoints/retinanet/resnet50-checkpoint-2018-02-07 (vm)$ export DATA_DIR=${STORAGE_BUCKET}/coco (vm)$ export TRAIN_FILE_PATTERN=${DATA_DIR}/train-* (vm)$ export EVAL_FILE_PATTERN=${DATA_DIR}/val-* (vm)$ export VAL_JSON_FILE=${DATA_DIR}/instances_val2017.json (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/mask-rcnn-pod
Defina a variável de ambiente
PYTHONPATH:VM de TPU
(vm)$ export PYTHONPATH="/usr/share/tpu/models:${PYTHONPATH}" (vm)$ export TPU_LOAD_LIBRARY=0
Nó de TPU
(vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"Mude para o diretório que armazena o modelo:
VM de TPU
(vm)$ cd /usr/share/tpu/models/official/visionNó da TPU
(vm)$ cd /usr/share/models/official/legacy/detectionTreinar o modelo:
Esse procedimento treina o modelo no conjunto de dados COCO por 10 etapas de treinamento. Este treinamento leva aproximadamente 10 minutos em uma Cloud TPU v3-32.
VM de TPU
(vm)$ python3 train.py \ --tpu=${TPU_NAME} \ --experiment=maskrcnn_resnetfpn_coco \ --mode=train_and_eval \ --config_file=configs/experiments/maskrcnn/r50fpn_640_coco_scratch_tpu4x4.yaml \ --model_dir=${MODEL_DIR} \ --params_override="task.train_data.input_path=${TRAIN_FILE_PATTERN},task.validation_data.input_path=${EVAL_FILE_PATTERN},task.annotation_file=${VAL_JSON_FILE},runtime.distribution_strategy=tpu,trainer.train_steps=10,trainer.validation_steps=10,task.train_data.global_batch_size=256,task.validation_data.global_batch_size=256"Descrições de sinalizações de comando
tpu- O nome da TPU.
model_dir- Especifica o diretório em que os checkpoints e os resumos são
armazenados durante o treinamento de modelo. Se a pasta não existir, ela será criada pelo programa. Ao usar um Cloud TPU, o
model_dirprecisa ser um caminho do Cloud Storage (gs://...). É possível reutilizar uma pasta atual para carregar os dados de checkpoint atuais e armazenar outros checkpoints, contanto que os anteriores tenham sido criados usando o Cloud TPU com o mesmo tamanho e versão do TensorFlow. params_override- Uma string JSON que modifica parâmetros de script padrão.
Nó da TPU
(vm)$ python3 main.py \ --strategy_type=tpu \ --tpu=${TPU_NAME} \ --model_dir=${MODEL_DIR} \ --mode=train \ --model=mask_rcnn \ --params_override="{train: { batch_size: 128, iterations_per_loop: 500, total_steps: 20, learning_rate: {'learning_rate_levels': [0.008, 0.0008], 'learning_rate_steps': [10000, 13000] }, checkpoint: { path: ${RESNET_CHECKPOINT}, prefix: resnet50/ }, train_file_pattern: ${TRAIN_FILE_PATTERN} }, eval: { val_json_file: ${VAL_JSON_FILE}, eval_file_pattern: ${EVAL_FILE_PATTERN}} }"Descrições de sinalizações de comando
tpu- O nome da TPU.
model_dir- Especifica o diretório em que os checkpoints e os resumos são
armazenados durante o treinamento de modelo. Se a pasta não existir, ela será criada pelo programa. Ao usar um Cloud TPU, o
model_dirprecisa ser um caminho do Cloud Storage (gs://...). É possível reutilizar uma pasta atual para carregar os dados de checkpoint atuais e armazenar outros checkpoints, contanto que os anteriores tenham sido criados usando o Cloud TPU com o mesmo tamanho e versão do TensorFlow. params_override- Uma string JSON que modifica parâmetros de script padrão.
Quando o treinamento for concluído, aparecerá uma mensagem semelhante à seguinte:
I0706 19:47:16.108213 139955064548416 controller.py:457] train | step: 10 | steps/sec: 0.1 | output:
{'frcnn_box_loss': 0.05632668,
'frcnn_cls_loss': 1.3012192,
'learning_rate': 0.008266499,
'mask_loss': 1.2371812,
'model_loss': 2.9746659,
'rpn_box_loss': 0.08227444,
'rpn_score_loss': 0.2976642,
'total_loss': 4.493513,
'training_loss': 4.493513}
train | step: 10 | steps/sec: 0.1 | output:
{'frcnn_box_loss': 0.05632668,
'frcnn_cls_loss': 1.3012192,
'learning_rate': 0.008266499,
'mask_loss': 1.2371812,
'model_loss': 2.9746659,
'rpn_box_loss': 0.08227444,
'rpn_score_loss': 0.2976642,
'total_loss': 4.493513,
'training_loss': 4.493513}
Limpar
Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.
Depois de executar o treinamento, exclua a VM da TPU e remova o bucket de armazenamento.
Desconecte-se da instância do Compute Engine, caso ainda não tenha feito isso:
(vm)$ exitAgora, o prompt será
username@projectname, mostrando que você está no Cloud Shell.Exclua os recursos do Cloud TPU e do Compute Engine. O comando usado para excluir os recursos depende se você está usando VMs ou nós de TPU. Para mais informações, consulte Arquitetura do sistema.
VM de TPU
$ gcloud compute tpus tpu-vm delete mask-rcnn-tutorial \ --zone=europe-west4-aNó de TPU
$ gcloud compute tpus execution-groups delete mask-rcnn-tutorial \ --zone=europe-west4-aExecute
gcloud compute tpus execution-groups listpara verificar se os recursos foram excluídos. A exclusão pode levar vários minutos. A saída do comando a seguir não pode incluir nenhum dos recursos de TPU criados neste tutorial:$ gcloud compute tpus execution-groups list --zone=europe-west4-aExecute
gsutilconforme mostrado. Substitua bucket-name pelo nome do bucket do Cloud Storage criado para este tutorial:$ gsutil rm -r gs://bucket-name
A seguir
Geralmente, os tutoriais do Cloud TPU do TensorFlow treinam o modelo usando um conjunto de dados de amostra. Os resultados deste treinamento não podem ser usados para inferência. Para usar um modelo para inferência, treine os dados em um conjunto de dados disponível publicamente ou no seu próprio conjunto de dados. Os modelos do TensorFlow treinados em Cloud TPUs geralmente exigem que os conjuntos de dados estejam no formato TFRecord.
Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagem no formato TFRecord. Se você não estiver usando um modelo de classificação de imagem, converta manualmente o conjunto de dados para o TFRecord. Para saber mais, consulte TFRecord e tf.Example.
Ajuste de hiperparâmetros
Para melhorar o desempenho do modelo com o conjunto de dados, é possível ajustar os hiperparâmetros do modelo. Encontre informações sobre hiperparâmetros comuns a todos os modelos compatíveis com a TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo podem ser encontradas no código-fonte de cada modelo. Para saber mais sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros, Como usar o serviço de ajuste de hiperparâmetros e Ajustar hiperparâmetros.
Inferência
Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). O AI Platform é uma solução baseada na nuvem para desenvolver, treinar e implantar modelos de machine learning. Depois que um modelo é implantado, use o serviço do AI Platform Prediction.
- Conheça as ferramentas de TPU no TensorBoard.