Ajuste do BERT com o Cloud TPU: tarefas de classificação de pares de frases e frases (TF 2.x)

---

Neste tutorial, mostraremos como treinar as representações de codificador bidirecional do modelo Transformers (BERT) no Cloud TPU.

O BERT é um método de representação de linguagem pré-treinamento. Pré-treinamento refere-se a como o BERT é primeiro treinado com base em uma grande fonte de texto, como a Wikipedia. Os resultados do treinamento podem ser aplicados a outras tarefas de processamento de linguagem natural (PLN), como sistema de perguntas e respostas e análise de sentimento. Com o BERT e o Cloud TPU, é possível treinar vários modelos de PLN em cerca de 30 minutos.

Para mais informações sobre o BERT, consulte os seguintes recursos:

• Open Sourcing BERT: State-of-the-Art Pre-training for Natural Language Processing (em inglês)
• BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding (em inglês)

Objetivos

• Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
• Executar o job de treinamento.
• Verificar os resultados da saída.

Custos

Neste tutorial, usamos os seguintes componentes faturáveis do Google Cloud:

• Compute Engine
• Cloud TPU
• Cloud Storage

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Importante: é possível usar este tutorial com a configuração da VM ou do nó da TPU. As duas arquiteturas de VM estão descritas em Arquitetura do sistema. Os comandos gcloud que você usa dependem da configuração de TPU que você está usando. Neste tutorial, cada comando gcloud é mostrado em uma seção com guias. Escolha a guia da configuração de TPU que você quer usar. A página da Web mostra o comando gcloud apropriado. A menos que você saiba que precisa usar os nós da TPU, recomendamos o uso de VMs de TPU.

Nesta seção, você verá como configurar o bucket do Cloud Storage e a VM do Compute Engine.

Importante: configure a VM do Compute Engine, o nó do Cloud TPU e o bucket do Cloud Storage na mesma região/zona para reduzir a latência e os custos da rede.

1. Abra uma janela do Cloud Shell.

   Abrir o Cloud Shell

2. Crie uma variável para o ID do seu projeto.

   export PROJECT_ID=project-id
   

3. Configure o Google Cloud CLI para usar o projeto em que você quer criar a Cloud TPU.

   gcloud config set project ${PROJECT_ID}
   

4. Crie uma conta de serviço para o projeto da Cloud TPU.

   gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
   

   O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

   [e-mail]
   

5. Crie um bucket do Cloud Storage usando o seguinte comando:

   Observação :no comando a seguir, substitua bucket-name pelo nome que você quer atribuir ao bucket.

   gsutil mb -p ${PROJECT_ID} -c standard -l us-central1 gs://bucket-name
   

   Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. O comando usado para criar uma TPU (gcloud compute tpus execution-groups create para a arquitetura de nó da TPU ou gcloud compute tpus tpu-vm create para a arquitetura de VM da TPU) configura permissões padrão para a conta de serviço da Cloud TPU configurada na etapa anterior. Se você quiser permissões mais específicas, consulte as permissões de nível de acesso.

   O local do bucket precisa estar na mesma região que o Compute Engine (VM) e o nó da Cloud TPU.

6. Use o comando gcloud para iniciar uma VM do Compute Engine e a Cloud TPU. O comando usado depende se você usa uma VM ou um nó de TPU. Para mais informações sobre a arquitetura de duas VMs, consulte Arquitetura do sistema. Para mais informações sobre o comando gcloud, consulte a referência da gcloud.

   VM de TPU

   $ gcloud compute tpus tpu-vm create bert-tutorial \
   --zone=us-central1-b \
   --accelerator-type=v3-8 \
   --version=tpu-vm-tf-2.12.0

   Descrições de sinalizações de comando

   zone

   A zona em que você planeja criar a Cloud TPU.

   accelerator-type

   O tipo do Cloud TPU a ser criado.

   version

   A versão do software do Cloud TPU.

   Nó da TPU

   $ gcloud compute tpus execution-groups create \
     --name=bert-tutorial \
     --zone=us-central1-b \
     --tf-version=2.12.0 \
     --machine-type=n1-standard-1 \
     --accelerator-type=v3-8 

   Descrições de sinalizações de comando

   name

   O nome do Cloud TPU a ser criado.

   zone

   A zona em que você planeja criar a Cloud TPU.

   tf-version

   A versão do Tensorflow ctpu é instalada na VM.

   machine-type

   O tipo de máquina da VM do Compute Engine a ser criada.

   accelerator type

   O tipo do Cloud TPU a ser criado.

   Observação: se você tiver mais de um projeto, especifique o ID dele com a sinalização --project.

7. Se você não for conectado automaticamente à instância do Compute Engine, faça login executando o seguinte comando ssh. Quando você faz login na VM, o prompt do shell muda de username@projectname para username@vm-name:

   VM de TPU

   gcloud compute tpus tpu-vm ssh bert-tutorial --zone=us-central1-b
   

   Nó de TPU

   gcloud compute ssh bert-tutorial --zone=us-central1-b
   

   Ao seguir essas instruções, execute cada comando iniciado por (vm)$ na janela de sessão da VM.

8. Crie uma variável de ambiente para o nome da TPU.

   VM de TPU

   (vm)$ export TPU_NAME=local
   

   Nó de TPU

   (vm)$ export TPU_NAME=bert-tutorial
   

Preparar o conjunto de dados

Observação: a VM do Compute Engine tem o código de modelo pré-transferido do GitHub (em inglês).

1. Defina o bucket de armazenamento necessário para armazenar o modelo e o conjunto de dados:

   (vm)$ export STORAGE_BUCKET=gs://bucket-name
   

2. Copie os checkpoints pré-treinados e os arquivos de vocabulário no bucket de armazenamento:

     (vm)$ curl https://storage.googleapis.com/tf_model_garden/nlp/bert/v3/uncased_L-12_H-768_A-12.tar.gz -o uncased_L-12_H-768_A-12.tar.gz
     (vm)$ mkdir -p uncased_L-12_H-768_A-12
     (vm)$ tar -xvf uncased_L-12_H-768_A-12.tar.gz
     (vm)$ mv tmp/temp_dir/raw/* uncased_L-12_H-768_A-12
     (vm)$ gsutil -m cp -R uncased_L-12_H-768_A-12 gs://bucket-name 

Treine o modelo

1. Defina vários valores de parâmetro necessários ao treinar e avaliar o modelo:

     (vm)$ export INIT_CHECKPOINT=${STORAGE_BUCKET}/uncased_L-12_H-768_A-12/bert_model.ckpt
     (vm)$ export TFDS_DIR=${STORAGE_BUCKET}/tfds
     (vm)$ export VOCAB_FILE=${STORAGE_BUCKET}/uncased_L-12_H-768_A-12/vocab.txt
     (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/bert-output
     (vm)$ export TASK=mnli
     

2. Instale os requisitos do TensorFlow.

   O comando usado depende se você usa uma VM ou um nó de TPU.

   VM de TPU

   (vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt
   

   Nó da TPU

   (vm)$ pip3 install --user -r /usr/share/models/official/requirements.txt
   (vm)$ pip3 install tensorflow-datasets==4.6.0
   

3. Defina a variável de ambiente PYTHONPATH.

   VM de TPU

   (vm)$ export PYTHONPATH=/usr/share/tpu/models
   

   Nó de TPU

   (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
   

4. Mude para o diretório que armazena o modelo:

   VM de TPU

   (vm)$ cd /usr/share/tpu/models
   

   Nó de TPU

   (vm)$ cd /usr/share/models
   

5. Execute o script de treinamento:

   (vm)$ python3 official/nlp/train.py \
     --tpu=${TPU_NAME} \
     --experiment=bert/sentence_prediction_text \
     --mode=train_and_eval \
     --model_dir=${MODEL_DIR} \
     --config_file=official/nlp/configs/experiments/glue_mnli_text.yaml \
     --params_override="runtime.distribution_strategy=tpu, task.init_checkpoint=${INIT_CHECKPOINT}, task.train_data.tfds_data_dir=${TFDS_DIR}, task.train_data.vocab_file=${VOCAB_FILE}, task.validation_data.tfds_data_dir=${TFDS_DIR}, task.validation_data.vocab_file=${VOCAB_FILE}, trainer.train_steps=2000"
   

   Descrições de sinalizações de comando

   tpu

   O nome do Cloud TPU a ser usado para treinamento.

   mode

   Um destes: train, eval, train_and_eval ou predict.

   model_dir

   O caminho do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. É possível reutilizar uma pasta atual para carregar pontos de verificação gerados anteriormente e armazenar outros checkpoints, contanto que os anteriores tenham sido criados usando um Cloud TPU do mesmo tamanho e a versão do TensorFlow.

   O script é treinado com 2.000 etapas e, em seguida, executa 307 etapas de avaliação. Em uma TPU v3-8, após aproximadamente 5 minutos, o script de treinamento será concluído e exibirá resultados semelhantes a estes:

   I0719 00:47:52.683979 140297079573568 controller.py:457] train | step:   2000 | steps/sec:   26.3 | output:
   {'cls_accuracy': 0.7249375,
    'learning_rate': 1.4670059e-05,
    'training_loss': 0.6740678}
   train | step:   2000 | steps/sec:   26.3 | output:
   {'cls_accuracy': 0.7249375,
    'learning_rate': 1.4670059e-05,
    'training_loss': 0.6740678}
   I0719 00:47:53.184051 140297079573568 controller.py:277]  eval | step:   2000 | running 307 steps of evaluation...
   eval | step:   2000 | running 307 steps of evaluation...
   

Limpar

1. Desconecte-se da instância do Compute Engine, caso ainda não tenha feito isso:

   (vm)$ exit
   

   Agora, o prompt precisa ser username@projectname, mostrando que você está no Cloud Shell.

2. Exclua os recursos do Cloud TPU e do Compute Engine. O comando usado para excluir os recursos depende se você está usando VMs ou nós de TPU. Para mais informações, consulte Arquitetura do sistema.

   VM de TPU

   $ gcloud compute tpus tpu-vm delete bert-tutorial \
   --zone=us-central1-b
   

   Nó de TPU

   $ gcloud compute tpus execution-groups delete bert-tutorial \
   --zone=us-central1-b
   

3. Execute gcloud compute tpus execution-groups list para verificar se os recursos foram excluídos. A exclusão pode levar vários minutos. A saída do seguinte comando não pode incluir nenhum dos recursos criados neste tutorial:

   VM de TPU

   $ gcloud compute tpus tpu-vm list --zone=us-central1-b

   Nó de TPU

   $ gcloud compute tpus execution-groups list --zone=us-central1-b

4. Exclua o bucket do Cloud Storage usando gsutil, conforme mostrado abaixo. Substitua bucket-name pelo nome do bucket no Cloud Storage.

   $ gsutil rm -r gs://bucket-name
   

A seguir

Geralmente, os tutoriais do Cloud TPU do TensorFlow treinam o modelo usando um conjunto de dados de amostra. Os resultados deste treinamento não podem ser usados para inferência. Para usar um modelo para inferência, treine os dados em um conjunto de dados disponível publicamente ou no seu próprio conjunto de dados. Os modelos do TensorFlow treinados em Cloud TPUs geralmente exigem que os conjuntos de dados estejam no formato TFRecord.

Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagem no formato TFRecord. Se você não estiver usando um modelo de classificação de imagem, converta manualmente o conjunto de dados para o TFRecord. Para saber mais, consulte TFRecord e tf.Example.

Ajuste de hiperparâmetros

Para melhorar o desempenho do modelo com o conjunto de dados, é possível ajustar os hiperparâmetros do modelo. Encontre informações sobre hiperparâmetros comuns a todos os modelos compatíveis com a TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo podem ser encontradas no código-fonte de cada modelo. Para saber mais sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros, Como usar o serviço de ajuste de hiperparâmetros e Ajustar hiperparâmetros.

Inferência

Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). O AI Platform é uma solução baseada na nuvem para desenvolver, treinar e implantar modelos de machine learning. Depois que um modelo é implantado, use o serviço do AI Platform Prediction.

• Conheça as ferramentas de TPU no TensorBoard.