Ajuste do BERT com o Cloud TPU: tarefas de classificação de pares de frases e frases (TF 2.x)

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Neste tutorial, mostraremos como treinar as representações de codificador bidirecional do modelo Transformers (BERT) no Cloud TPU.

O BERT é um método de representação de linguagem pré-treinamento. Pré-treinamento refere-se a como o BERT é primeiro treinado com base em uma grande fonte de texto, como a Wikipedia. Os resultados do treinamento podem ser aplicados a outras tarefas de processamento de linguagem natural (PLN), como sistema de perguntas e respostas e análise de sentimento. Com o BERT e o Cloud TPU, é possível treinar vários modelos de PLN em cerca de 30 minutos.

Para mais informações sobre o BERT, consulte os seguintes recursos:

Objetivos

  • Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
  • Executar o job de treinamento.
  • Verificar os resultados da saída.

Custos

Neste tutorial, usamos os seguintes componentes faturáveis do Google Cloud:

  • Compute Engine
  • Cloud TPU
  • Cloud Storage

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Nesta seção, você verá como configurar o bucket do Cloud Storage e a VM do Compute Engine.

  1. Abra uma janela do Cloud Shell.

    Abrir o Cloud Shell

  2. Crie uma variável para o ID do seu projeto.

    export PROJECT_ID=project-id
    
  3. Configure a Google Cloud CLI para usar o projeto em que você quer criar a Cloud TPU.

    gcloud config set project ${PROJECT_ID}
    
  4. Crie uma conta de serviço para o projeto da Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    
  5. Crie um bucket do Cloud Storage usando o seguinte comando:

    gsutil mb -p ${PROJECT_ID} -c standard -l us-central1 gs://bucket-name
    

    Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. O comando usado para criar uma TPU (gcloud compute tpus execution-groups create para a arquitetura de nó da TPU ou gcloud compute tpus tpu-vm create para a arquitetura de VM da TPU) configura as permissões padrão para a conta de serviço da Cloud TPU configurada na etapa anterior. Se você quiser permissões mais específicas, consulte as permissões de nível de acesso.

    O local do bucket precisa estar na mesma região que o Compute Engine (VM) e o nó da Cloud TPU.

  6. Use o comando gcloud para iniciar uma VM do Compute Engine e a Cloud TPU. O comando usado depende se você usa uma VM ou um nó de TPU. Para mais informações sobre a arquitetura de duas VMs, consulte Arquitetura do sistema. Para mais informações sobre o comando gcloud, consulte a referência da gcloud.

    VM de TPU

    $ gcloud compute tpus tpu-vm create bert-tutorial \
    --zone=us-central1-b \
    --accelerator-type=v3-8 \
    --version=tpu-vm-tf-2.10.0

    Descrições de sinalizações de comando

    zone
    A zona em que você pretende criar a Cloud TPU.
    accelerator-type
    O tipo da Cloud TPU a ser criada.
    version
    A versão do software da Cloud TPU.

    Nó da TPU

    $ gcloud compute tpus execution-groups create \
      --name=bert-tutorial \
      --zone=us-central1-b \
      --tf-version=2.10.0 \
      --machine-type=n1-standard-1 \
      --accelerator-type=v3-8 

    Descrições de sinalizações de comando

    name
    O nome do Cloud TPU a ser criado.
    zone
    A zona em que você pretende criar a Cloud TPU.
    tf-version
    A versão do Tensorflow ctpu é instalada na VM.
    machine-type
    O tipo de máquina da VM do Compute Engine a ser criada.
    accelerator type
    O tipo do Cloud TPU a ser criado.
  7. Se você não for conectado automaticamente à instância do Compute Engine, faça login executando o seguinte comando ssh. Quando você faz login na VM, o prompt do shell muda de username@projectname para username@vm-name:

    VM de TPU

    gcloud compute tpus tpu-vm ssh bert-tutorial --zone=us-central1-b
    

    Nó de TPU

    gcloud compute ssh bert-tutorial --zone=us-central1-b
    

    Ao seguir essas instruções, execute cada comando iniciado por (vm)$ na janela de sessão da VM.

  8. Crie uma variável de ambiente para o nome da TPU.

    VM de TPU

    (vm)$ export TPU_NAME=local
    

    Nó de TPU

    (vm)$ export TPU_NAME=bert-tutorial
    

Preparar o conjunto de dados

  1. Defina o bucket de armazenamento necessário para armazenar o modelo e o conjunto de dados:

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
  2. Copie os pontos de verificação e arquivos de vocabulário pré-treinados para o bucket de armazenamento:

      (vm)$ curl https://storage.googleapis.com/tf_model_garden/nlp/bert/v3/uncased_L-12_H-768_A-12.tar.gz -o uncased_L-12_H-768_A-12.tar.gz
      (vm)$ mkdir -p uncased_L-12_H-768_A-12
      (vm)$ tar -xvf uncased_L-12_H-768_A-12.tar.gz
      (vm)$ mv tmp/temp_dir/raw/* uncased_L-12_H-768_A-12
      (vm)$ gsutil -m cp -R uncased_L-12_H-768_A-12 gs://bucket-name 

Treine o modelo

  1. Defina diversos valores de parâmetros necessários ao treinar e avaliar o modelo:

      (vm)$ export INIT_CHECKPOINT=${STORAGE_BUCKET}/uncased_L-12_H-768_A-12/bert_model.ckpt
      (vm)$ export TFDS_DIR=${STORAGE_BUCKET}/tfds
      (vm)$ export VOCAB_FILE=${STORAGE_BUCKET}/uncased_L-12_H-768_A-12/vocab.txt
      (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/bert-output
      (vm)$ export TASK=mnli
      

  2. Instale os requisitos do TensorFlow.

    O comando usado depende se você usa uma VM ou um nó de TPU.

    VM de TPU

    (vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt
    

    Nó da TPU

    (vm)$ pip3 install --user -r /usr/share/models/official/requirements.txt
    (vm)$ pip3 install tensorflow-datasets==4.6.0
    
  3. Defina a variável de ambiente PYTHONPATH.

    VM de TPU

    (vm)$ export PYTHONPATH=/usr/share/tpu/models
    

    Nó de TPU

    (vm)$ export PYTHONPATH="${PYTHONPATH}:/usr/share/models"
    
  4. Mude para o diretório que armazena o modelo:

    VM de TPU

    (vm)$ cd /usr/share/tpu/models
    

    Nó de TPU

    (vm)$ cd /usr/share/models
    
  5. Execute o script de treinamento:

    (vm)$ python3 official/nlp/train.py \
      --tpu=${TPU_NAME} \
      --experiment=bert/sentence_prediction_text \
      --mode=train_and_eval \
      --model_dir=${MODEL_DIR} \
      --config_file=official/nlp/configs/experiments/glue_mnli_text.yaml \
      --params_override="runtime.distribution_strategy=tpu, task.init_checkpoint=${INIT_CHECKPOINT}, task.train_data.tfds_data_dir=${TFDS_DIR}, task.train_data.vocab_file=${VOCAB_FILE}, task.validation_data.tfds_data_dir=${TFDS_DIR}, task.validation_data.vocab_file=${VOCAB_FILE}, trainer.train_steps=2000"
    

    Descrições de sinalizações de comando

    tpu
    O nome do Cloud TPU a ser usado para treinamento.
    mode
    Um destes: train, eval, train_and_eval ou predict.
    model_dir
    O caminho do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento do modelo. É possível reutilizar uma pasta atual para carregar pontos de verificação gerados anteriormente e armazenar outros checkpoints, contanto que os anteriores tenham sido criados usando um Cloud TPU do mesmo tamanho e a versão do TensorFlow.

    O script treina por 2.000 etapas e depois executa 307 etapas de avaliação. Em uma TPU v3-8, após aproximadamente cinco minutos, o script de treinamento será concluído e exibirá resultados semelhantes a estes:

    I0719 00:47:52.683979 140297079573568 controller.py:457] train | step:   2000 | steps/sec:   26.3 | output:
    {'cls_accuracy': 0.7249375,
     'learning_rate': 1.4670059e-05,
     'training_loss': 0.6740678}
    train | step:   2000 | steps/sec:   26.3 | output:
    {'cls_accuracy': 0.7249375,
     'learning_rate': 1.4670059e-05,
     'training_loss': 0.6740678}
    I0719 00:47:53.184051 140297079573568 controller.py:277]  eval | step:   2000 | running 307 steps of evaluation...
    eval | step:   2000 | running 307 steps of evaluation...
    

Limpar

  1. Desconecte-se da instância do Compute Engine, caso ainda não tenha feito isso:

    (vm)$ exit
    

    Agora, o prompt precisa ser username@projectname, mostrando que você está no Cloud Shell.

  2. Exclua os recursos do Cloud TPU e do Compute Engine. O comando usado para excluir os recursos depende se você está usando VMs ou nós de TPU. Para mais informações, consulte Arquitetura do sistema.

    VM de TPU

    $ gcloud compute tpus tpu-vm delete bert-tutorial \
    --zone=us-central1-b
    

    Nó de TPU

    $ gcloud compute tpus execution-groups delete bert-tutorial \
    --zone=us-central1-b
    
  3. Execute gcloud compute tpus execution-groups list para verificar se os recursos foram excluídos. A exclusão pode levar vários minutos. A saída do seguinte comando não pode incluir nenhum dos recursos criados neste tutorial:

    VM de TPU

    $ gcloud compute tpus tpu-vm list --zone=us-central1-b

    Nó de TPU

    $ gcloud compute tpus execution-groups list --zone=us-central1-b
  4. Exclua o bucket do Cloud Storage usando gsutil, conforme mostrado abaixo. Substitua bucket-name pelo nome do bucket no Cloud Storage.

    $ gsutil rm -r gs://bucket-name
    

A seguir

Geralmente, os tutoriais do Cloud TPU do TensorFlow treinam o modelo usando um conjunto de dados de amostra. Os resultados deste treinamento não são utilizáveis para inferência. Para usar um modelo para inferência, treine os dados em um conjunto de dados disponível publicamente ou no seu próprio conjunto de dados. Os modelos do TensorFlow treinados em Cloud TPUs geralmente exigem que os conjuntos de dados estejam no formato TFRecord.

Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagem no formato TFRecord. Se você não estiver usando um modelo de classificação de imagem, converta manualmente o conjunto de dados para o TFRecord. Para saber mais, consulte TFRecord e tf.Example.

Ajuste de hiperparâmetros

Para melhorar o desempenho do modelo com o conjunto de dados, é possível ajustar os hiperparâmetros do modelo. Encontre informações sobre hiperparâmetros comuns a todos os modelos compatíveis com a TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo podem ser encontradas no código-fonte de cada modelo. Para saber mais sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros, Como usar o serviço de ajuste de hiperparâmetros e Ajustar hiperparâmetros.

Inferência

Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). O AI Platform é uma solução baseada na nuvem para desenvolver, treinar e implantar modelos de machine learning. Depois que um modelo é implantado, use o serviço do AI Platform Prediction.