Como treinar no Transformer no Cloud TPU (TF 2.x)

O Transformer é uma arquitetura de rede neural que resolve problemas de sequência para sequência usando mecanismos de atenção. Ao contrário dos modelos neurais tradicionais seq2seq, o Transformer não envolve conexões recorrentes. O mecanismo de atenção aprende dependências entre tokens em duas sequências. Como os pesos de atenção se aplicam a todos os tokens nas sequências, o modelo Transformer consegue capturar facilmente dependências de longa distância.

A estrutura geral do Transformer segue o padrão de codificador-decodificador. O codificador usa a atenção própria para calcular uma representação da sequência de entrada. O decodificador gera a sequência de saída um token por vez, usando a saída do codificador e os tokens de saída decodificados anteriores como entradas.

O modelo também aplica embeddings aos tokens de entrada e saída e adiciona uma codificação posicional constante. A codificação de posição adiciona informações sobre a posição de cada token.

Custos

Neste tutorial, há componentes faturáveis do Google Cloud, entre eles:

  • Compute Engine
  • Cloud TPU

Use a calculadora de preços para gerar uma estimativa de custos baseada na projeção de uso. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Se você planeja treinar em uma fração do pod de TPU, consulte este documento. Ele explica as considerações especiais ao treinar em uma fração de pod.

Antes de começar o tutorial, siga as etapas abaixo para verificar se o projeto do Google Cloud foi configurado corretamente.

  1. Abra uma janela do Cloud Shell.

    Abrir o Cloud Shell

  2. Crie uma variável para o ID do seu projeto.

    export PROJECT_ID=project-id
    
  3. Configure a ferramenta de linha de comando gcloud para usar o projeto em que a Cloud TPU será criada.

    gcloud config set project ${PROJECT_ID}
    

    Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página Authorize Cloud Shell. Clique em Authorize na parte inferior da página para permitir que gcloud faça chamadas de API do GCP com suas credenciais.

  4. Crie uma conta de serviço para o projeto da Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Crie um bucket do Cloud Storage usando o seguinte comando:

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
    

    Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. A ferramenta gcloud usada neste tutorial configura permissões padrão para a conta de serviço do Cloud TPU configurada na etapa anterior. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

  6. Inicie uma VM do Compute Engine usando o comando gcloud.

    $ gcloud compute tpus execution-groups create \
     --vm-only \
     --name=transformer-tutorial \
     --zone=europe-west4-a \
     --disk-size=300 \
     --machine-type=n1-standard-8 \
     --tf-version=2.5.0
    

    Descrições de sinalizações de comando

    vm-only
    Crie somente uma VM. Por padrão, o comando gcloud compute tpus execution-groups cria uma VM e uma Cloud TPU.
    name
    O nome da Cloud TPU a ser criada.
    zone
    A zona em que você planeja criar a Cloud TPU.
    disk-size
    O tamanho do disco rígido em GB da VM criada pelo comando gcloud compute tpus execution-groups .
    machine-type
    O tipo de máquina da VM do Compute Engine a ser criado.
    tf-version
    A versão do gcloud compute tpus execution-groups do Tensorflow é instalada na VM.

    Para mais informações sobre o comando gcloud, consulte a referência da gcloud.

  7. A configuração especificada aparecerá. Digite y para aprovar ou n para cancelar.

    Quando o comando gcloud compute tpus execution-groups terminar a execução, verifique se o prompt do shell foi alterado de username@projectname para username@vm-name. Essa alteração mostra que você fez login na VM do Compute Engine.

    gcloud compute ssh transformer-tutorial --zone=europe-west4-a
    

    Ao continuar essas instruções, execute cada comando que começa com (vm)$ na instância do Compute Engine.

Gerar o conjunto de dados de treinamento

Na VM do Compute Engine:

  1. Crie as variáveis de ambiente a seguir. Substitua bucket-name pelo nome do seu bucket:

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export GCS_DATA_DIR=${STORAGE_BUCKET}/data/transformer
    (vm)$ export PARAM_SET=big
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET}
    (vm)$ export PYTHONPATH="$PYTHONPATH:/usr/share/models"
    (vm)$ export DATA_DIR=${HOME}/transformer/data
    (vm)$ export VOCAB_FILE=${DATA_DIR}/vocab.ende.32768
    
  2. Altere o diretório para o diretório de treinamento:

    (vm)$ cd /usr/share/models/official/nlp/transformer
  3. Configure as seguintes variáveis de ambiente do conjunto de dados:

    (vm)$ export GCS_DATA_DIR=${STORAGE_BUCKET}/data/transformer
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET}
    
  4. Fazer o download e preparar os conjuntos de dados

    (vm)$ python3 data_download.py --data_dir=${DATA_DIR}
    (vm)$ gsutil cp -r ${DATA_DIR} ${GCS_DATA_DIR}
    

    data_download.py faz o download e pré-processa os conjuntos de dados WMT de treinamento e avaliação. Depois que são feitos o download e a extração dos dados, os dados de treinamento são usados para gerar um vocabulário de subtokens. As strings de avaliação e treinamento são tokenizadas, e os dados resultantes são fragmentados, embaralhados e salvos como TFRecords.

    Download de 1,75 GB de dados compactados. No total, os arquivos brutos (compactados, extraídos e combinados) ocupam 8,4 GB de espaço em disco. O TFRecord e os arquivos de vocabulário resultantes têm 722 MB. O script leva cerca de 40 minutos para ser executado, com a maior parte do tempo gasto no download e aproximadamente 15 minutos gastos no pré-processamento.

Treinar um modelo de tradução inglês-alemão em uma única TPU

Execute os comandos a seguir na VM do Compute Engine:

  1. Execute o comando a seguir para criar o Cloud TPU.

    (vm)$ gcloud compute tpus execution-groups create --tpu-only \
      --accelerator-type=v3-8  \
      --zone=europe-west4-a \
      --tf-version=2.5.0 \
      --name=transformer-tutorial
    

    Descrições de sinalizações de comando

    project
    o ID do projeto do GCP
    tpu-only
    Crie apenas uma Cloud TPU. Por padrão, o comando gcloud compute tpus execution-groups cria uma VM e uma Cloud TPU.
    tpu-size
    Especifica o tipo da Cloud TPU, por exemplo, v3-8.
    zone
    A zona em que você planeja criar a Cloud TPU. Ela precisa ser a mesma zona usada para a VM do Compute Engine. Por exemplo, europe-west4-a.
    tf-version
    A versão do ctpu do Tensorflow é instalada na VM.
    name
    O nome da Cloud TPU a ser criada.

    A configuração especificada aparecerá. Digite y para aprovar ou n para cancelar.

    Você verá a mensagem: Operation success; not ssh-ing to Compute Engine VM due to --tpu-only flag. Como você já concluiu a propagação de chave SSH anteriormente, ignore essa mensagem.

  2. Defina a variável de nome da Cloud TPU. Este será um nome especificado com o parâmetro --name para gcloud compute tpus execution-groups ou o padrão, seu nome de usuário:

    (vm)$ export TPU_NAME=transformer-tutorial
    
  3. Execute o script de treinamento:

    (vm)$ python3 transformer_main.py \
        --tpu=${TPU_NAME} \
        --model_dir=${MODEL_DIR} \
        --data_dir=${GCS_DATA_DIR} \
        --vocab_file=${GCS_DATA_DIR}/vocab.ende.32768 \
        --bleu_source=${GCS_DATA_DIR}/newstest2014.en \
        --bleu_ref=${GCS_DATA_DIR}/newstest2014.de \
        --batch_size=6144 \
        --train_steps=2000 \
        --static_batch=true \
        --use_ctl=true \
        --param_set=big \
        --max_length=64 \
        --decode_batch_size=32 \
        --decode_max_length=97 \
        --padded_decode=true \
        --distribution_strategy=tpu

    Descrições de sinalizações de comando

    tpu
    O nome da Cloud TPU. Para isso, especifique a variável de ambiente (TPU_NAME).
    model_dir
    O bucket do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento. Use uma pasta atual para carregar os checkpoints gerados anteriormente criados em uma TPU do mesmo tamanho e versão do TensorFlow.
    data_dir
    O caminho do Cloud Storage da entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.
    vocab_file
    Um arquivo que contém o vocabulário para tradução.
    bleu_source
    Um arquivo que contém sentenças originais para tradução.
    bleu_ref
    Um arquivo que contém a referência para as sentenças da tradução.
    train_steps
    O número de etapas para treinar o modelo. Uma etapa processa um lote de dados. Isso inclui um encaminhamento e a retropropagação.
    batch_size
    O tamanho do lote de treinamento.
    static_batch
    Especifica se os lotes no conjunto de dados têm formas estáticas.
    use_ctl
    Especifica se o script é executado com uma repetição de treinamento personalizada.
    param_set
    O conjunto de parâmetros a ser usado ao criar e treinar o modelo. Os parâmetros definem a forma de entrada, a configuração do modelo e outras configurações.
    max_length
    O tamanho máximo de um exemplo no conjunto de dados.
    decode_batch_size
    O tamanho total do lote usado para a decodificação de regressão automática do Transformer em uma Cloud TPU.
    decode_max_length
    O tamanho máximo da sequência dos dados de decodificação/avaliação. Isso é usado pela decodificação de regressão automática do Transformer em uma Cloud TPU para minimizar a quantidade de padding de dados exigida.
    padded_decode
    Especifica se a decodificação de regressão automática é executada com dados de entrada com padding para decode_max_length. Para que TPU/XLA-GPU seja executado, esta sinalização precisa estar definida por causa do requisito de forma estática.
    distribution_strategy
    Para treinar o modelo ResNet em uma Cloud TPU, defina distribution_strategy como tpu.

Por padrão, o modelo será avaliado após cada 2.000 etapas. Para treinar para a conversão, altere train_steps para 200.000. Você pode aumentar o número de etapas de treinamento ou especificar com que frequência executar avaliações definindo estes parâmetros:

  • --train_steps: define o número total de etapas de treinamento a serem executadas.
  • --steps_between_evals: número de etapas de treinamento a serem executadas entre as avaliações.

O treinamento e a avaliação levam aproximadamente sete minutos em um Cloud TPU v3-8. Quando o treinamento e a avaliação forem concluídos, uma mensagem semelhante a esta será exibida:

INFO:tensorflow:Writing to file /tmp/tmpf2gn8vpa
I1125 21:22:30.734232 140328028010240 translate.py:182] Writing to file /tmp/tmpf2gn8vpa
I1125 21:22:42.785628 140328028010240 transformer_main.py:121] Bleu score (uncased): 0.01125154594774358
I1125 21:22:42.786558 140328028010240 transformer_main.py:122] Bleu score (cased): 0.01123994225054048

Calcule a pontuação BLEU durante a avaliação do modelo

Use estas sinalizações para calcular o BLEU quando o modelo avaliar:

  • --bleu_source: caminho para o arquivo que contém o texto a ser traduzido.
  • --bleu_ref: caminho para o arquivo que contém a tradução de referência.

A partir daqui, é possível concluir este tutorial e limpar os recursos do GCP ou explorar a execução do modelo em um pod da Cloud TPU.

Como escalonar o modelo com os pods da Cloud TPU

Para resultados mais rápidos, escalone o modelo com os pods da Cloud TPU. O modelo do Transformer totalmente compatível pode funcionar com as seguintes fatias de pod:

  • v2-32
  • v3-32
  1. Exclua o recurso da Cloud TPU criado para treinar o modelo em um único dispositivo.

    (vm)$ gcloud compute tpus execution-groups delete transformer-tutorial \
      --zone=europe-west4-a \
      --tpu-only
  2. Execute o comando gcloud compute tpus execution-groups, usando o parâmetro accelerator-type para especificar a fração de pod a ser usada. Por exemplo, o comando a seguir usa uma fração de pod v3-32.

    (vm)$ gcloud compute tpus execution-groups create --name=transformer-tutorial \
      --accelerator-type=v2-32  \
      --zone=europe-west4-a \
      --tf-version=2.5.0 \
      --tpu-only
    

    Descrições de sinalizações de comando

    name
    O nome da Cloud TPU a ser criada.
    accelerator-type
    O tipo da Cloud TPU a ser criada.
    zone
    A zona em que você planeja criar a Cloud TPU.
    tf-version
    A versão do gcloud do Tensorflow é instalada na VM.
    tpu-only
    Crie apenas uma Cloud TPU. Por padrão, o comando gcloud cria uma VM e uma Cloud TPU.
    gcloud compute ssh transformer-tutorial --zone=europe-west4-a
    
  3. Exporte o nome da TPU:

    (vm)$ export TPU_NAME=transformer-tutorial
    
  4. Exporte a variável do diretório do modelo:

    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET}_pod
    
  5. Altere o diretório para o diretório de treinamento:

    (vm)$ cd /usr/share/models/official/nlp/transformer
    
  6. Execute o script de treinamento do pod:

    (vm)$ python3 transformer_main.py \
         --tpu=${TPU_NAME} \
         --model_dir=${MODEL_DIR} \
         --data_dir=${GCS_DATA_DIR} \
         --vocab_file=${GCS_DATA_DIR}/vocab.ende.32768 \
         --bleu_source=${GCS_DATA_DIR}/newstest2014.en \
         --bleu_ref=${GCS_DATA_DIR}/newstest2014.de \
         --batch_size=24576 \
         --train_steps=2000 \
         --static_batch=true \
         --use_ctl=true \
         --param_set=big \
         --max_length=64 \
         --decode_batch_size=32 \
         --decode_max_length=97 \
         --padded_decode=true \
         --steps_between_evals=2000 \
         --distribution_strategy=tpu
    

    Descrições de sinalizações de comando

    tpu
    O nome da Cloud TPU. Para isso, especifique a variável de ambiente (TPU_NAME).
    model_dir
    O bucket do Cloud Storage em que os checkpoints e os resumos são armazenados durante o treinamento. Use uma pasta atual para carregar os checkpoints gerados anteriormente criados em uma TPU do mesmo tamanho e versão do TensorFlow.
    data_dir
    O caminho do Cloud Storage da entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.
    vocab_file
    Um arquivo que contém o vocabulário para tradução.
    bleu_source
    Um arquivo que contém sentenças originais para tradução.
    bleu_ref
    Um arquivo que contém a referência para as sentenças da tradução.
    batch_size
    O tamanho do lote de treinamento.
    train_steps
    O número de etapas para treinar o modelo. Uma etapa processa um lote de dados. Isso inclui um encaminhamento e a retropropagação.
    static_batch
    Especifica se os lotes no conjunto de dados têm formas estáticas.
    use_ctl
    Especifica se o script é executado com uma repetição de treinamento personalizada.
    param_set
    O conjunto de parâmetros a ser usado ao criar e treinar o modelo. Os parâmetros definem a forma de entrada, a configuração do modelo e outras configurações.
    max_length
    O tamanho máximo de um exemplo no conjunto de dados.
    decode_batch_size
    O tamanho total do lote usado para a decodificação de regressão automática do Transformer em uma Cloud TPU.
    decode_max_length
    O tamanho máximo da sequência dos dados de decodificação/avaliação. Isso é usado pela decodificação de regressão automática do Transformer em uma Cloud TPU para minimizar a quantidade de padding de dados exigida.
    padded_decode
    Especifica se a decodificação de regressão automática é executada com dados de entrada com padding para decode_max_length. Para que TPU/XLA-GPU seja executado, esta sinalização precisa estar definida por causa do requisito de forma estática.
    steps_between_evals
    O número de etapas de treinamento a serem executadas entre as avaliações.
    distribution_strategy
    Para treinar o modelo ResNet em uma TPU, defina distribution_strategy como tpu.

Esse script de treinamento é treinado por 2.000 etapas e executa a avaliação a cada 2.000 etapas. Esse treinamento e avaliação específicos levam aproximadamente oito minutos em um Pod do Cloud TPU v2-32.

Para treinar para a convergência, altere train_steps para 200.000. Você pode aumentar o número de etapas de treinamento ou especificar com que frequência executar avaliações definindo estes parâmetros:

  • --train_steps: define o número total de etapas de treinamento a serem executadas.
  • --steps_between_evals: número de etapas de treinamento a serem executadas entre as avaliações.

Quando o treinamento e a avaliação forem concluídos, uma mensagem semelhante à seguinte será exibida:

0509 00:27:59.984464 140553148962624 translate.py:184] Writing to file /tmp/tmp_rk3m8jp
I0509 00:28:11.189308 140553148962624 transformer_main.py:119] Bleu score (uncased): 1.3239131309092045
I0509 00:28:11.189623 140553148962624 transformer_main.py:120] Bleu score (cased): 1.2855342589318752

Limpeza

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

1. Desconecte-se da instância do Compute Engine, caso ainda não tenha feito isso:
  (vm)$ exit
  

Agora, o prompt precisa ser username@projectname, mostrando que você está no Cloud Shell.

  1. No Cloud Shell, use o seguinte comando para excluir a VM do Compute Engine e o Cloud TPU:

    $ gcloud compute tpus execution-groups delete transformer-tutorial \
      --zone=europe-west4-a
    
  2. Execute gcloud compute tpus execution-groups list para verificar se os recursos foram excluídos. A exclusão pode levar vários minutos. Uma resposta como esta indica que suas instâncias foram excluídas com sucesso.

    $ gcloud compute tpus execution-groups list \
     --zone=europe-west4-a
    

    Você verá uma lista vazia de TPUs como a seguinte:

       NAME             STATUS
    
  3. Exclua o bucket do Cloud Storage usando gsutil, conforme mostrado abaixo. Substitua bucket-name pelo nome do bucket no Cloud Storage.

    $ gsutil rm -r gs://bucket-name
    

A seguir

Neste tutorial, você treinou o modelo Transformer usando um conjunto de dados de amostra. Os resultados deste treinamento (na maioria dos casos) não podem ser usados para inferência. Para usar um modelo para inferência, é possível treinar os dados em um conjunto de dados disponível publicamente ou no seu próprio conjunto de dados. Os modelos treinados nas Cloud TPUs exigem que os conjuntos de dados estejam no formato TFRecord.

Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagem no formato TFRecord. Se você não estiver usando um modelo de classificação de imagem, converta manualmente o conjunto de dados para o TFRecord. Para mais informações, consulte TFRecord e tf.Example

Ajuste de hiperparâmetros

Para melhorar o desempenho do modelo com o conjunto de dados, é possível ajustar os hiperparâmetros. Encontre informações sobre hiperparâmetros comuns a todos os modelos compatíveis com a TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo podem ser encontradas no código-fonte de cada modelo. Para mais informações sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros, Como usar o serviço de ajuste de hiperparâmetros e Ajustar hiperparâmetros.

Inferência

Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). O AI Platform é uma solução baseada em nuvem para desenvolver, treinar e implantar modelos de machine learning. Depois que um modelo é implantado, use o serviço do AI Platform Prediction.