Esta página foi traduzida pela API Cloud Translation.
Switch to English

Como treinar no Transformer no Cloud TPU (TF 2.x)

O Transformer é uma arquitetura de rede neural que resolve problemas de sequência para sequência usando mecanismos de atenção. Ao contrário dos modelos neurais tradicionais seq2seq, o Transformer não envolve conexões recorrentes. O mecanismo de atenção aprende dependências entre tokens em duas sequências. Como os pesos de atenção se aplicam a todos os tokens nas sequências, o modelo Transformer consegue capturar facilmente dependências de longa distância.

A estrutura geral do Transformer segue o padrão de codificador-decodificador. O codificador usa a atenção própria para calcular uma representação da sequência de entrada. O decodificador gera a sequência de saída um token por vez, usando a saída do codificador e os tokens de saída decodificados anteriores como entradas.

O modelo também aplica embeddings aos tokens de entrada e saída e adiciona uma codificação posicional constante. A codificação de posição adiciona informações sobre a posição de cada token.

Custos

Neste tutorial, há componentes faturáveis do Google Cloud, entre eles:

  • Compute Engine
  • Cloud TPU

Use a calculadora de preços para gerar uma estimativa de custos baseada na projeção de uso. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Se você planeja treinar em uma fração do pod de TPU, consulte este documento. Ele explica as considerações especiais ao treinar em uma fração de pod.

Antes de começar o tutorial, siga as etapas abaixo para verificar se o projeto do Google Cloud foi configurado corretamente.

  1. Abra uma janela do Cloud Shell.

    Abrir o Cloud Shell

  2. Crie uma variável para o ID do seu projeto.

    export PROJECT_ID=project-id
    
  3. Configure a ferramenta de linha de comando gcloud para usar o projeto em que a Cloud TPU será criada.

    gcloud config set project ${PROJECT_ID}
    

    Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página Authorize Cloud Shell. Clique em Authorize na parte inferior da página para permitir que gcloud faça chamadas de API do GCP com suas credenciais.

  4. Crie uma conta de serviço para o projeto da Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Crie um bucket do Cloud Storage usando o seguinte comando:

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
    

    Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. A ferramenta ctpu up usada neste tutorial configura permissões padrão para a conta de serviço do Cloud TPU configurada na etapa anterior. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

  6. Inicie uma VM do Compute Engine usando o comando ctpu up. Este exemplo define a zona como europe-west4-a, mas você pode defini-la como qualquer zona que pretenda usar para a VM do Compute Engine e o Cloud TPU.

    ctpu up --project=${PROJECT_ID} \
     --vm-only \
     --disk-size-gb=300 \
     --machine-type=n1-standard-8 \
     --zone=europe-west4-a \
     --tf-version=2.4.0 \
     --name=transformer-tutorial
    

    Descrições de sinalizações de comando

    project
    o ID do projeto do GCP
    vm-only
    Crie somente uma VM. Por padrão, o comando ctpu up cria uma VM e uma Cloud TPU.
    disk-size-gb
    O tamanho do disco para a VM em GB.
    machine_type
    O tipo de máquina da VM que o comando ctpu up cria.
    zone
    A zona em que você planeja criar a Cloud TPU.
    tpu-size
    O tipo da Cloud TPU a ser criada.
    tf-version
    A versão do ctpu do Tensorflow é instalada na VM.
    name
    O nome da Cloud TPU a ser criada.

    Para mais informações sobre o utilitário do CTPU, consulte a Referência do CTPU.

  7. A configuração especificada aparecerá. Digite y para aprovar ou n para cancelar.

  8. Quando o comando ctpu up terminar a execução, verifique se o prompt do shell foi alterado de username@projectname para username@vm-name. Essa alteração mostra que você fez login na VM do Compute Engine.

    gcloud compute ssh transformer-tutorial --zone=europe-west4-a
    

Ao seguir essas instruções, execute cada comando iniciado por (vm)$ na janela de sessão da VM.

Gerar o conjunto de dados de treinamento

Na VM do Compute Engine:

  1. Crie as variáveis de ambiente a seguir. Substitua bucket-name pelo nome do seu bucket:

    (vm)$ export STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ export GCS_DATA_DIR=$STORAGE_BUCKET/data/transformer
    (vm)$ export PARAM_SET=big
    (vm)$ export MODEL_DIR=$STORAGE_BUCKET/transformer/model_$PARAM_SET
    (vm)$ export PYTHONPATH="$PYTHONPATH:/usr/share/models"
    (vm)$ export DATA_DIR=${HOME}/transformer/data
    (vm)$ export VOCAB_FILE=${DATA_DIR}/vocab.ende.32768
    
  2. Altere o diretório para o diretório de treinamento:

    (vm)$ cd /usr/share/models/official/nlp/transformer
  3. Configure as seguintes variáveis de ambiente do conjunto de dados:

    (vm)$ export GCS_DATA_DIR=${STORAGE_BUCKET}/data/transformer
    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET}
    
  4. Fazer o download e preparar os conjuntos de dados

    (vm)$ python3 data_download.py --data_dir=${DATA_DIR}
    (vm)$ gsutil cp -r ${DATA_DIR} ${GCS_DATA_DIR}
    

    data_download.py faz o download e pré-processa os conjuntos de dados WMT de treinamento e avaliação. Depois que são feitos o download e a extração dos dados, os dados de treinamento são usados para gerar um vocabulário de subtokens. As strings de avaliação e treinamento são tokenizadas, e os dados resultantes são fragmentados, embaralhados e salvos como TFRecords.

    Download de 1,75 GB de dados compactados. No total, os arquivos brutos (compactados, extraídos e combinados) ocupam 8,4 GB de espaço em disco. O TFRecord e os arquivos de vocabulário resultantes têm 722 MB. O script leva cerca de 40 minutos para ser executado, com a maior parte do tempo gasto no download e aproximadamente 15 minutos gastos no pré-processamento.

Treinar um modelo de tradução inglês-alemão em uma única TPU

Execute os comandos a seguir na VM do Compute Engine:

  1. Execute o comando a seguir para criar o Cloud TPU.

    (vm)$ ctpu up --project=${PROJECT_ID} \
      --tpu-only \
      --tpu-size=v3-8  \
      --zone=europe-west4-a \
      --tf-version=2.4.0 \
      --name=transformer-tutorial
    

    Descrições de sinalizações de comando

    project
    o ID do projeto do GCP
    tpu-only
    Crie apenas uma Cloud TPU. Por padrão, o comando ctpu up cria uma VM e uma Cloud TPU.
    tpu-size
    Especifica o tipo da Cloud TPU, por exemplo, v3-8.
    zone
    A zona em que você planeja criar a Cloud TPU. Ela precisa ser a mesma zona usada para a VM do Compute Engine. Por exemplo, europe-west4-a.
    tf-version
    A versão do ctpu do Tensorflow é instalada na VM.
    name
    O nome da Cloud TPU a ser criada.

    Para mais informações sobre o utilitário do CTPU, consulte a Referência do CTPU.

    A configuração especificada aparecerá. Digite y para aprovar ou n para cancelar.

    Você verá a mensagem: Operation success; not ssh-ing to Compute Engine VM due to --tpu-only flag. Como você já concluiu a propagação de chave SSH anteriormente, ignore essa mensagem.

  2. Defina a variável de nome da Cloud TPU. Este será um nome especificado com o parâmetro --name para ctpu up ou o padrão, seu nome de usuário:

    (vm)$ export TPU_NAME=transformer-tutorial
    
  3. Execute o script de treinamento:

    (vm)$ python3 transformer_main.py \
        --tpu=${TPU_NAME} \
        --model_dir=${MODEL_DIR} \
        --data_dir=${GCS_DATA_DIR} \
        --vocab_file=${GCS_DATA_DIR}/vocab.ende.32768 \
        --bleu_source=${GCS_DATA_DIR}/newstest2014.en \
        --bleu_ref=${GCS_DATA_DIR}/newstest2014.de \
        --batch_size=6144 \
        --train_steps=2000 \
        --static_batch=true \
        --use_ctl=true \
        --param_set=big \
        --max_length=64 \
        --decode_batch_size=32 \
        --decode_max_length=97 \
        --padded_decode=true \
        --distribution_strategy=tpu

    Descrições de sinalizações de comando

    tpu
    O nome da Cloud TPU. Para isso, especifique a variável de ambiente (TPU_NAME).
    model_dir
    O diretório em que os pontos de controle e os resumos são armazenados durante o treinamento do modelo. Se a pasta não existir, o programa criará uma. Ao usar uma Cloud TPU, o model_dir precisa ser um caminho do Cloud Storage (`gs://...`). É possível reutilizar a pasta existente para carregar dados dos pontos de controle atuais e armazenar outros pontos, contanto que os anteriores tenham sido criados usando a Cloud TPU com o mesmo tamanho e versão do TensorFlow.
    data_dir
    O caminho do Cloud Storage da entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.
    vocab_file
    Um arquivo que contém o vocabulário para tradução.
    bleu_source
    Um arquivo que contém sentenças originais para tradução.
    bleu_ref
    Um arquivo que contém a referência para as sentenças da tradução.
    train_steps
    O número de etapas para treinar o modelo. Uma etapa processa um lote de dados. Isso inclui um encaminhamento e a retropropagação.
    batch_size
    O tamanho do lote de treinamento.
    static_batch
    Especifica se os lotes no conjunto de dados têm formas estáticas.
    use_ctl
    Especifica se o script é executado com uma repetição de treinamento personalizada.
    param_set
    O conjunto de parâmetros a ser usado ao criar e treinar o modelo. Os parâmetros definem a forma de entrada, a configuração do modelo e outras configurações.
    max_length
    O tamanho máximo de um exemplo no conjunto de dados.
    decode_batch_size
    O tamanho total do lote usado para a decodificação de regressão automática do Transformer em uma Cloud TPU.
    decode_max_length
    O tamanho máximo da sequência dos dados de decodificação/avaliação. Isso é usado pela decodificação de regressão automática do Transformer em uma Cloud TPU para minimizar a quantidade de padding de dados exigida.
    padded_decode
    Especifica se a decodificação de regressão automática é executada com dados de entrada com padding para decode_max_length. Para que TPU/XLA-GPU seja executado, esta sinalização precisa estar definida por causa do requisito de forma estática.
    distribution_strategy
    Para treinar o modelo ResNet em uma Cloud TPU, defina distribution_strategy como tpu.

Por padrão, o modelo será avaliado após cada 2.000 etapas. Para treinar para a conversão, altere train_steps para 200.000. Você pode aumentar o número de etapas de treinamento ou especificar com que frequência executar avaliações definindo estes parâmetros:

  • --train_steps: define o número total de etapas de treinamento a serem executadas.
  • --steps_between_evals: número de etapas de treinamento a serem executadas entre as avaliações.

O treinamento e a avaliação levam aproximadamente sete minutos em um Cloud TPU v3-8. Quando o treinamento e a avaliação forem concluídos, uma mensagem semelhante a esta será exibida:

INFO:tensorflow:Writing to file /tmp/tmpf2gn8vpa
I1125 21:22:30.734232 140328028010240 translate.py:182] Writing to file /tmp/tmpf2gn8vpa
I1125 21:22:42.785628 140328028010240 transformer_main.py:121] Bleu score (uncased): 0.01125154594774358
I1125 21:22:42.786558 140328028010240 transformer_main.py:122] Bleu score (cased): 0.01123994225054048

Calcule a pontuação BLEU durante a avaliação do modelo

Use estas sinalizações para calcular o BLEU quando o modelo avaliar:

  • --bleu_source: caminho para o arquivo que contém o texto a ser traduzido.
  • --bleu_ref: caminho para o arquivo que contém a tradução de referência.

A partir daqui, é possível concluir este tutorial e limpar os recursos do GCP ou explorar a execução do modelo em um pod da Cloud TPU.

Como escalonar o modelo com os pods da Cloud TPU

Para resultados mais rápidos, escalone o modelo com os pods da Cloud TPU. O modelo do Transformer totalmente compatível pode funcionar com as seguintes fatias de pod:

  • v2-32
  • v3-32
  1. No Cloud Shell, execute ctpu delete com a sinalização tpu-only e --zone que você usou ao configurar a Cloud TPU. Isso exclui apenas o Cloud TPU.

     (vm)$ ctpu delete --project=${PROJECT_ID} 
    --tpu-only
    --zone=europe-west4-a

  2. Execute o comando ctpu up, usando o parâmetro tpu-size para especificar a fração de pod a ser usada. Por exemplo, o comando a seguir usa uma fração de pod v2-32.

    (vm)$ ctpu up --project=${PROJECT_ID} \
      --tpu-only \
      --tpu-size=v2-32  \
      --zone=europe-west4-a \
      --tf-version=2.4.0 \
      --name=transformer-tutorial

    Descrições de sinalizações de comando

    project
    o ID do projeto do GCP
    tpu-only
    Crie apenas uma Cloud TPU. Por padrão, o comando ctpu up cria uma VM e uma Cloud TPU.
    tpu-size
    Especifica o tipo da Cloud TPU, por exemplo, v3-8.
    zone
    A zona em que você planeja criar a Cloud TPU. Ela precisa ser a mesma zona usada para a VM do Compute Engine. Por exemplo, europe-west4-a.
    tf-version
    A versão do ctpu do Tensorflow é instalada na VM.
    name
    O nome da Cloud TPU a ser criada.

    Para mais informações sobre o utilitário do CTPU, consulte a Referência do CTPU.

    gcloud compute ssh transformer-tutorial --zone=europe-west4-a
    
  3. Exporte o nome da TPU:

    (vm)$ export TPU_NAME=transformer-tutorial
    
  4. Exporte a variável do diretório do modelo:

    (vm)$ export MODEL_DIR=${STORAGE_BUCKET}/transformer/model_${PARAM_SET}_pod
    
  5. Altere o diretório para o diretório de treinamento:

    (vm)$ cd /usr/share/models/official/nlp/transformer
    
  6. Execute o script de treinamento do pod:

    (vm)$ python3 transformer_main.py \
         --tpu=${TPU_NAME} \
         --model_dir=${MODEL_DIR} \
         --data_dir=${GCS_DATA_DIR} \
         --vocab_file=${GCS_DATA_DIR}/vocab.ende.32768 \
         --bleu_source=${GCS_DATA_DIR}/newstest2014.en \
         --bleu_ref=${GCS_DATA_DIR}/newstest2014.de \
         --batch_size=24576 \
         --train_steps=2000 \
         --static_batch=true \
         --use_ctl=true \
         --param_set=big \
         --max_length=64 \
         --decode_batch_size=32 \
         --decode_max_length=97 \
         --padded_decode=true \
         --steps_between_evals=2000 \
         --distribution_strategy=tpu
    

    Descrições de sinalizações de comando

    tpu
    O nome da Cloud TPU. Para isso, especifique a variável de ambiente (TPU_NAME).
    model_dir
    O diretório em que os pontos de controle e os resumos são armazenados durante o treinamento do modelo. Se a pasta não existir, o programa criará uma. Ao usar uma Cloud TPU, o model_dir precisa ser um caminho do Cloud Storage (`gs://...`). É possível reutilizar uma pasta existente para carregar dados dos pontos de controle atuais e armazenar outros pontos, contanto que os anteriores tenham sido criados usando a TPU com o mesmo tamanho e versão do TensorFlow.
    data_dir
    O caminho do Cloud Storage da entrada de treinamento. Neste exemplo, ele está definido com o conjunto de dados fake_imagenet.
    vocab_file
    Um arquivo que contém o vocabulário para tradução.
    bleu_source
    Um arquivo que contém sentenças originais para tradução.
    bleu_ref
    Um arquivo que contém a referência para as sentenças da tradução.
    batch_size
    O tamanho do lote de treinamento.
    train_steps
    O número de etapas para treinar o modelo. Uma etapa processa um lote de dados. Isso inclui um encaminhamento e a retropropagação.
    static_batch
    Especifica se os lotes no conjunto de dados têm formas estáticas.
    use_ctl
    Especifica se o script é executado com uma repetição de treinamento personalizada.
    param_set
    O conjunto de parâmetros a ser usado ao criar e treinar o modelo. Os parâmetros definem a forma de entrada, a configuração do modelo e outras configurações.
    max_length
    O tamanho máximo de um exemplo no conjunto de dados.
    decode_batch_size
    O tamanho total do lote usado para a decodificação de regressão automática do Transformer em uma Cloud TPU.
    decode_max_length
    O tamanho máximo da sequência dos dados de decodificação/avaliação. Isso é usado pela decodificação de regressão automática do Transformer em uma Cloud TPU para minimizar a quantidade de padding de dados exigida.
    padded_decode
    Especifica se a decodificação de regressão automática é executada com dados de entrada com padding para decode_max_length. Para que TPU/XLA-GPU seja executado, esta sinalização precisa estar definida por causa do requisito de forma estática.
    steps_between_evals
    O número de etapas de treinamento a serem executadas entre as avaliações.
    distribution_strategy
    Para treinar o modelo ResNet em uma TPU, defina distribution_strategy como tpu.

Esse script de treinamento é treinado por 2.000 etapas e executa a avaliação a cada 2.000 etapas. Esse treinamento e avaliação específicos levam aproximadamente oito minutos em um Pod do Cloud TPU v2-32.

Para treinar para a convergência, altere train_steps para 200.000. Você pode aumentar o número de etapas de treinamento ou especificar com que frequência executar avaliações definindo estes parâmetros:

  • --train_steps: define o número total de etapas de treinamento a serem executadas.
  • --steps_between_evals: número de etapas de treinamento a serem executadas entre as avaliações.

Quando o treinamento e a avaliação forem concluídos, uma mensagem semelhante à seguinte será exibida:

0509 00:27:59.984464 140553148962624 translate.py:184] Writing to file /tmp/tmp_rk3m8jp
I0509 00:28:11.189308 140553148962624 transformer_main.py:119] Bleu score (uncased): 1.3239131309092045
I0509 00:28:11.189623 140553148962624 transformer_main.py:120] Bleu score (cased): 1.2855342589318752

Limpeza

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados neste tutorial, exclua o projeto que contém os recursos ou mantenha o projeto e exclua os recursos individuais.

1. No Cloud Shell, execute "ctpu delete" com a sinalização --zone, usada ao configurar o Cloud TPU, para excluir a VM do Compute Engine e o Cloud TPU:
    $ ctpu delete --project=${PROJECT_ID} \
      --zone=europe-west4-a \
      --name=transformer-tutorial
    
  1. Execute o seguinte comando para verificar se a VM do Compute Engine e a Cloud TPU foram encerradas:

    $ ctpu status --project=${PROJECT_ID} \
      --zone=europe-west4-a
    

    A exclusão pode levar vários minutos. Uma resposta como esta indica que não há mais instâncias alocadas:

    2018/04/28 16:16:23 WARNING: Setting zone to "europe-west4-a"
    No instances currently exist.
            Compute Engine VM:     --
            Cloud TPU:             --
    
  2. Execute gsutil conforme mostrado. Substitua bucket-name pelo nome do bucket do Cloud Storage criado para este tutorial:

    $ gsutil rm -r gs://bucket-name
    

A seguir

Neste tutorial, você treinou o modelo Transformer usando um conjunto de dados de amostra. Os resultados deste treinamento (na maioria dos casos) não podem ser usados para inferência. Para usar um modelo para inferência, é possível treinar os dados em um conjunto de dados disponível publicamente ou no seu próprio conjunto de dados. Os modelos treinados nas Cloud TPUs exigem que os conjuntos de dados estejam no formato TFRecord.

Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagem no formato TFRecord. Se você não estiver usando um modelo de classificação de imagem, converta manualmente o conjunto de dados para o TFRecord. Para mais informações, consulte TFRecord e tf.Example

Ajuste de hiperparâmetros

Para melhorar o desempenho do modelo com o conjunto de dados, é possível ajustar os hiperparâmetros. Encontre informações sobre hiperparâmetros comuns a todos os modelos compatíveis com a TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo podem ser encontradas no código-fonte de cada modelo. Para mais informações sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros, Como usar o serviço de ajuste de hiperparâmetros e Ajustar hiperparâmetros.

Inferência

Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). O AI Platform é uma solução baseada em nuvem para desenvolver, treinar e implantar modelos de machine learning. Depois que um modelo é implantado, use o serviço do AI Platform Prediction.