Como treinar DLRM e DCN no Cloud TPU (TF 2.x)

---

Este tutorial mostra como treinar modelos de classificação DLRM e DCN v2 que podem ser usados para tarefas como previsão de taxa de cliques (CTR). Ver a observação em Configure para executar o modelo DLRM ou DCN para ver como definir parâmetros para treinar um modelo de classificação DLRM ou DCN v2.

As entradas do modelo são atributos numéricos e categóricos, e a saída é um escalar (por exemplo, probabilidade de clique). O modelo pode ser treinado e avaliado Cloud TPU: Os modelos de classificação profunda consomem muita memória (para embeddings tabelas e consulta) e computação intensiva em redes profundas (MLPs). As TPUs são projetadas para ambos.

O modelo usa uma camada de TPU de incorporação para recursos categóricos. A incorporação de TPU é compatível com grandes tabelas de incorporação com pesquisa rápida. O tamanho das tabelas de incorporação é escalonado linearmente com o tamanho de um pod de TPU. Até 90 GB de tabelas de embedding usada para TPU v3-8, 5,6 TB para um Pod v3-512 e 22,4 TB para um Pod de TPU v3-2048.

O código do modelo está na biblioteca Recommenders do TensorFlow. enquanto o pipeline de entrada, a configuração e o loop de treinamento são descritos no TensorFlow Model Garden.

Objetivos

• Configurar o ambiente de treinamento
• Executar o job de treinamento usando dados sintéticos
• Verificar os resultados da saída.

Custos

Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:

• Compute Engine
• Cloud TPU
• Cloud Storage

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Antes de começar o tutorial, verifique se o projeto do Google Cloud foi configurado corretamente.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

Este tutorial usa componentes faturáveis do Google Cloud. Consulte a página de preços da Cloud TPU para fazer uma estimativa dos custos. Não se esqueça de limpar os recursos de TPU criados ao você terminou de usá-los para evitar cobranças desnecessárias.

Configurar os recursos

Nesta seção, você verá informações sobre como configurar recursos do bucket do Cloud Storage, da VM e do Cloud TPU usados por este tutorial.

Importante: configure todos os recursos (VM do Compute Engine, Cloud TPU e bucket do Cloud Storage) na mesma região ou zona para reduzir a latência e os custos da rede. As VMs da TPU estão localizadas em zonas específicas. Para mais informações, consulte Regiões e zonas de TPU.

1. Abra uma janela do Cloud Shell.

   Abrir o Cloud Shell

2. Crie uma variável para o ID do seu projeto.

   export PROJECT_ID=project-id

3. Configure a Google Cloud CLI para usar o projeto em que a Cloud TPU será criada.

   Para mais informações sobre o comando gcloud, consulte a Referência da CLI do Google Cloud.

   gcloud config set project ${PROJECT_ID}

   Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página Authorize Cloud Shell. Clique em Authorize na parte de baixo. da página para permitir que gcloud faça chamadas de API com suas credenciais.

4. Crie uma conta de serviço para o projeto da Cloud TPU.

   gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID

   O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

   [e-mail]
   

5. Crie um bucket do Cloud Storage usando o comando a seguir, em que a opção --location especifica a região em que o bucket precisa ser criado. Consulte os tipos e zonas para mais detalhes sobre zonas e regiões:

   gcloud storage buckets create gs://bucket-name --project=${PROJECT_ID} --location=europe-west4

   Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. A ferramenta gcloud compute tpus tpu-vm usada neste tutorial configura permissões padrão para a conta de serviço do Cloud TPU configurada na etapa anterior. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

   O local do bucket precisa estar na mesma região que o Compute Engine (VM) e o nó da Cloud TPU.

6. Use o comando gcloud para iniciar uma VM do Compute Engine e a Cloud TPU.

   $ gcloud compute tpus tpu-vm create dlrm-dcn-tutorial \
       --zone=europe-west4-a \
       --accelerator-type=v3-8 \
       --version=tpu-vm-tf-2.17.0-se

   Descrições de sinalizações de comando

   zone

   A zona em que você planeja criar a Cloud TPU.

   accelerator-type

   O tipo de acelerador especifica a versão e o tamanho do Cloud TPU que você quer criar. Para mais informações sobre os tipos de aceleradores compatíveis com cada versão de TPU, consulte Versões de TPU.

   version

   A versão do software do Cloud TPU.

   Observação: a primeira vez que você executar o gcloud compute tpus tpu-vm em um projeto, ele levará vários minutos para realizar tarefas de inicialização, como propagação de chave SSH e ativação da API.

7. Conecte-se à instância do Compute Engine usando SSH. Quando você está conectado à VM, o prompt do shell muda de username@projectname para username@vm-name:

   gcloud compute tpus tpu-vm ssh dlrm-dcn-tutorial --zone=europe-west4-a

   Importante: a partir desse ponto, o prefixo (vm) $ significa que é necessário executar o comando na instância de VM do Compute Engine.

Definir variáveis de bucket do Cloud Storage

Configure as seguintes variáveis de ambiente, substituindo bucket-name pelo nome do bucket do Cloud Storage:

(vm)$ export STORAGE_BUCKET=gs://bucket-name
(vm)$ export PYTHONPATH="/usr/share/tpu/models/:${PYTHONPATH}"
(vm)$ export EXPERIMENT_NAME=dlrm-exp

Defina uma variável de ambiente para o nome da TPU.

  (vm)$ export TPU_NAME=local
  

O aplicativo de treinamento precisa que os dados de treinamento sejam acessíveis no Cloud Storage. Ele também usa o bucket do Cloud Storage para armazenar checkpoints durante o treinamento.

Configuração para executar o modelo DLRM ou DCN com dados sintéticos

O modelo pode ser treinado em vários conjuntos de dados. Dois comumente usados são o Criteo Terabyte e o Criteo Kaggle. Este tutorial treina sobre dados sintéticos definindo a sinalização use_synthetic_data=True.

O conjunto de dados sintéticos é útil apenas para entender como usar um Cloud TPU e validar o desempenho de ponta a ponta. Os números de acurácia e o modelo salvo não são importantes.

Acesse os sites Criteo Terabyte e Criteo Kaggle (em inglês) para informações sobre como fazer o download e pré-processar esses conjuntos de dados.

Observação: caso queira monitorar a saída e o desempenho do modelo, siga o guia para configurar o TensorBoard.

1. Instalar os pacotes necessários

   (vm)$ pip3 install tensorflow-recommenders
   (vm)$ pip3 install -r /usr/share/tpu/models/official/requirements.txt

2. Mude para o diretório do script.

   (vm)$ cd /usr/share/tpu/models/official/recommendation/ranking

3. Execute o script de treinamento. Ele usa um conjunto de dados falso semelhante à Criteo para treinar modelo de DLRM. O treinamento leva aproximadamente 20 minutos.

   Observação: para treinar o modelo DLRM, use a interação do recurso do produto de ponto, ou seja, a interação: "dot". Para treinar o modelo DCN v2, use a interação: "cross"

   export EMBEDDING_DIM=32
   
   python3 train.py --mode=train_and_eval \
        --model_dir=${STORAGE_BUCKET}/model_dirs/${EXPERIMENT_NAME} --params_override="
        runtime:
            distribution_strategy: 'tpu'
        task:
            use_synthetic_data: true
            train_data:
                input_path: '${DATA_DIR}/train/*'
                global_batch_size: 16384
            validation_data:
                input_path: '${DATA_DIR}/eval/*'
                global_batch_size: 16384
            model:
                num_dense_features: 13
                bottom_mlp: [512,256,${EMBEDDING_DIM}]
                embedding_dim: ${EMBEDDING_DIM}
                top_mlp: [1024,1024,512,256,1]
                interaction: 'dot'
                vocab_sizes: [39884406, 39043, 17289, 7420, 20263, 3, 7120, 1543, 63,
                    38532951, 2953546, 403346, 10, 2208, 11938, 155, 4, 976, 14,
                    39979771, 25641295, 39664984, 585935, 12972, 108, 36]
        trainer:
            use_orbit: false
            validation_interval: 1000
            checkpoint_interval: 1000
            validation_steps: 500
            train_steps: 1000
            steps_per_loop: 1000
        "
   

Este treinamento é executado por aproximadamente 10 minutos em uma TPU v3-8. Quando ela for concluída, você verá mensagens semelhantes a estas:

I0621 21:32:58.519792 139675269142336 tpu_embedding_v2_utils.py:907] Done with log of TPUEmbeddingConfiguration.
I0621 21:32:58.540874 139675269142336 tpu_embedding_v2.py:389] Done initializing TPU Embedding engine.
1000/1000 [==============================] - 335s 335ms/step - auc: 0.7360 - accuracy: 0.6709 - prediction_mean: 0.4984
- label_mean: 0.4976 - loss: 0.0734 - regularization_loss: 0.0000e+00 - total_loss: 0.0734 - val_auc: 0.7403
- val_accuracy: 0.6745 - val_prediction_mean: 0.5065 - val_label_mean: 0.4976 - val_loss: 0.0749
- val_regularization_loss: 0.0000e+00 - val_total_loss: 0.0749

Model: "ranking"
_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
tpu_embedding (TPUEmbedding) multiple                  1
_________________________________________________________________
mlp (MLP)                    multiple                  154944
_________________________________________________________________
mlp_1 (MLP)                  multiple                  2131969
_________________________________________________________________
dot_interaction (DotInteract multiple                  0
_________________________________________________________________
ranking_1 (Ranking)          multiple                  0
=================================================================
Total params: 2,286,914
Trainable params: 2,286,914
Non-trainable params: 0
_________________________________________________________________
I0621 21:43:54.977140 139675269142336 train.py:177] Train history: {'auc': [0.7359596490859985],
'accuracy': [0.67094486951828], 'prediction_mean': [0.4983849823474884], 'label_mean': [0.4975697994232178],
'loss': [0.07338511198759079], 'regularization_loss': [0], 'total_loss': [0.07338511198759079],
'val_auc': [0.7402724623680115], 'val_accuracy': [0.6744520664215088], 'val_prediction_mean': [0.5064718723297119],
'val_label_mean': [0.4975748658180237], 'val_loss': [0.07486172765493393],
'val_regularization_loss': [0], 'val_total_loss': [0.07486172765493393]}

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

1. Desconecte-se da instância do Compute Engine, caso ainda não tenha feito isso:

   (vm)$ exit

   Seu comando agora deve ser username@projectname, mostrando que você é no Cloud Shell.

2. Exclua seus recursos do Cloud TPU.

   $ gcloud compute tpus tpu-vm delete dlrm-dcn-tutorial \
     --zone=europe-west4-a

3. Execute gcloud compute tpus tpu-vm list para verificar se os recursos foram excluídos. A exclusão pode levar vários minutos. A saída do comando a seguir não pode incluir nenhum dos recursos criados neste tutorial:

   $ gcloud compute tpus tpu-vm list --zone=europe-west4-a

4. Exclua o bucket do Cloud Storage usando a gcloud CLI. Substitua bucket-name pelo nome do seu bucket no Cloud Storage.

   $ gcloud storage rm gs://bucket-name --recursive

A seguir

Geralmente, os tutoriais do Cloud TPU do TensorFlow treinam o modelo usando um conjunto de dados de amostra. Os resultados desse treinamento não são utilizáveis para inferência. Para usar um modelo para inferência, é possível treinar os dados em um conjunto de dados disponível publicamente ou no seu próprio conjunto de dados. Modelos do TensorFlow treinados em Cloud TPUs geralmente exigem que os conjuntos de dados estejam TFRecord.

Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagem no formato TFRecord. Se você não estiver usando um modelo de classificação de imagem, converta manualmente o conjunto de dados para o formato TFRecord. Para mais informações, consulte TFRecord e tf.Example

Ajuste de hiperparâmetros

Para melhorar a performance do modelo com seu conjunto de dados, ajuste os hiperparâmetros. É possível encontrar informações sobre hiperparâmetros comuns a todos Modelos com suporte a TPU em GitHub. As informações sobre hiperparâmetros específicos do modelo podem ser encontradas na fonte para cada um modelo de machine learning. Para mais informações sobre o ajuste de hiperparâmetros, consulte a Visão geral do ajuste de hiperparâmetros e Ajuste e ajustar os hiperparâmetros.

Inferência

Depois de treinar seu modelo, você pode usá-lo para inferência (também chamado de previsão). Use o conversor de inferência do Cloud TPU ferramenta para preparar e otimizar Modelo do TensorFlow para inferência no Cloud TPU v5e. Para mais informações sobre inferência no Cloud TPU v5e, consulte Inferência do Cloud TPU v5e introdução.