Como treinar DLRM e DCN na Cloud TPU (TF 2.x)

Este tutorial mostra como treinar modelos de classificação DLRM e DCN v2 que podem ser usados para tarefas como previsão de taxa de cliques (CTR, na sigla em inglês). Consulte a observação em Configurar para executar o modelo DLRM ou DCN para ver como definir parâmetros para treinar um modelo de DLRM ou DCN v2.

As entradas do modelo são atributos numéricos e categóricos e a saída é um escalar (por exemplo, probabilidade de clique). O modelo pode ser treinado e avaliado na Cloud TPU. Os modelos de classificação profunda exigem muita memória (para incorporar tabelas/buscas) e muita computação para redes profundas (MLPs). TPUs são projetadas para ambos.

O modelo usa uma camada de TPU de incorporação para recursos categóricos. A incorporação de TPU é compatível com grandes tabelas de incorporação com pesquisa rápida, e o tamanho das tabelas de incorporação é escalonado linearmente com o tamanho de um pod de TPU. Até 90 GB de tabelas de incorporação podem ser usadas para o TPU v3-8, 5.6 TB para um pod v3-512 e 22.4 TB para um pod TPU v3-2048.

O código do modelo está na biblioteca do TensorFlow Recommenders, enquanto o pipeline de entrada, a configuração e o loop de treinamento são descritos no TensorFlow Model Garden.

Objetivos

  • Configurar o ambiente de treinamento
  • Executar o job de treinamento usando dados sintéticos
  • Verificar os resultados da saída

Custos

Neste tutorial, há componentes faturáveis do Google Cloud, entre eles:

  • Compute Engine
  • Cloud TPU
  • Cloud Storage

Use a calculadora de preços para gerar uma estimativa de custos baseada na projeção de uso. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Antes de começar o tutorial, verifique se o projeto do Google Cloud foi configurado corretamente.

  1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
  2. No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  3. Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.

  4. No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  5. Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.

  6. Este tutorial usa componentes faturáveis do Google Cloud. Consulte a página de preços da Cloud TPU para fazer uma estimativa dos custos. Para evitar cobranças desnecessárias, não se esqueça de apagar os recursos criados ao terminar de usá-los.

Configurar os recursos

Nesta seção, você verá informações sobre como configurar recursos de bucket, VM e VM do Cloud Storage usados por este tutorial.

  1. Abra uma janela do Cloud Shell.

    Abrir o Cloud Shell

  2. Crie uma variável para o ID do seu projeto.

    export PROJECT_ID=project-id
    
  3. Configure a ferramenta de linha de comando gcloud para usar o projeto em que a Cloud TPU será criada.

    gcloud config set project ${PROJECT_ID}
    

    Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página Authorize Cloud Shell. Clique em Authorize na parte inferior da página para permitir que gcloud faça chamadas de API do GCP com suas credenciais.

  4. Crie uma conta de serviço para o projeto da Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Crie um bucket do Cloud Storage usando o comando a seguir, em que a opção -l especifica a região em que o bucket deve ser criado. Consulte os tipos e zonas para mais detalhes sobre zonas e regiões:

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 gs://bucket-name
    

    Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. A ferramenta gcloud compute tpus execution-groups usada neste tutorial configura permissões padrão para a conta de serviço do Cloud TPU configurada na etapa anterior. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

    O local do bucket precisa estar na mesma região que o Compute Engine (VM) e o nó da Cloud TPU.

  6. Use o comando gcloud para iniciar uma VM do Compute Engine e a Cloud TPU.

    $ gcloud compute tpus execution-groups create \
     --vm-only \
     --name=dlrm-dcn-tutorial \
     --zone=zone \
     --disk-size=300 \
     --machine-type=n1-standard-8 \
     --tf-version=2.6.0
    

    Descrições de sinalizações de comando

    vm-only
    Crie somente uma VM. Por padrão, o comando gcloud compute tpus execution-groups cria uma VM e uma Cloud TPU.
    name
    O nome da Cloud TPU a ser criada.
    zone
    A zona em que você planeja criar a Cloud TPU.
    disk-size
    O tamanho do disco rígido em GB da VM criada pelo comando gcloud compute tpus execution-groups .
    machine-type
    O tipo de máquina da VM do Compute Engine a ser criado.
    tf-version
    A versão do ctpu do Tensorflow é instalada na VM.

    Quando o comando gcloud compute tpus execution-groups terminar a execução, verifique se o prompt do shell foi alterado de username@projectname para username@vm-name. Essa alteração mostra que você fez login na VM do Compute Engine.

    Se você não estiver conectado à instância do Compute Engine, execute o comando a seguir:

    gcloud compute ssh dlrm-dcn-tutorial --zone=zone
    

    Ao continuar essas instruções, execute cada comando que começa com (vm)$ na instância do Compute Engine.

Definir variáveis de bucket do Cloud Storage

Configure as seguintes variáveis de ambiente, substituindo bucket-name pelo nome do bucket do Cloud Storage:

(vm)$ export STORAGE_BUCKET=gs://bucket-name
(vm)$ export TPU_NAME=dlrm-dcn-tutorial
(vm)$ export PYTHONPATH="$PYTHONPATH:/usr/share/models/"
(vm)$ export EXPERIMENT_NAME=dlrm-exp

O aplicativo de treinamento precisa que os dados de treinamento sejam acessíveis no Cloud Storage. Ele também usa o bucket do Cloud Storage para armazenar checkpoints durante o treinamento.

Configuração para executar o modelo DLRM ou DCN com dados sintéticos

O modelo pode ser treinado em vários conjuntos de dados. Dois comumente usados são o Criteo Terabyte e o Criteo Kaggle. Este tutorial treina sobre dados sintéticos definindo a sinalização use_synthetic_data=True.

O conjunto de dados sintéticos é útil apenas para entender como usar um Cloud TPU e validar o desempenho de ponta a ponta. Os números de acurácia e o modelo salvo não são importantes.

Acesse os sites Criteo Terabyte e Criteo Kaggle (em inglês) para informações sobre como fazer o download e pré-processar esses conjuntos de dados.

  1. Inicie um recurso do Cloud TPU usando o comando gcloud.

    (vm)$ gcloud compute tpus execution-groups create \
     --tpu-only \
     --accelerator-type=v3-8  \
     --name=dlrm-dcn-tutorial \
     --zone=zone \
     --tf-version=2.6.0
    

    Descrições de sinalizações de comando

    tpu-only
    Cria a Cloud TPU sem criar uma VM. Por padrão, o comando gcloud compute tpus execution-groups cria uma VM e uma Cloud TPU.
    accelerator-type
    O tipo da Cloud TPU a ser criada.
    name
    O nome da Cloud TPU a ser criada.
    zone
    A zona em que você planeja criar a Cloud TPU.
    tf-version
    A versão do Tensorflow gcloud é instalada na VM.
  2. Instale um pacote necessário.

    (vm)$ pip install tensorflow-recommenders
    
  3. Execute o script de treinamento. Ele usa um conjunto de dados falso semelhante ao Criteo para treinar o modelo DLRM. O treinamento leva aproximadamente 20 minutos.

python3 /usr/share/models/official/recommendation/ranking/train.py --mode=train_and_eval \
--model_dir=${STORAGE_BUCKET}/model_dirs/${EXPERIMENT_NAME} --params_override="
runtime:
    distribution_strategy: 'tpu'
task:
    use_synthetic_data: true
    train_data:
        input_path: '${DATA_DIR}/train/*'
        global_batch_size: 16384
    validation_data:
        input_path: '${DATA_DIR}/eval/*'
        global_batch_size: 16384
    model:
        num_dense_features: 13
        bottom_mlp: [512,256,64]
        embedding_dim: 64
        top_mlp: [1024,1024,512,256,1]
        interaction: 'dot'
        vocab_sizes: [39884406, 39043, 17289, 7420, 20263, 3, 7120, 1543, 63,
            38532951, 2953546, 403346, 10, 2208, 11938, 155, 4, 976, 14,
            39979771, 25641295, 39664984, 585935, 12972, 108, 36]
trainer:
    use_orbit: false
    validation_interval: 1000
    checkpoint_interval: 1000
    validation_steps: 500
    train_steps: 1000
    steps_per_loop: 1000
"

Descrições de sinalizações de comando

use_orbit
Usar a biblioteca orbit para treinamento ou APIs de compilação/fit keras.
train_steps
O número de etapas usadas para treinar o modelo.
validation_steps
O número de etapas usadas para executar a avaliação.
validation_interval
O número de etapas de treinamento a serem executadas entre avaliações precisa ser <= train_step.
steps_per_loop
O número de etapas por loop no modo de gráfico. Isso reduz a comunicação no contexto imediato.

Este treinamento é executado por aproximadamente 10 minutos em uma TPU v3-8. Quando ela for concluída, você verá mensagens semelhantes a estas:

I0621 21:32:58.519792 139675269142336 tpu_embedding_v2_utils.py:907] Done with log of TPUEmbeddingConfiguration.
I0621 21:32:58.540874 139675269142336 tpu_embedding_v2.py:389] Done initializing TPU Embedding engine.
1000/1000 [==============================] - 335s 335ms/step - auc: 0.7360 - accuracy: 0.6709 - prediction_mean: 0.4984
- label_mean: 0.4976 - loss: 0.0734 - regularization_loss: 0.0000e+00 - total_loss: 0.0734 - val_auc: 0.7403
- val_accuracy: 0.6745 - val_prediction_mean: 0.5065 - val_label_mean: 0.4976 - val_loss: 0.0749
- val_regularization_loss: 0.0000e+00 - val_total_loss: 0.0749

Model: "ranking"
_________________________________________________________________
Layer (type)                 Output Shape              Param #
=================================================================
tpu_embedding (TPUEmbedding) multiple                  1
_________________________________________________________________
mlp (MLP)                    multiple                  154944
_________________________________________________________________
mlp_1 (MLP)                  multiple                  2131969
_________________________________________________________________
dot_interaction (DotInteract multiple                  0
_________________________________________________________________
ranking_1 (Ranking)          multiple                  0
=================================================================
Total params: 2,286,914
Trainable params: 2,286,914
Non-trainable params: 0
_________________________________________________________________
I0621 21:43:54.977140 139675269142336 train.py:177] Train history: {'auc': [0.7359596490859985],
'accuracy': [0.67094486951828], 'prediction_mean': [0.4983849823474884], 'label_mean': [0.4975697994232178],
'loss': [0.07338511198759079], 'regularization_loss': [0], 'total_loss': [0.07338511198759079],
'val_auc': [0.7402724623680115], 'val_accuracy': [0.6744520664215088], 'val_prediction_mean': [0.5064718723297119],
'val_label_mean': [0.4975748658180237], 'val_loss': [0.07486172765493393],
'val_regularization_loss': [0], 'val_total_loss': [0.07486172765493393]}

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

  1. Desconecte-se da instância do Compute Engine, caso ainda não tenha feito isso:

    (vm)$ exit
    

    Agora, o prompt será username@projectname, mostrando que você está no Cloud Shell.

  2. No Cloud Shell, use o seguinte comando para excluir a VM do Compute Engine e o Cloud TPU:

    $ gcloud compute tpus execution-groups delete dlrm-dcn-tutorial \
      --zone=zone
    
  3. Execute gcloud compute tpus execution-groups list para verificar se os recursos foram excluídos. A exclusão pode levar vários minutos. Uma resposta como esta indica que suas instâncias foram excluídas com sucesso.

    $ gcloud compute tpus execution-groups list \
     --zone=zone
    

    Você verá uma lista vazia de TPUs como a seguinte:

       NAME             STATUS
    
  4. Exclua o bucket do Cloud Storage usando gsutil, conforme mostrado abaixo. Substitua bucket-name pelo nome do bucket no Cloud Storage.

    $ gsutil rm -r gs://bucket-name
    

A seguir

Neste tutorial, você treinou o modelo DLRM-DCN usando um conjunto de dados de amostra. Os resultados deste treinamento (na maioria dos casos) não podem ser usados para inferência. Para usar um modelo para inferência, é possível treinar os dados em um conjunto de dados disponível publicamente ou no seu próprio conjunto de dados. Os modelos treinados nas Cloud TPUs exigem que os conjuntos de dados estejam no formato TFRecord.

Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagem no formato TFRecord. Se você não estiver usando um modelo de classificação de imagem, converta manualmente o conjunto de dados para o TFRecord. Para mais informações, consulte TFRecord e tf.Example (link em inglês).

Ajuste de hiperparâmetros

Para melhorar o desempenho do modelo com o conjunto de dados, é possível ajustar os hiperparâmetros. Encontre informações sobre hiperparâmetros comuns a todos os modelos compatíveis com a TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo podem ser encontradas no código-fonte de cada modelo. Para mais informações sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros, Como usar o serviço de ajuste de hiperparâmetros e Ajustar hiperparâmetros.

Inferência

Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). O AI Platform é uma solução baseada em nuvem para desenvolver, treinar e implantar modelos de machine learning. Depois que um modelo é implantado, use o serviço do AI Platform Prediction.