Como executar o modelo de reconhecimento automático de fala (ASR)

Neste tutorial, você verá como treinar um modelo de reconhecimento automático de fala (ASR, na sigla em inglês) usando o conjunto de dados docorpus Librispeech ASR disponível publicamente com o Tensor2Tensor em uma Cloud TPU (links em inglês).

O modelo de reconhecimento automático de fala é apenas um dos modelos da biblioteca Tensor2Tensor. Tensor2Tensor ( T2T ) é uma biblioteca de modelos de aprendizado profundo e conjuntos de dados, além de um conjunto de scripts que permite treinar os modelos, fazer o download e preparar os dados. Com esse modelo, é feita a conversão de fala para texto.

Objetivos

  • Criar um bucket do Cloud Storage para armazenar o conjunto de dados e a saída do modelo.
  • Faça o download e prepare o conjunto de dados da biblioteca Tensor2Tensor.
  • Executar o job de treinamento.
  • Verificar os resultados da saída.

Custos

Neste tutorial, há componentes faturáveis do Google Cloud, entre eles:

  • Compute Engine
  • Cloud TPU
  • Cloud Storage

Use a calculadora de preços para gerar uma estimativa de custos baseada na projeção de uso. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Antes de começar

Antes de começar o tutorial, verifique se o projeto do Google Cloud foi configurado corretamente.

  1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
  2. No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  3. Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.

  4. Este tutorial usa componentes faturáveis do Google Cloud. Consulte a página de preços da Cloud TPU para fazer uma estimativa dos custos. Para evitar cobranças desnecessárias, não se esqueça de apagar os recursos criados ao terminar de usá-los.

Configurar os recursos

Nesta seção, fornecemos informações sobre como configurar recursos do bucket do Cloud Storage, da VM e da Cloud TPU para tutoriais.

  1. Abra uma janela do Cloud Shell.

    Abrir o Cloud Shell

  2. Crie uma variável para o ID do seu projeto.

    export PROJECT_ID=project-id
    
  3. Configure a ferramenta de linha de comando gcloud para usar o projeto em que a Cloud TPU será criada.

    gcloud config set project ${PROJECT_ID}
    

    Na primeira vez que você executar esse comando em uma nova VM do Cloud Shell, será exibida uma página Authorize Cloud Shell. Clique em Authorize na parte inferior da página para permitir que gcloud faça chamadas de API do GCP com suas credenciais.

  4. Crie uma conta de serviço para o projeto da Cloud TPU.

    gcloud beta services identity create --service tpu.googleapis.com --project $PROJECT_ID
    

    O comando retorna uma conta de serviço do Cloud TPU com o formato a seguir:

    service-PROJECT_NUMBER@cloud-tpu.iam.gserviceaccount.com
    

  5. Crie um bucket do Cloud Storage usando o seguinte comando:

    gsutil mb -p ${PROJECT_ID} -c standard -l europe-west4 -b on gs://bucket-name
    

    Esse bucket do Cloud Storage armazena os dados usados para treinar o modelo e os resultados do treinamento. A ferramenta gcloud usada neste tutorial configura permissões padrão para a conta de serviço da Cloud TPU. Caso queira permissões mais específicas, consulte as permissões de nível de acesso.

    O local do bucket precisa estar na mesma região da máquina virtual (VM) e do nó da TPU. As VMs e os nós da TPU estão localizados em zonas específicas, que são subdivisões dentro de uma região.

  6. Inicie os recursos do Compute Engine e da Cloud TPU necessários usando o comando "gcloud compute tpus execution-groups".

    $ gcloud compute tpus execution-groups create \
     --name=auto-speech-recog-tutorial \
     --zone=europe-west4-a \
     --tf-version=1.15.5 \
     --machine-type=n1-standard-8 \
     --disk-size=600 \
     --accelerator-type=v3-8
    

    Descrições de sinalizações de comando

    name
    O nome da Cloud TPU a ser criada.
    zone
    A zona em que você planeja criar a Cloud TPU.
    tf-version
    A versão do gcloud do Tensorflow é instalada na VM.
    machine-type
    O tipo de máquina da VM do Compute Engine a ser criado.
    disk-size-gb
    O tamanho do disco rígido em GB da VM criada pelo comando gcloud .
    accelerator-type
    O tipo da Cloud TPU a ser criada.

    Para mais informações sobre o comando gcloud, consulte a referência da gcloud.

  7. A configuração especificada aparecerá. Digite y para aprovar ou n para cancelar.

    Quando o comando gcloud terminar a execução, verifique se o prompt do shell foi alterado de username@project para username@vm-name. Essa alteração mostra que você fez login na VM do Compute Engine.

    gcloud compute ssh auto-speech-recog-tutorial --zone=europe-west4-a
    

Daqui em diante, o prefixo (vm)$ significa que é preciso executar o comando na instância de VM do Compute Engine.

  1. Crie as seguintes variáveis de ambiente para diretórios:

    (vm)$ STORAGE_BUCKET=gs://bucket-name
    
    (vm)$ TPU_NAME=auto-speech-recog-tutorial
    (vm)$ DATA_DIR=$STORAGE_BUCKET/data/
    (vm)$ OUT_DIR=$STORAGE_BUCKET/output
    (vm)$ export TMP_DIR=~/tmp
    

Gerar os conjuntos de dados de treinamento e avaliação

Por questões práticas, o T2T empacota a geração de dados de muitos conjuntos comuns de código aberto no script t2t-datagen. O script faz o download dos dados, os pré-processa e os prepara para o treinamento.

Na VM do Compute Engine:

  1. Use o script t2t-datagen (em inglês) para gerar o conjunto de dados completo e a versão reduzida limpa a ser usada para avaliação.

    A importação de áudio em t2t-datagen usa sox para gerar formas de onda normalizadas. Instale-o na VM do Compute Engine e execute os comandos t2t-datagen a seguir.

    (vm)$  sudo apt-get install sox
    (vm)$  t2t-datagen --problem=librispeech --data_dir=$DATA_DIR --tmp_dir=$TMP_DIR
    (vm)$  t2t-datagen --problem=librispeech_clean --data_dir=$DATA_DIR --tmp_dir=$TMP_DIR

O problema librispeech_train_full_test_clean é treinado no conjunto de dados completo, mas é avaliado no conjunto de dados limpo.

Também é possível usar librispeech_clean_small, que é uma versão menor do conjunto de dados limpo.

Para ver os dados no Cloud Storage, acesse o Console do Google Cloud e escolha Armazenamento no menu à esquerda. Clique no nome do bucket que você criou para este tutorial.

Como treinar o modelo

Para treinar um modelo no Cloud TPU, execute o treinador com lotes grandes e sequências truncadas:

(vm)$ t2t-trainer \
  --model=transformer \
  --hparams_set=transformer_librispeech_tpu \
  --problem=librispeech_train_full_test_clean \
  --train_steps=210000 \
  --eval_steps=3 \
  --local_eval_frequency=100 \
  --data_dir=$DATA_DIR \
  --output_dir=$OUT_DIR \
  --use_tpu \
  --cloud_tpu_name=$TPU_NAME

Após esse passo, execute o treinamento mais uma vez para conseguir mais passos com tamanho de lote menor e sequências completas: O treinamento leva aproximadamente 11 horas em um nó de TPU v3-8.

(vm)$ t2t-trainer \
  --model=transformer \
  --hparams_set=transformer_librispeech_tpu \
  --hparams=max_length=295650,max_input_seq_length=3650,max_target_seq_length=650,batch_size=6 \
  --problem=librispeech_train_full_test_clean \
  --train_steps=230000 \
  --eval_steps=3 \
  --local_eval_frequency=100 \
  --data_dir=$DATA_DIR \
  --output_dir=$OUT_DIR \
  --use_tpu \
  --cloud_tpu_name=$TPU_NAME

Limpeza

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

  1. Encerre a conexão com a VM do Compute Engine:

    (vm)$ exit
    

    Agora, o prompt será user@projectname, mostrando que você está no Cloud Shell.

  2. No Cloud Shell, use o comando gcloud compute tpus execution-groups mostrado abaixo para excluir a VM do Compute Engine e a Cloud TPU.

    $ gcloud compute tpus execution-groups delete auto-speech-recog-tutorial \
      --zone=europe-west4-a
    
  3. Execute gcloud compute tpus execution-groups list para verificar se os recursos foram excluídos. A exclusão pode levar vários minutos. Uma resposta como esta indica que suas instâncias foram excluídas com sucesso.

    $ gcloud compute tpus execution-groups list \
      --zone=europe-west4-a
    
       NAME             STATUS
    
  4. Exclua o bucket do Cloud Storage usando gsutil, conforme mostrado abaixo. Substitua bucket-name pelo nome do bucket no Cloud Storage.

    $ gsutil rm -r gs://bucket-name
    

A seguir

Neste tutorial, você treinou o modelo de reconhecimento de fala automatizado usando um conjunto de dados de amostra. Os resultados deste treinamento (na maioria dos casos) não podem ser usados para inferência. Para usar um modelo para inferência, é possível treinar os dados em um conjunto de dados disponível publicamente ou no seu próprio conjunto de dados. Os modelos treinados nas Cloud TPUs exigem que os conjuntos de dados estejam no formato TFRecord.

Use a amostra da ferramenta de conversão de conjunto de dados para converter um conjunto de dados de classificação de imagem no formato TFRecord. Se você não estiver usando um modelo de classificação de imagem, converta manualmente o conjunto de dados para o TFRecord. Para mais informações, consulte TFRecord e tf.Example

Ajuste de hiperparâmetros

Para melhorar o desempenho do modelo com o conjunto de dados, é possível ajustar os hiperparâmetros. Encontre informações sobre hiperparâmetros comuns a todos os modelos compatíveis com a TPU no GitHub. As informações sobre hiperparâmetros específicos do modelo podem ser encontradas no código-fonte de cada modelo. Para mais informações sobre o ajuste de hiperparâmetros, consulte Visão geral do ajuste de hiperparâmetros, Como usar o serviço de ajuste de hiperparâmetros e Ajustar hiperparâmetros.

Inferência

Depois de treinar o modelo, é possível usá-lo para inferência (também chamada de previsão). O AI Platform é uma solução baseada em nuvem para desenvolver, treinar e implantar modelos de machine learning. Depois que um modelo é implantado, use o serviço do AI Platform Prediction.