Use a funcionalidade de comparação do console da Cloud Speech-to-Text para medir a acurácia de qualquer um dos modelos de transcrição usados na API Cloud Speech-to-Text V2.
O console da Cloud Speech-to-Text oferece comparações visuais para modelos pré-treinados e personalizados da Speech-to-Text. É possível analisar a qualidade do reconhecimento comparando as métricas de avaliação da taxa de erros de palavras (WER) entre vários modelos de transcrição para decidir qual deles se adequa melhor ao seu aplicativo.
Antes de começar
Verifique se você se inscreveu em uma conta do Google Cloud , criou um projeto, treinou um modelo de fala personalizado e o implantou usando um endpoint.
Criar um conjunto de dados de informações empíricas
Para criar um conjunto de dados personalizado de comparação, reúna amostras de áudio que reflitam com acurácia o tipo de tráfego que o modelo de transcrição vai encontrar em um ambiente de produção. O ideal é que a duração agregada desses arquivos de áudio seja de no mínimo 30 minutos e no máximo 10 horas. Para montar o conjunto de dados, você vai precisar:
- Criar um diretório no bucket do Cloud Storage de sua preferência para armazenar os arquivos de áudio e texto do conjunto de dados.
- Criar transcrições com acurácia razoável para
cada arquivo de áudio no conjunto de dados. Para cada arquivo de áudio, como
example_audio_1.wav, é preciso criar um arquivo de texto de informações empíricas correspondente (example_audio_1.txt). O serviço usa esses pareamentos de áudio e texto em um bucket do Cloud Storage para montar o conjunto de dados.
Comparação do modelo
Usando o modelo personalizado da Speech-to-Text e o conjunto de dados de comparação para avaliar a acurácia do modelo, siga o guia Medir e melhorar a acurácia.