Melhore os resultados da transcrição com a adaptação da fala

Visão geral

É possível usar o recurso adaptação de fala para ajudar a Speech-to-Text a reconhecer palavras ou frases específicas com mais frequência do que outras opções sugeridas. Por exemplo, suponha que seus dados de áudio geralmente incluem a palavra "clima". Quando a Speech-to-Text encontra a palavra "clima", você quer transcrevê-la como "clima" com mais frequência do que "lima". Nesse caso, você pode usar a adequação de fala para criar um viés e pedir para a Speech-to-Text reconhecer o termo como "clima".

A adaptação de fala é particularmente útil para os seguintes casos de uso:

• Melhorar a precisão de palavras e frases que ocorrem com frequência nos dados de áudio. Por exemplo, é possível criar um alerta para o modelo de reconhecimento para que identifique comandos de voz normalmente falados pelos usuários.

• Como expandir o vocabulário das palavras reconhecidas pela Speech-to-Text. O Speech-to-Text inclui um vocabulário muito extenso. No entanto, se os dados de áudio costumam conter palavras raras no uso geral do idioma, como nomes próprios ou palavras específicas de uma área, é possível adicioná-las usando a adaptação de fala.

• Como melhorar a precisão da transcrição de fala quando o áudio fornecido tiver ruídos ou não for muito claro.

Opcionalmente, é possível ajustar a polarização do modelo de reconhecimento usando o recurso de otimização de adaptação de fala (Beta).

Como melhorar o reconhecimento de palavras específicas

Para aumentar a probabilidade da Speech-to-Text reconhecer a palavra "clima" ao transcrever seus dados de áudio, insira "clima" no campo phrases de um objeto SpeechContext. Atribua um objeto SpeechContext ao campo speechContexts do objeto RecognitionConfig na solicitação para a API Speech-to-Text.

O snippet a seguir mostra parte de um payload JSON enviado à API Speech-to-Text. O snippet JSON fornece a palavra "clima" para adaptação de fala.

"config": {
    "encoding":"LINEAR16",
    "sampleRateHertz": 8000,
    "languageCode":"en-US",
    "speechContexts": [{
      "phrases": ["weather"]
    }]
}

Melhorar o reconhecimento de frases com várias palavras

Quando você fornece uma frase com várias palavras, a Speech-to-Text tem mais chances de reconhecer essas palavras na sequência. Fornecer uma frase também aumenta a probabilidade de reconhecimento de partes da frase, incluindo palavras individuais. Consulte a página limites de conteúdo para limites sobre o número e o tamanho dessas frases.

O snippet a seguir mostra parte de um payload JSON enviado à API Speech-to-Text. O snippet JSON inclui uma matriz de frases com várias palavras atribuída ao campo phrases de um objeto SpeechContext.

"config": {
    "encoding":"LINEAR16",
    "sampleRateHertz": 8000,
    "languageCode":"en-US",
    "speechContexts": [{
      "phrases": ["weather is hot", "weather is cold"]
    }]
}

Como melhorar o reconhecimento usando classes

As classes representam conceitos comuns que ocorrem naturalmente no idioma, como moedas e datas. Uma classe permite melhorar a precisão da transcrição para grandes grupos de palavras que mapeiam um conceito comum, mas que nem sempre incluem palavras ou frases idênticas.

Por exemplo, suponha que seus dados de áudio incluem gravações de pessoas dizendo o próprio endereço. Você pode ter uma gravação de áudio de alguém dizendo "Minha casa fica na Avenida Central, 123, quarta casa à esquerda". Nesse caso, você quer que a Speech-to-Text reconheça a primeira sequência de números ("123") como um endereço, em vez de um número ordinal ("cento e vinte e três"). No entanto, nem todas as pessoas moram na "Avenida Central, 123". Não é muito prático listar todos os endereços possíveis em um objeto SpeechContext. Em vez disso, é possível usar uma classe para indicar que um número de rua deve ser reconhecido independentemente do número. Neste exemplo, a Speech-to-Text pode transcrever frases com mais precisão, como "Avenida Central, 123" e "Avenida Beira-Mar, 987", já que ambos são reconhecidos como números de endereço.

Tokens de classe

Para usar uma classe na adaptação de fala, inclua um token de classe no campo phrases do objeto SpeechContext. Consulte a lista de tokens de classe compatíveis para ver quais tokens estão disponíveis para seu idioma. Por exemplo, para melhorar a transcrição de números de endereço de um áudio de origem, forneça o valor $ADDRESSNUM no objeto SpeechContext.

É possível usar classes como itens independentes na matriz phrases ou incorporar um ou mais tokens de classe em frases mais longas com várias palavras. Por exemplo, é possível indicar um número de endereço em uma frase maior incluindo o token de classe em uma string: ["my address is $ADDRESSNUM"]. No entanto, essa frase não ajudará em casos em que o áudio contém uma frase semelhante, mas não idêntica, como "Estou na Avenida Principal, 123". Para ajudar no reconhecimento de frases semelhantes, é importante incluir o token de classe sozinho: ["my address is $ADDRESSNUM", "$ADDRESSNUM"]. Se você usar um token de classe inválido ou malformado, a Speech-to-Text ignora o token sem mostrar um erro e ainda usa o restante da frase como contexto.

O snippet a seguir mostra um exemplo de um payload JSON enviado para a API Speech-to-Text. O snippet JSON inclui um objeto SpeechContext que usa um token de classe.

  "config": {
    "encoding":"LINEAR16",
    "sampleRateHertz": 8000,
    "languageCode":"en-US",
    "speechContexts": [{
      "phrases": ["$ADDRESSNUM"]
     }]
  }

Observação: a disponibilidade de classe varia de acordo com o modelo de transcrição e o idioma.

Ajustar os resultados da transcrição usando a otimização (Beta)

Observação: a otimização da adaptação de fala é um recurso Beta e é coberta pelos Termos de ofertas pré-GA dos Termos de Serviço do Google Cloud Platform. Os recursos antes da disponibilização geral podem ter suporte limitado, e as alterações nesses recursos podem não ser compatíveis com outras versões anteriores. Para mais informações, consulte as descrições da fase de lançamento.

Por padrão, a adaptação de fala fornece um efeito relativamente pequeno, especialmente para frases com uma palavra. O recurso de otimização da adaptação de fala permite aumentar o viés do modelo de reconhecimento atribuindo mais peso a algumas frases do que a outras. Recomendamos que você implemente o aumento se 1) você já tiver implementado a adaptação de fala e 2) quiser ajustar a força dos efeitos da adaptação de fala nos resultados da transcrição. Para ver se o recurso de otimização está disponível para seu idioma, consulte a página de suporte a idiomas.

Por exemplo, você tem muitas gravações de pessoas perguntando sobre "a seção de espera para participar da sessão", com a palavra" "sessão" ocorrendo com mais frequência do que "seção". Nesse caso, você pode usar a adaptação de fala para aumentar a probabilidade do modelo reconhecer "sessão" e "seção" adicionando-as como frases em um objeto SpeechContext. Isso informará à Speech-to-Text para reconhecer "sessão" e "seção" com mais frequência do que, por exemplo, "secção".

No entanto, "sessão" deve ser reconhecida com mais frequência do que" "seção" devido ao fato de aparecerem com mais frequência no áudio. Talvez você já tenha transcrito seu áudio usando a API Speech-to-Text e encontrou um grande número de erros reconhecendo a palavra correta ("sessão"). Nesse caso, convém usar o recurso boost para atribuir um valor de aumento maior para "sessão" que "seção". O valor ponderado mais alto atribuído à "sessão" direciona a API Speech-to-Text para escolher "sessão" com mais frequência do que "seção". Sem os valores de otimização, o modelo de reconhecimento reconhecerá "seção" e "seção" com a mesma probabilidade.

Noções básicas sobre o Google Boost

Ao usar a otimização, atribua um valor ponderado a phrases itens em um objeto SpeechContext. A Speech-to-Text consulta esse valor ponderado ao selecionar uma possível transcrição para palavras nos seus dados de áudio. Quanto maior o valor, maior será a probabilidade da Speech-to-Text escolher essa palavra ou frase entre as possíveis alternativas.

Se você atribuir um valor de otimização a uma frase com várias palavras, a otimização será aplicada à frase inteira e apenas a toda. Por exemplo, você quer atribuir um valor de aumento à frase "Minha exposição favorita no Museu de História Natural dos Estados Unidos é a baleia-azul". Se você adicionar essa frase a um objeto SpeechContext e atribuir um valor de aumento, é mais provável que o modelo de reconhecimento reconheça essa frase inteira em cada palavra.

Se você não encontrar os resultados que está procurando ao promover uma frase com várias palavras, sugerimos que você adicione todas as frases, como duas palavras, em ordem, que compõem a frase como adicional. phrases itens e atribuir valores de otimização para cada um. Continuando com o exemplo acima, você poderia investigar a adição de bigramas e endgramas adicionais (mais de 2 palavras), como "minha favorita", "minha exposição favorita", "exposição favorita", "minha exposição favorita". no American Museum of Natural History, "American Museum of Natural History", "blue rain" e assim por diante. O modelo de reconhecimento de STT tem mais chances de reconhecer frases relacionadas no áudio que contêm partes da frase original aprimorada, mas não têm correspondência entre palavras.

Como definir valores de otimização

Os valores de otimização precisam ser um valor flutuante maior que 0. O limite máximo prático para valores de otimização é 20. Para melhores resultados, teste seus resultados de transcrição ajustando os valores de otimização para cima ou para baixo até conseguir resultados de transcrição precisos.

Valores de otimização maiores podem resultar em menos falsos negativos, que são casos em que a palavra ou frase ocorreu no áudio, mas não foi reconhecida corretamente pela Speech-to-Text. No entanto, a otimização também pode aumentar a probabilidade de falsos positivos. Ou seja, casos em que a palavra ou frase aparece na transcrição, mesmo que não tenha ocorrido no áudio.

Exemplo de otimização de adaptação de fala

Para definir valores de aumento diferentes para "sessão" e "seção" na solicitação de transcrição de fala, defina dois objetos SpeechContext para a matriz speechContexts do objeto RecognitionConfig. Defina um valor boost como um valor flutuante não negativo para cada objeto SpeechContext, um contendo “sessão” e o outro contendo “seção”.

O snippet a seguir mostra um exemplo de um payload JSON enviado para a API Speech-to-Text. O snippet JSON inclui um objeto RecognitionConfig que usa valores de otimização para ponderar as palavras "sessão" e "seção" de maneira diferente.

"config": {
    "encoding":"LINEAR16",
    "sampleRateHertz": 8000,
    "languageCode":"en-US",
    "speechContexts": [{
      "phrases": ["fair"],
      "boost": 15
     }, {
      "phrases": ["fare"],
      "boost": 2
     }]
  }

A seguir

• Saiba como usar o adaptador de fala em uma solicitação da Speech-to-Text.
• Saiba como usar a otimização do adaptador de fala para ajustar os resultados de adaptações de fala.
• Revise a lista de tokens de classe compatíveis