Visão geral
É possível usar o recurso adaptação do modelo para ajudar o Speech-to-Text a reconhecer palavras ou frases específicas com mais frequência do que outras opções sugeridas. Por exemplo, suponha que os dados de áudio geralmente incluam a palavra "clima". Quando o Speech-to-Text encontra a palavra "clima", você quer transcrevê-la como "clima" com mais frequência do que "lima". Nesse caso, você pode usar a adequação do modelo para criar um viés e pedir para a Speech-to-Text reconhecer o termo como "clima".
A adaptação do modelo é particularmente útil nos seguintes casos de uso:
Melhorar a precisão de palavras e frases que ocorrem com frequência nos dados de áudio. Por exemplo, é possível criar um alerta para o modelo de reconhecimento para que identifique comandos de voz normalmente falados pelos usuários.
Como expandir o vocabulário das palavras reconhecidas pela Speech-to-Text. O Speech-to-Text inclui um vocabulário muito extenso. No entanto, se os dados de áudio costumam conter palavras raras no uso geral do idioma, como nomes próprios ou palavras específicas de uma área, é possível adicioná-las usando a adaptação do modelo.
Como melhorar a precisão da transcrição de fala quando o áudio fornecido tiver ruídos ou não for muito claro.
Opcionalmente, é possível ajustar a polarização do modelo de reconhecimento usando o recurso de otimização de adaptação de modelos.
Melhorar o reconhecimento de palavras e frases
Para aumentar a probabilidade da Speech-to-Text reconhecer a palavra "clima" ao transcrever seus dados de áudio, passe a única palavra "clima" no campo PhraseSet
objeto em um recurso SpeechAdaptation.
Quando você fornece uma frase com várias palavras, a Speech-to-Text tem mais chances de reconhecer essas palavras na sequência. Fornecer uma frase também aumenta a probabilidade de reconhecimento de partes da frase, incluindo palavras individuais. Consulte a página limites de conteúdo para ver os limites de número e tamanho dessas frases.
Como melhorar o reconhecimento usando classes
As classes representam conceitos comuns que ocorrem naturalmente no idioma, como moedas e datas. Uma classe ajuda você a melhorar a precisão da transcrição para grandes grupos de palavras que mapeiam um conceito comum, mas que nem sempre incluem palavras ou frases idênticas.
Por exemplo, suponha que seus dados de áudio incluem gravações de pessoas dizendo o próprio endereço. Você pode ter uma gravação de áudio de alguém dizendo "Minha casa fica na Avenida Central, 123, quarta casa à esquerda". Nesse caso, você quer que a Speech-to-Text reconheça a primeira sequência de números ("123") como um endereço, em vez de um número ordinal ("cento e vinte e três"). No entanto, nem todas as pessoas moram na "Avenida Central, 123". Não é muito prático listar todos os endereços possíveis em um recurso PhraseSet
. Em vez disso, é possível usar uma classe para indicar que um número de rua deve ser reconhecido independentemente do número. Neste exemplo, a Speech-to-Text pode transcrever frases com mais precisão, como "Avenida Central, 123" e "Avenida Beira-Mar, 987", já que ambos são reconhecidos como números de endereço.
Tokens de classe
Para usar uma classe na adaptação do modelo, inclua um token de classe no campo phrases
de um recurso PhraseSet
. Consulte a lista de tokens de classe compatíveis para ver quais tokens estão disponíveis para seu idioma. Por exemplo, para
melhorar a transcrição de números de endereço do áudio de origem, forneça o
valor $ADDRESSNUM
em uma frase em um PhraseSet.
É possível usar classes como itens independentes na matriz phrases
ou incorporar um ou mais tokens de classe em frases mais longas com várias palavras. Por exemplo, é possível indicar um número de endereço em uma frase maior incluindo o token de classe em uma string: ["my address is $ADDRESSNUM"]
. No entanto, essa frase não ajudará em casos em que o áudio contém uma frase semelhante, mas não idêntica, como "Estou na Avenida Principal, 123". Para ajudar no reconhecimento de frases semelhantes, é importante incluir o token de classe sozinho: ["my address is $ADDRESSNUM", "$ADDRESSNUM"]
. Se você usar um token de classe inválido ou malformado, o Speech-to-Text ignora o token sem mostrar um erro e ainda usa o restante da frase como contexto.
Classes personalizadas
Você também pode criar seu próprio CustomClass
, uma classe composta pela sua própria lista personalizada de itens ou valores relacionados. Por exemplo, você quer transcrever dados de áudio que provavelmente incluem o nome de qualquer um dos vários restaurantes regionais. Os nomes dos restaurantes são relativamente raros na fala geral e, portanto, são menos propensos a serem escolhidos como a resposta "correta" pelo modelo de reconhecimento. Você pode polarizar o modelo de reconhecimento para identificar corretamente esses nomes quando eles aparecerem no áudio usando uma classe personalizada.
Para usar uma classe personalizada, crie um recurso CustomClass
que inclua cada nome de restaurante como um ClassItem
. As classes personalizadas
funcionam da mesma forma que os
tokens de classe pré-criados. Um phrase
pode
incluir tokens de classe pré-criados e classes personalizadas.
Ajustar os resultados da transcrição usando a otimização
Por padrão, a adaptação do modelo fornece um efeito relativamente pequeno, especialmente para frases com uma palavra. O recurso de otimização da adaptação do modelo permite aumentar o viés do modelo de reconhecimento atribuindo mais peso a algumas frases do que a outras. Recomendamos que você implemente a otimização se todas as condições a seguir forem verdadeiras:
- Você já implementou a adaptação do modelo.
- Você quer ajustar ainda mais a intensidade dos efeitos de adaptação do modelo nos resultados da transcrição. Para verificar se o recurso de otimização está disponível no seu idioma, consulte a página de suporte a idiomas.
Por exemplo, você tem muitas gravações de pessoas perguntando sobre "a seção de espera para participar da sessão", com a palavra" "sessão" ocorrendo com mais frequência do que "seção". Nesse caso, você pode usar a adaptação do modelo
para aumentar a probabilidade do modelo reconhecer "sessão" e
"seção" adicionando-as como phrases
em um recurso PhraseSet
. Isso informará à
Speech-to-Text para reconhecer "sessão" e "seção"
com mais frequência do que, por exemplo, "secção".
No entanto, "sessão" deve ser reconhecida com mais frequência do que" "seção" devido ao fato de aparecerem com mais frequência no áudio. Talvez você já tenha transcrito seu áudio usando a API Speech-to-Text e encontrou um grande número de erros reconhecendo a palavra correta ("sessão"). Nesse caso, convém usar o recurso boost para atribuir um valor de aumento maior para "sessão" que "seção". O valor ponderado mais alto atribuído à "sessão" direciona a API Speech-to-Text para escolher "sessão" com mais frequência do que "seção". Sem os valores de otimização, o modelo de reconhecimento reconhecerá "sessão" e "seção" com a mesma probabilidade.
Noções básicas sobre o Google Boost
Ao usar a otimização, atribua um valor ponderado a phrase
itens em um
recurso PhraseSet
. A Speech-to-Text consulta esse valor ponderado ao selecionar uma possível transcrição para palavras nos seus dados de áudio. Quanto maior o valor, maior será a
probabilidade da Speech-to-Text escolher essa palavra ou frase entre as
possíveis alternativas.
Se você atribuir um valor de otimização a uma frase com várias palavras, a
otimização será aplicada à frase inteira e apenas a toda. Por exemplo, você quer atribuir um
valor de aumento à frase "Minha exposição favorita no Museu de História Natural
dos Estados Unidos é a baleia-azul". Se você adicionar essa frase a um objeto phrase
e atribuir um valor de aumento, é mais provável que o modelo de reconhecimento reconheça
essa frase inteira em cada palavra.
Se você não encontrar os resultados que está procurando ao promover uma frase com várias palavras,
sugerimos que você adicione todas as frases, como duas palavras, em ordem, que compõem a
frase como adicional. phrase
itens e atribuir valores de otimização para cada um. Continuando
com o exemplo anterior, você pode investigar a adição de bigramas e N-gramas adicionais
(mais de duas palavras), como "meu favorito", "minha exposição favorita",
"exposição favorita", "minha exibição favorita no Museu Americano de História Natural", "Museu de História Natural dos Estados Unidos" e "baleia azul". O modelo
de reconhecimento de STT tem mais chances de reconhecer frases relacionadas no
áudio que contêm partes da frase original aprimorada, mas não têm correspondência
entre palavras.
Definir os valores de otimização
Os valores de otimização precisam ser um valor flutuante maior que 0. O limite máximo prático para valores de otimização é 20. Para melhores resultados, teste seus resultados de transcrição ajustando os valores de otimização para cima ou para baixo até conseguir resultados de transcrição precisos.
Valores de otimização maiores podem resultar em menos falsos negativos, que são casos em que a palavra ou frase ocorreu no áudio, mas não foi reconhecida corretamente pela Speech-to-Text. No entanto, a otimização também pode aumentar a probabilidade de falsos positivos. Ou seja, casos em que a palavra ou frase aparece na transcrição, mesmo que não tenha ocorrido no áudio.
Exemplo de caso de uso usando a adaptação do modelo
O exemplo a seguir mostra o processo de uso da adaptação do modelo para transcrever uma gravação de áudio de alguém dizendo "A palavra é voo". Nesse caso, sem a adaptação da fala, o Speech-to-Text identifica a palavra "vou". Usando a adaptação de fala, o Speech-to-Text pode identificar a palavra "voo".
Antes de começar
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Enable the Speech-to-Text APIs.
-
Make sure that you have the following role or roles on the project: Cloud Speech Administrator
Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
Acessar o IAM - Selecionar um projeto.
- Clique em CONCEDER ACESSO.
-
No campo Novos principais, insira seu identificador de usuário. Normalmente, é o endereço de e-mail de uma Conta do Google.
- Na lista Selecionar um papel, escolha um.
- Para conceder outros papéis, clique em Adicionar outro papel e adicione cada papel adicional.
- Clique em Salvar.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verifique se a cobrança está ativada para o seu projeto do Google Cloud.
-
Enable the Speech-to-Text APIs.
-
Make sure that you have the following role or roles on the project: Cloud Speech Administrator
Check for the roles
-
In the Google Cloud console, go to the IAM page.
Go to IAM - Select the project.
-
In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.
- For all rows that specify or include you, check the Role colunn to see whether the list of roles includes the required roles.
Grant the roles
-
In the Google Cloud console, go to the IAM page.
Acessar o IAM - Selecionar um projeto.
- Clique em CONCEDER ACESSO.
-
No campo Novos principais, insira seu identificador de usuário. Normalmente, é o endereço de e-mail de uma Conta do Google.
- Na lista Selecionar um papel, escolha um.
- Para conceder outros papéis, clique em Adicionar outro papel e adicione cada papel adicional.
- Clique em Salvar.
- Install the Google Cloud CLI.
-
To initialize the gcloud CLI, run the following command:
gcloud init
-
-
If you're using a local shell, then create local authentication credentials for your user account:
gcloud auth application-default login
You don't need to do this if you're using Cloud Shell.
As bibliotecas de cliente podem usar o Application Default Credentials para autenticar facilmente com as APIs do Google e enviar solicitações para essas APIs. Com esse serviço, é possível testar seu aplicativo localmente e implantá-lo sem alterar o código subjacente. Par amais informações, consulte Faça a autenticação para usar as bibliotecas do cliente.
Verifique também se você instalou a biblioteca de cliente.
Melhorar a transcrição usando um PhraseSet
- O exemplo a seguir cria um
PhraseSet
com a frase "voo" e a adiciona como uminline_phrase_set
em uma solicitação de reconhecimento:
Python
- Este exemplo cria um recurso
PhraseSet
com a mesma frase e se refere a ele em uma solicitação de reconhecimento:
Python
Melhore os resultados da transcrição usando um CustomClass
- O exemplo a seguir cria um
CustomClass
com um item "voo" e o nome "voo". Em seguida, faz referência aoCustomClass
em uminline_phrase_set
em uma solicitação de reconhecimento:
Python
- Este exemplo cria um recurso
CustomClass
com o mesmo item. Em seguida, cria um recursoPhraseSet
com uma frase que faz referência ao nome do recursoCustomClass
. Em seguida, ele faz referência ao recursoPhraseSet
em uma solicitação de reconhecimento:
Python
Limpar
Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.
-
Optional: Revoke the authentication credentials that you created, and delete the local credential file.
gcloud auth application-default revoke
-
Optional: Revoke credentials from the gcloud CLI.
gcloud auth revoke
Console
gcloud
Delete a Google Cloud project:
gcloud projects delete PROJECT_ID
A seguir
- Revise a lista de tokens de classe compatíveis
- Pratique como transcrever arquivos de áudio curtos.
- Saiba como transcrever streaming de áudio.
- Saiba como transcrever arquivos de áudio longos.