Adaptação de fala

Ao executar uma solicitação de detecção de intent, você tem a opção de fornecer o contexto de fala para fornecer dicas ao reconhecedor de fala. Essas dicas podem ajudar no reconhecimento em um estado de conversa específico.

Observação: fornecer o não vazio explícito speech_contexts para uma solicitação de detecção de intent substitui as dicas de contexto de fala implícitas geradas pela adaptação automática de fala para a configuração de áudio de entrada (conversão de voz em texto).

Adaptação automática de fala

O recurso de adaptação automática de fala melhora a precisão do reconhecimento de fala do seu agente usando o estado da conversa automaticamente para transmitir entidades relevantes e frases de treinamento como dicas de contexto da fala para todas as solicitações de detecção de intent. Esse recurso é ativado por padrão.

Ativar ou desativar a adaptação automática de fala

Para ativar ou desativar a adaptação automática de fala:

1. Acessar o Console do Dialogflow ES
2. selecione seu agente próximo à parte superior do menu da barra lateral à esquerda;
3. clique no botão de configurações ao lado do nome do agente.
4. Selecione a guia Fala.
5. Role até a seção Melhorar a qualidade de reconhecimento de fala.
6. Ative ou desative a opção Ativar a adaptação automática de fala.

Design de agente para melhorias no reconhecimento de fala

Com a adaptação automática de fala ativada, é possível criar seu agente de forma a tirar proveito dela. As seções a seguir explicam como é possível melhorar o reconhecimento de fala com algumas alterações nas frases de treinamento, nos contextos e nas entidades do seu agente.

Frases e contextos de treinamento

• Se você definir frases de treinamento com uma frase como "nariz entupido", uma expressão sonora do usuário similar é reconhecida como "nariz entupido" e não como "nariz entope pia".

• Quando uma sessão tiver contextos ativos, a adaptação automática de fala vai direcionar mais para as frases de treinamento das intents em que todos os contextos de entrada estão ativos. Por exemplo, com dois contextos ativos "pay-bill" e "confirmation", todas as intents a seguir influenciam a atenção automática da fala: intents com um único contexto de entrada "pay-bill", intents com uma única entrada de confirmação "confirmação" e intents com dois contextos de entrada "pay-bill" e "confirmation".

  Observação :a adaptação automática de fala considera apenas os contextos que estavam ativos no final da conversa anterior. Os contextos ativados na solicitação em andamento não afetam a adaptação automática de fala para a solicitação. Os contextos ativados pelo método contexts da API não afetam a adaptação automática da fala para a solicitação de acompanhamento. Os contextos ativados por uma entrada de evento ou por um outputContexts de resposta do webhook afetam a adaptação automática de fala para a solicitação de acompanhamento.

• Quando uma sessão não tem contextos ativos, a adaptação automática de fala se concentra mais nas frases de treinamento de intents sem contextos de entrada.

• Quando você tem um parâmetro obrigatório que força o Dialogflow a fazer solicitações de preenchimento de slots, a adaptação automática de fala tem um viés forte para a entidade que está sendo preenchida.

Em todos os casos, a adaptação automática de fala está apenas direcionando o reconhecimento de fala, não o limitando. Por exemplo, mesmo que o Dialogflow esteja solicitando ao usuário um parâmetro obrigatório, os usuários ainda poderão acionar outras intents, como uma intent "conversar com um agente" de nível superior.

Entidades do sistema

Se você definir uma frase de treinamento que use a entidade do sistema @sys.number e o usuário final disser "Quero dois", ela poderá ser reconhecida como "para", "too", "2" ou "dois".

Com a adaptação automática de fala ativada, o Dialogflow usa a entidade @sys.number como uma dica durante o reconhecimento de fala, e o parâmetro tem mais chances de ser extraído como "2".

Entidades personalizadas

• Se você definir uma entidade personalizada para nomes de produtos ou serviços oferecidos pela sua empresa e o usuário final mencionar esses termos em enunciados, eles terão mais chances de serem reconhecidos. Uma frase de treinamento "Adoro o Dialogflow", em que "Dialogflow" é anotada como a entidade @product, adapta a adaptação automática de falas para o direcionamento de "Adoro Dialogflow", "Adoro o Cloud Speech" e todas outras entradas na entidade @product.

• É importante definir sinônimos de entidades limpas ao usar o Dialogflow para detectar a fala. Imagine que você tenha duas entradas de entidade do @product, "Dialogflow" e "Dataflow". Seus sinônimos de "Dialogflow" podem ser "Dialogflow", "dialogue flow" ou "dialogue builder", "Speakoit", "speak to it", "API.ai", "API dot AI". Eles são bons sinônimos porque abrangem as variações mais comuns. Não é preciso adicionar "the dialogue flow builder" porque o "dialogue flow" já abrange isso.

Observação: por que isso é importante? Considere que você tem duas entidades "Dialogflow" e "Dataflow", e dois sinônimos são "the dialogue flow builder" e "Google Cloud Dataflow". Um usuário final pode dizer que é possível dizer "Google Cloud Dialogflow", mas como não há um termo "Google Cloud Dialogflow" como sinônimos, o reconhecimento de fala provavelmente ouvirá "Google Cloud Dataflow" porque as definições de entidade são tendenciosas para essa frase. Da mesma forma, se alguém disser "the dataflow builder" provavelmente ouvirá "the dialogue flow builder" porque é a única entidade definida com "builder". Em vez disso, você terá um desempenho melhor definindo apenas as frases-chave, conforme listado no tópico acima. Em resumo, tenha cuidado para não adicionar dados genéricos às definições de entidade porque é para isso que as frases de treinamento de intent são projetadas. Uma frase de treinamento "Google Cloud Dataflow", em que "Dataflow" é anotada como a entidade @product permite a adaptação automática de fala para detectar "Google Cloud Dataflow" e "Google Cloud Dialogflow" com o mesmo peso. Consulte Design do agente para ver mais práticas recomendadas.

• Os enunciados do usuário com entidades numéricas consecutivas, mas distintas, podem ser ambíguos. Por exemplo, "Quero dois 16 pacotes" pode significar 2 quantidades de 16 pacotes ou 216 quantidades em pacotes. A adaptação de fala pode ajudar a tirar a ambiguidade desses casos se você configurar entidades com valores ortográficos:
  • Defina uma entidade quantity com entradas:
    zero
one
...
twenty
  • Defina uma entidade product ou size com entradas:
    sixteen pack
two ounce
...
five liter
  • Somente sinônimos de entidade são usados na adaptação de fala. Assim, você pode definir uma entidade com o valor de referência 1 e um único sinônimo one para simplificar a lógica de fulfillment.

Entidades regexp

As entidades regex podem acionar a adaptação automática de fala para sequências alfanuméricas e de dígitos, como "ABC123" ou "12345", quando configuradas e testadas corretamente.

Para reconhecer essas sequências por voz, implemente os quatro requisitos abaixo:

1. Requisito de entrada RegExp

Embora qualquer expressão regular possa ser usada para extrair entidades de entradas de texto, apenas algumas expressões informarão a adaptação automática da fala à polarização para sequências alfanuméricas ou de dígitos digitadas no reconhecimento de fala.

Na entidade regexp, pelo menos uma entrada precisa seguir todas estas regras:

• Precisa corresponder a alguns caracteres alfanuméricos, por exemplo: \d, \w, [a-zA-Z0-9]
• Não pode conter espaços em branco   ou \s, embora \s* e \s? sejam permitidos
• Não deve conter grupos de captura ou não captura ()
• Não deve tentar corresponder a nenhum caractere especial ou pontuação, como: ` ~ ! @ # $ % ^ & * ( ) - _ = + , . < > / ? ; ' : " [ ] { } \ |

Essa entrada pode ter conjuntos de caracteres [] e quantificadores de repetição como *, ?, +, {3,5}.

Consulte Exemplos.

2. Requisito de definição de parâmetro

Marque a entidade regexp como um parâmetro de intent obrigatório para que ela seja coletada durante o preenchimento de slot. Isso permite que a adaptação automática de fala polarize o reconhecimento de sequências em vez de tentar reconhecer uma intent e uma sequência ao mesmo tempo. Caso contrário, "Onde está meu pacote para ABC123" pode ser reconhecido incorretamente como "Onde está meu pacote 4ABC123".

3. Requisito de anotação de frases de treinamento

Não use a entidade regexp para uma anotação de frase de treinamento de intent. Isso garante que o parâmetro seja resolvido como parte do preenchimento do slot.

4. Requisito de teste

Consulte Como testar a adaptação de fala.

Examples

Por exemplo, uma entidade regexp com uma única entrada ([a-zA-Z0-9]\s?){5,9} não acionará o reconhecedor da sequência de fala porque ele contém um grupo de captura. Para corrigir isso, basta adicionar outra entrada para [a-zA-Z0-9]{5,9}. Agora você se beneficiará do reconhecedor de sequências ao fazer a correspondência de "ABC123", mas o PLN ainda vai corresponder a entradas como "ABC 123" graças à regra original que permite espaços.

Os seguintes exemplos de expressões regulares se adaptam para sequências alfanuméricas:

^[A-Za-z0-9]{1,10}$
WAC\d+
215[2-8]{3}[A-Z]+
[a-zA-Z]\s?[a-zA-Z]\s?[0-9]\s?[0-9]\s?[0-9]\s?[a-zA-Z]\s?[a-zA-Z]

Os seguintes exemplos de expressões regulares se adaptam para sequências de dígitos:

\d{2,8}
^[0-9]+$
2[0-9]{7}
[2-9]\d{2}[0-8]{3}\d{4}

Solução alternativa para regex

O suporte integrado da adaptação automática de fala a entidades regexp varia de acordo com o idioma. Verifique os tokens de classe de fala para os idiomas compatíveis $OOV_CLASS_ALPHANUMERIC_SEQUENCE e $OOV_CLASS_DIGIT_SEQUENCE.

Se seu idioma não estiver listado, você poderá contornar essa limitação. Por exemplo, se você quiser que um ID de funcionário com três letras seguidas por três dígitos seja reconhecido com precisão, crie seu agente com as entidades e os parâmetros a seguir:

• Defina uma entidade digit que contenha 10 entradas de entidade (com sinônimos):
  0, 0
1, 1
...
9, 9
• Defina uma entidade letter que contenha 26 entradas de entidade (com sinônimos):
  A, A
B, B
...
Z, Z
• Defina uma entidade employee-id que contenha uma única entrada de entidade (sem sinônimos):
  @letter @letter @letter @digit @digit @digit
• Use @employee-id como parâmetro em uma frase de treinamento.

Observação: a entrada de entidade employee-id requer espaços em branco entre entidades consecutivas para ser uma definição de entidade válida. Por isso, uma consulta de texto "123ABC" não é correspondida, mas a expressão falada "1 2 3 A B C" é correspondida porque a adaptação automática de fala polariza os espaços.

Como testar a adaptação de fala

Ao testar os recursos de adaptação de fala do seu agente para uma correspondência específica de frase ou entidade de treinamento, não vá diretamente para o teste com a primeira expressão de uma conversa. Use apenas entradas de eventos ou voz para toda a conversa antes da correspondência que você quer testar. Quando testado dessa maneira, o comportamento do agente será semelhante ao comportamento das conversas de produção reais.

Observação :se você estiver testando a primeira rodada de conversa de um agente de telefonia que normalmente usa o evento WELCOME, invoque esse evento antes de testar a correspondência.

Limitações

Considere as seguintes limitações:

• A adaptação de fala não está disponível para todos os modelos de fala e combinações de idiomas. Consulte a página de suporte da linguagem do Cloud Speech para verificar se a "adaptação do modelo" está disponível para sua combinação de modelo de fala e linguagem.

• A adaptação automática de fala não funciona no Actions on Google (Google Assistente), porque o reconhecimento de fala é feito pelo Actions on Google antes de enviar dados ao Dialogflow.

• Reconhecer sequências de caracteres longas é um desafio. O número de caracteres que são capturados em um único turno está diretamente relacionado à qualidade do áudio de entrada. Por exemplo, se a integração opera com áudio de ligações telefônicas, é necessário ativar os modelos de fala aprimorados para reconhecer sequências alfanuméricas com mais de quatro ou cinco caracteres ou sequências de dígitos com mais de 10 caracteres. Se você tiver seguido todas as diretrizes de entidades regexp e ainda estiver com dificuldades para capturar toda a sequência de uma só vez, pense em mais algumas alternativas de conversa:
  • Ao validar a sequência em relação a um banco de dados, faça referência cruzada a outros parâmetros coletados, como datas, nomes ou números de telefone, para permitir correspondências incompletas. Por exemplo, em vez de apenas solicitar o número de pedido ao usuário, peça também um número de telefone. Agora, quando o webhook consultar o banco de dados para verificar o status do pedido, ele poderá depender do número de telefone e retornar o pedido correspondente mais próximo dessa conta. Isso pode permitir que o Dialogflow escute "ABC" como "AVC" e ainda retorne o status correto do pedido ao usuário.
  • Para sequências muito longas, crie um fluxo que incentive os usuários finais a pausar no meio para que o bot possa confirmar conforme você avança. Leia este tutorial para mais detalhes.