O que é uma pesquisa aproximada?

As pesquisas aproximadas empregam vários algoritmos e técnicas para determinar a semelhança entre duas strings de texto, a consulta de pesquisa e a possível correspondência nos dados. Esses algoritmos geralmente dependem de conceitos como:

• Distância de Levenshtein: determina o menor número de edições (como inserções, exclusões ou substituições) necessárias para transformar uma string em outra. Uma distância de Levenshtein menor indica maior semelhança. Por exemplo, "gato" e "pato" têm uma distância de Levenshtein de 1.
• Semelhança de cosseno: calcula o cosseno do ângulo entre dois vetores que representam as palavras ou strings. Uma similaridade de cosseno de 1 representa uma correspondência exata, enquanto 0 indica nenhuma similaridade. Isso é usado com frequência para comparar documentos com base no conteúdo de palavras.
• Algoritmos fonéticos: essas técnicas, como Soundex ou Metaphone, codificam palavras com base na pronúncia. Isso ajuda a encontrar palavras que soam parecidas, mesmo que tenham grafias diferentes, como "cela" e "sela".

Com esses tipos de conceitos, os mecanismos de pesquisa aproximada podem classificar as correspondências potenciais com base na semelhança com a consulta original, ajudando os usuários a conferir uma variedade de resultados relevantes, mesmo que contenham pequenas variações dos termos de pesquisa.

À medida que os conjuntos de dados aumentam e as entradas dos usuários se tornam mais diversas, a pesquisa aproximada oferece uma abordagem valiosa para recuperar informações com eficiência. Ela pode ajudar a preencher a lacuna entre as diversas formas de comunicação (ou pesquisa) dos usuários e a forma como os dados foram estruturados e armazenados. 

Confira por que a pesquisa aproximada pode ser importante:

• Facilidade de uso: a pesquisa aproximada aceita erros de digitação, variações de palavras ou erros ortográficos, facilitando a busca de usuários que não sabem a grafia ou a frase exata. Isso pode proporcionar uma experiência de pesquisa mais fácil e rápida.
• Melhor relevância da pesquisa: ao considerar variações e sinônimos, a pesquisa aproximada recupera uma variedade maior de resultados relevantes que poderiam ter sido perdidos em pesquisas de correspondência exata.
• Melhor capacidade de descoberta de dados: em grandes conjuntos de dados com possíveis inconsistências ou variações na entrada de dados, a pesquisa aproximada ajuda a descobrir conexões ocultas e recuperar informações relevantes que poderiam ter sido esquecidas.

A diferença fundamental entre a pesquisa exata e a pesquisa aproximada está na forma como elas lidam com variações nos dados. Confira as principais diferenças:

Para ilustrar as aplicações práticas, vamos conferir alguns exemplos de como a pesquisa difusa pode ajudar a corresponder a intenção do usuário por trás de diferentes consultas de pesquisa com resultados relevantes. 

• O usuário pesquisa: "torta de macã"
• A pesquisa aproximada encontra: "torta de maçã"

Nesse caso, mesmo com o erro de digitação, o algoritmo de pesquisa aproximada reconhece a intenção do usuário e entrega a receita de torta de maçã. Ele entende que "macã" provavelmente é um erro de digitação de "maçã" e prioriza o resultado de acordo.

• O usuário pesquisa: "receita"
• A pesquisa aproximada encontra: "receitas"

A pesquisa aproximada lida perfeitamente com variações de plural. O mecanismo de pesquisa encontra resultados que correspondem ao significado pretendido, seja o usuário pesquisando no singular ou no plural. Assim, os usuários encontram receitas independentemente da abordagem gramatical.

• O usuário pesquisa: "ideias para refeições rápidas"
• A pesquisa aproximada encontra: "receitas fáceis para o jantar"

A capacidade de interpretar sinônimos amplia o escopo da pesquisa. O mecanismo reconhece que "ideias para refeições rápidas" e "receitas de jantar fáceis" são conceitualmente semelhantes e fornece resultados relevantes para ambas, expandindo as possibilidades além das palavras-chave usadas.

• O usuário pesquisa: "tênis de corrida"
• A pesquisa aproximada encontra: "tênis de corrida"

Os algoritmos geralmente empregam a derivação, que reduz as palavras para a forma básica ou raiz. Isso permite que a pesquisa corresponda a "tênis de corrida" com "tênis corrida", mesmo que as palavras sejam gramaticamente diferentes, garantindo que os usuários encontrem produtos relevantes, independentemente de pequenas variações.

• O usuário pesquisa: "EUA"
• A pesquisa aproximada encontra: "Estados Unidos da América"

O sistema lida com abreviações, reconhecendo que "EUA" se refere aos "Estados Unidos da América". Esse recurso é particularmente útil em bancos de dados e mecanismos de pesquisa, em que as abreviações são frequentemente usadas para resumir.

A implementação da pesquisa aproximada geralmente envolve as seguintes etapas:

1. Pré-processamento de dados: essa etapa envolve a limpeza e a padronização dos dados até certo ponto. Pode incluir a conversão de texto em letras minúsculas, a remoção de pontuação ou a aplicação de técnicas de derivação. Embora a pesquisa aproximada seja tolerante a variações, o pré-processamento básico pode melhorar a eficiência dela.
2. Indexação: os dados pré-processados são indexados, geralmente usando estruturas de dados especializadas, como índices invertidos ou estruturas trie. Essas estruturas permitem a recuperação rápida de possíveis correspondências para uma consulta específica.
3. Cálculo de similaridade: quando um usuário envia uma consulta, o algoritmo de pesquisa aproximada calcula as pontuações de similaridade entre a consulta e os dados indexados. Isso envolve o uso de algoritmos como distância de Levenshtein, similaridade de cosseno ou algoritmos fonéticos para quantificar o grau de correspondência.
4. Classificação e recuperação: as correspondências em potencial são classificadas com base nas respectivas pontuações de similaridade, e os resultados com as classificações mais altas são recuperados e apresentados ao usuário.

Embora a implementação específica possa variar dependendo do aplicativo, a Vertex AI do Google Cloud pode usar técnicas de pesquisa aproximada nos fluxos de trabalho de machine learning para melhorar a acurácia do modelo e lidar com dados com ruído ou inconsistentes. Por exemplo, a correspondência aproximada pode melhorar a engenharia de atributos agrupando pontos de dados semelhantes ou identificando e corrigindo erros em conjuntos de dados de treinamento.