¿Qué es la búsqueda difusa?

Las búsquedas aproximadas emplean varios algoritmos y técnicas para determinar la similitud entre dos cadenas de texto, la búsqueda y la posible coincidencia en los datos. Estos algoritmos suelen basarse en conceptos como los siguientes:

• Distancia de Levenshtein: Determina la menor cantidad de ediciones (como inserciones, eliminaciones o sustituciones) que se requieren para transformar una cadena en otra. Una distancia de Levenshtein más baja indica una mayor similitud. Por ejemplo, “kitten” y “sitting” tienen una distancia de Levenshtein de 3.
• Similitud de coseno: Calcula el coseno del ángulo entre dos vectores que representan las palabras o cadenas. Una similitud de coseno de 1 representa una concordancia exacta, mientras que 0 indica que no hay similitud. Esto se usa comúnmente para comparar documentos en función de su contenido de palabras.
• Algoritmos fonéticos: Estas técnicas, como Soundex o Metaphone, codifican palabras según su pronunciación. Esto ayuda a encontrar palabras que suenan similares incluso si tienen diferentes ortografías, como “Smith” y “Smyth”.

Con este tipo de conceptos, los motores de búsqueda parcial pueden clasificar las posibles coincidencias según su similitud con la búsqueda original, lo que ayuda a los usuarios a ver una variedad de resultados pertinentes, incluso si contienen variaciones menores de sus términos de búsqueda.

A medida que los conjuntos de datos crecen y las entradas de los usuarios se vuelven más diversas, la búsqueda parcial ofrece un enfoque valioso para recuperar información de forma eficaz. Puede ayudar a cerrar la brecha entre las diversas formas en que los usuarios se comunican (o buscan) y la forma en que los datos pueden haberse estructurado y almacenado. 

Estas son las razones por las que la búsqueda parcial puede ser importante:

• Facilidad de uso: La búsqueda parcial se adapta a los errores tipográficos, las variaciones de palabras o las palabras mal escritas, lo que facilita a los usuarios encontrar lo que necesitan sin necesidad de conocer la ortografía o la frase exacta. Esto puede generar una experiencia de búsqueda más fluida y rápida.
• Relevancia de la búsqueda mejorada: Gracias a que considera las variaciones y los sinónimos, la búsqueda parcial recupera un rango más amplio de resultados pertinentes que podrían haberse perdido en las búsquedas de concordancia exacta.
• Detección de datos mejorada: En conjuntos de datos grandes con posibles inconsistencias o variaciones en la entrada de datos, la búsqueda parcial ayuda a descubrir conexiones ocultas y recuperar información pertinente que podría haberse pasado por alto.

La diferencia fundamental entre la búsqueda exacta y la búsqueda parcial radica en cómo manejan las variaciones en los datos. Veamos las diferencias clave:

Para ilustrar sus aplicaciones prácticas, exploremos algunos ejemplos de cómo la búsqueda parcial puede ayudar a hacer coincidir la intención del usuario detrás de diferentes búsquedas con resultados de la búsqueda pertinentes. 

• El usuario busca: "aple pie"
• La búsqueda parcial encuentra: "apple pie"

En este caso, incluso con el error tipográfico, el algoritmo de búsqueda parcial reconoce la intención del usuario y entrega la receta deseada de pastel de manzana. Comprende que es probable que "aple" sea una ortografía incorrecta de "apple" y prioriza el resultado en consecuencia.

• El usuario busca: "receta"
• La búsqueda parcial encuentra: "recetas"

La búsqueda parcial maneja sin problemas las variaciones en la pluralidad. Ya sea que el usuario busque el singular o el plural, el motor de búsqueda recupera de forma inteligente los resultados que coinciden con el significado deseado, lo que garantiza que los usuarios encuentren recetas sin importar su enfoque gramatical.

• El usuario busca: "ideas de comidas rápidas"
• La búsqueda parcial encuentra: "recetas fáciles para la cena"

La capacidad de interpretar sinónimos amplía el alcance de la búsqueda. El motor reconoce que las frases “ideas de comidas rápidas” y “recetas de cenas fáciles” son similares en el concepto y proporciona resultados pertinentes para ambas, lo que expande las posibilidades más allá de las palabras clave literales que se usan.

• El usuario busca: "zapatos para correr"
• La búsqueda parcial encuentra: "calzada para correr"

Los algoritmos suelen emplear la derivación, que reduce las palabras a su forma base o raíz. Esto permite que la búsqueda haga coincidir "zapatos para correr" con "calzado para correr", aunque las palabras sean gramaticalmente diferentes, lo que garantiza que los usuarios encuentren productos pertinentes sin importar las variaciones menores.

• El usuario busca: "USA"
• La búsqueda parcial encuentra: "Estados Unidos de América"

El sistema maneja de forma eficaz las abreviaturas, ya que reconoce que “USA” se refiere a “Estados Unidos de América”. Esta capacidad es particularmente útil en bases de datos y motores de búsqueda, en los que las abreviaturas se usan con frecuencia para acortar.

La implementación de la búsqueda parcial suele implicar los siguientes pasos:

1. Preprocesamiento de datos: En este paso, se limpian y estandarizan los datos hasta cierto punto. Esto puede incluir convertir el texto en minúsculas, quitar la puntuación o aplicar técnicas de derivación. Si bien la búsqueda parcial es tolerante a las variaciones, el preprocesamiento básico puede mejorar su eficiencia.
2. Indexación: Los datos preprocesados se indexan, a menudo con estructuras de datos especializadas, como índices invertidos o estructuras de trie. Estas estructuras permiten recuperar rápidamente las posibles concordancias de una búsqueda determinada.
3. Cálculo de similitud: Cuando un usuario envía una consulta, el algoritmo de búsqueda parcial calcula las puntuaciones de similitud entre la consulta y los datos indexados. Esto implica usar algoritmos como la distancia de Levenshtein, la similitud de coseno o los algoritmos fonéticos para cuantificar el grado de coincidencia.
4. Clasificación y recuperación: Las posibles coincidencias se clasifican según sus puntuaciones de similitud, y los resultados de mayor clasificación se recuperan y se presentan al usuario.

Si bien la implementación específica puede variar según la aplicación, Vertex AI de Google Cloud puede aprovechar las técnicas de búsqueda parcial en sus flujos de trabajo de aprendizaje automático para mejorar la precisión del modelo y manejar datos ruidosos o inconsistentes. Por ejemplo, la concordancia parcial puede mejorar la ingeniería de atributos agrupando datos similares o identificando y corrigiendo errores en los conjuntos de datos de entrenamiento.