퍼지 검색이란 무엇인가요?

퍼지 검색은 두 텍스트 문자열, 검색어, 데이터의 잠재적 일치 항목 간의 유사성을 판단하기 위해 다양한 알고리즘과 기법을 사용합니다. 이러한 알고리즘은 다음과 같은 개념을 사용합니다.

• Levenshtein 거리: 하나의 문자열을 다른 문자열로 변환하는 데 필요한 최소 수정 횟수(예: 삽입, 삭제, 대체)를 결정합니다. Levenshtein 거리가 낮을수록 유사성이 높습니다. 예를 들어 'kitten'과 'sitting'의 Levenshtein 거리는 3입니다.
• 코사인 유사성: 단어 또는 문자열을 나타내는 두 벡터 간의 각도 코사인을 계산합니다. 코사인 유사성이 1이면 정확히 일치하는 것이고 0이면 유사성이 없는 것입니다. 일반적으로 단어 내용을 기준으로 문서를 비교하는 데 사용됩니다.
• 음성 알고리즘: Soundex나 Metaphone과 같은 이러한 기술은 단어의 발음을 기반으로 단어를 인코딩합니다. 이를 통해 'Smith'와 'Smyth'처럼 철자가 다르더라도 발음이 비슷한 단어를 찾을 수 있습니다.

이러한 유형의 개념을 사용하면 퍼지 검색엔진이 원래 쿼리와의 유사성을 기반으로 잠재적 일치 항목의 순위를 지정할 수 있으므로 사용자는 검색어와 약간 다르더라도 관련성이 높은 결과를 볼 수 있습니다.

데이터 세트가 커지고 사용자 입력이 다양해짐에 따라 퍼지 검색은 정보를 효과적으로 검색하는 데 유용한 접근 방식을 제공합니다. 사용자가 소통(또는 검색)하는 다양한 방식과 데이터가 구조화되고 저장된 방식 간의 격차를 해소하는 데 도움이 될 수 있습니다. 

다음과 같은 이유로 퍼지 검색이 중요할 수 있습니다.

• 사용자 친화성: 퍼지 검색은 오타, 단어 변형 또는 철자 오류를 수용하므로 사용자가 정확한 철자나 표현을 알지 못해도 필요한 것을 쉽게 찾을 수 있습니다. 이를 통해 더 빠르고 원활한 검색 환경을 제공할 수 있습니다.
• 검색 관련성 개선: 퍼지 검색은 변형 및 동의어를 고려하여 정확한 일치 검색에서 놓칠 수 있는 더 광범위한 관련 결과를 검색합니다.
• 데이터 검색 가능성 향상: 데이터 입력에 잠재적인 불일치나 변형이 있는 대규모 데이터 세트에서 퍼지 검색을 사용하면 숨겨진 연결을 발견하고 간과되었을 수 있는 관련 정보를 검색할 수 있습니다.

정확한 검색과 퍼지 검색의 근본적인 차이점은 데이터의 변형을 처리하는 방식에 있습니다. 주요 차이점을 살펴보겠습니다.

이를 실제로 적용하는 방법을 설명하기 위해, 다양한 검색어에 숨겨진 사용자 의도를 관련 검색 결과와 일치시키는 데 퍼지 검색이 어떻게 도움이 되는지 몇 가지 예를 살펴보겠습니다. 

• 사용자 검색어: 'aple pie'
• 퍼지 검색 결과: 'apple pie'

이 경우 오타가 있더라도 퍼지 검색 알고리즘이 사용자 의도를 인식하여 사과 파이 레시피를 제공합니다. 'aple'이 'apple'의 오타일 가능성이 높다는 것을 이해하고 이에 따라 결과의 우선순위를 지정합니다.

• 사용자 검색어: 'recipe'
• 퍼지 검색 결과: 'recipes'

퍼지 검색은 복수형의 변형을 원활하게 처리합니다. 사용자가 단수형이나 복수형을 검색하든 상관없이 검색엔진은 의도한 의미와 일치하는 결과를 지능적으로 검색하여 사용자가 문법적 접근 방식에 관계없이 레시피를 찾을 수 있도록 합니다.

• 사용자 검색어: 'quick meal ideas'
• 퍼지 검색 결과: 'easy dinner recipes'

동의어를 해석할 수 있으므로 검색 범위가 넓어집니다. 엔진은 'quick meal ideas'와 'easy dinner recipes'가 개념적으로 유사하다는 것을 인식하고 두 가지 모두에 대해 관련성 있는 결과를 제공하여 사용된 키워드의 문자 그대로의 의미를 넘어서는 가능성을 확장합니다.

• 사용자 검색어: 'running shoes'
• 퍼지 검색 결과: 'run shoe'

알고리즘은 단어를 기본 또는 어근 형태로 축소하는 어간 추출을 자주 사용합니다. 이를 통해 단어가 문법적으로 다르더라도 'running shoes'와 run shoe'를 일치시켜 사용자가 약간의 변형에 관계없이 관련 제품을 찾을 수 있도록 합니다.

• 사용자 검색어: 'USA'
• 퍼지 검색 결과: 'United States of America'

시스템은 'USA'가 'United States of America'를 의미한다는 것을 인식하여 약어를 효과적으로 처리합니다. 이 기능은 간결함을 위해 약어가 자주 사용되는 데이터베이스와 검색엔진에서 특히 유용합니다.

퍼지 검색 구현은 일반적으로 다음 단계를 포함합니다.

1. 데이터 전처리: 이 단계에서는 데이터를 어느 정도 정리하고 표준화합니다. 여기에는 텍스트를 소문자로 변환하거나, 구두점을 제거하거나, 어간 추출 기법을 적용하는 작업이 포함될 수 있습니다. 퍼지 검색은 변형을 허용하지만 기본 전처리를 통해 효율성을 높일 수 있습니다.
2. 색인 생성: 전처리된 데이터는 색인 생성되며, 이때 역색인이나 트라이 구조와 같은 특수한 데이터 구조를 사용하는 경우가 많습니다. 이러한 구조를 사용하면 특정 쿼리에 대한 일치 가능성이 있는 항목을 빠르게 검색할 수 있습니다.
3. 유사성 계산: 사용자가 쿼리를 제출하면 퍼지 검색 알고리즘이 쿼리와 색인 생성된 데이터 간의 유사성 점수를 계산합니다. 여기에는 Levenshtein 거리, 코사인 유사성 또는 음성 알고리즘과 같은 알고리즘을 사용하여 일치 정도를 정량화하는 것이 포함됩니다.
4. 순위 지정 및 검색: 일치 가능성이 있는 항목은 유사성 점수를 기준으로 순위가 지정되며, 상위 순위의 결과가 검색되어 사용자에게 표시됩니다.

구체적인 구현은 애플리케이션에 따라 다를 수 있지만 Google Cloud의 Vertex AI는 머신러닝 워크플로 내에서 퍼지 검색 기법을 활용하여 모델 정확성을 개선하고 노이즈가 많거나 일관성이 없는 데이터를 처리할 수 있습니다. 예를 들어 퍼지 일치를 사용하면 유사한 데이터 포인트를 그룹화하거나 학습 데이터 세트의 오류를 식별하고 수정하여 특성 추출을 향상할 수 있습니다.