검색 증강 생성(RAG)이란 무엇인가요?

RAG는 생성형 AI 출력 향상에 도움이 되는 몇 가지 주요 단계로 작동합니다. 

• 검색 및 사전 처리: RAG는 강력한 검색 알고리즘을 활용하여 웹페이지, 기술 자료, 데이터베이스와 같은 외부 데이터를 쿼리합니다. 검색된 관련 정보는 토큰화, 어간 추출, 금지어 제거 등의 사전 처리 과정을 거칩니다.
• 그라운딩된 생성: 사전 처리된 검색 정보가 선행 학습된 LLM에 원활하게 통합됩니다. 이러한 통합을 통해 LLM의 컨텍스트가 강화되어 주제를 보다 포괄적으로 이해할 수 있습니다. LLM은 이러한 증강된 컨텍스트를 통해 보다 정확하고 유익하며 몰입도 높은 대답을 생성할 수 있습니다. 

RAG는 특히 사실에 기반한 정보 또는 데이터 기반 응답을 다룰 때 기존 텍스트 생성 방법을 보강하는 여러 이점을 제공합니다. RAG를 사용하는 것이 유용할 수 있는 몇 가지 주요 이유는 다음과 같습니다.

LLM은 선행 학습된 데이터에만 제한됩니다. 이로 인해 오래된 정보가 제공되거나 부정확한 응답이 제공될 수 있습니다. RAG는 LLM에 최신 정보를 제공하여 이러한 문제를 해결합니다.

LLM은 창의적이고 흥미로운 텍스트를 생성하는 강력한 도구이지만 사실에 기반한 정확성에서 어려움을 겪을 수 있습니다. LLM은 부정확하거나 편향된 내용이 포함될 수 있는 방대한 양의 텍스트 데이터를 토대로 학습되기 때문입니다.

입력 프롬프트의 일부로 '사실'을 LLM에 제공하면 '생성형 AI 할루시네이션'을 완화할 수 있습니다. 이 접근 방식의 핵심은 가장 관련성 높은 사실을 LLM에 제공하고 LLM 출력이 이러한 사실에 완전히 그라운딩되면서도 사용자의 질문에 답변하고 시스템 지침 및 안전 제한을 준수하도록 하는 것입니다.

Gemini의 긴 컨텍스트 윈도우(LCW)를 사용하면 LLM에 소스 자료를 제공하는 좋은 방법이 됩니다. LCW에 맞는 것보다 더 많은 정보를 제공해야 하거나 성능을 확장해야 하는 경우 RAG 접근 방식을 사용하여 토큰 수를 줄여 시간과 비용을 절약할 수 있습니다.

RAG는 일반적으로 검색을 통해 사실을 가져오며, 최신 검색엔진은 벡터 데이터베이스를 활용하여 관련 문서를 효율적으로 가져옵니다. 벡터 데이터베이스는 문서를 고차원 공간에 임베딩으로 저장하므로 시맨틱 유사성을 기반으로 빠르고 정확하게 검색할 수 있습니다. 멀티모달 임베딩은 이미지, 오디오, 동영상 등에 사용할 수 있으며 이러한 미디어 임베딩은 텍스트 임베딩 또는 다국어 임베딩과 함께 검색할 수 있습니다.

Vertex AI Search와 같은 고급 검색엔진은 시맨틱 검색과 키워드 검색을 함께 사용(하이브리드 검색이라고 함)하고, 검색 결과를 평가하여 가장 상단에 표시되는 결과가 가장 관련성이 높은 결과가 되도록 하는 순위 조정을 사용합니다. 또한 철자 오류가 없는 명확하고 집중된 쿼리를 사용하면 검색 성능이 향상됩니다. 따라서 검색을 수행하기 전에 고급 검색엔진이 쿼리를 변환하고 철자 오류를 수정합니다.

RAG의 검색 메커니즘은 매우 중요합니다. 검색된 정보가 입력 쿼리나 컨텍스트와 관련이 있는지 확인하려면 선별된 기술 자료를 기반으로 최고의 시맨틱 검색을 구현해야 합니다. 검색된 정보가 관련성이 없으면 생성된 내용은 근거가 있지만 주제에서 벗어나거나 잘못된 내용일 수 있습니다.

RAG는 LLM을 미세 조정하거나 프롬프트 엔지니어링하여 검색된 지식을 기반으로 텍스트를 완전히 생성하도록 함으로써 생성된 텍스트의 모순과 불일치를 최소화하는 데 도움이 됩니다. 이렇게 하면 생성된 텍스트의 품질이 크게 개선되고 사용자 경험이 향상됩니다.

이제 Vertex Eval Service가 LLM에서 생성한 텍스트와 'coherence', 'fluency', 'groundedness', 'safety', 'instruction_following', 'question_answering_quality' 등의 측정항목을 기준으로 검색된 청크에 점수를 매깁니다. 이러한 측정항목은 LLM에서 얻은 그라운딩 텍스트를 측정하는 데 도움이 됩니다(제공한 정답과 비교하는 일부 측정항목의 경우). 이러한 평가를 구현하면 기준 측정을 얻을 수 있으며, 검색엔진을 구성하거나, 소스 데이터를 선별하거나, 소스 레이아웃 파싱 또는 청크 전략을 개선하거나, 검색 전에 사용자의 질문을 다듬는 등의 방법으로 RAG 품질을 최적화할 수 있습니다. 이러한 RAG 운영 및 측정항목 중심의 접근 방식은 고품질 RAG와 그라운딩된 생성으로 나아가는 데 도움이 됩니다.

RAG와 그라운딩은 새로운 비공개 또는 전문 데이터에 대한 액세스가 필요한 모든 LLM 애플리케이션 또는 에이전트에 통합될 수 있습니다. RAG 기반 챗봇과 대화형 에이전트는 외부 정보에 액세스하여 외부 지식을 활용해 보다 포괄적이고 유익하며 상황에 맞는 대답을 제공하여 전반적인 사용자 경험을 개선합니다.

데이터와 사용 사례에 따라 생성형 AI로 무엇을 빌드하는지가 달라집니다. RAG와 그라운딩을 사용하면 데이터를 LLM에 효율적이고 확장 가능한 방식으로 가져올 수 있습니다.