Vertex AI 그라운딩: 모델 신뢰성 개선 및 할루시네이션 감소

* 본 아티클의 원문은 2024년 12월 3일 Google Cloud 블로그(영문)에 게재되었습니다. 

지난 9월에 열린 Gemini at Work 이벤트에서 Google Cloud는 생성형 AI가 기업의 업무 방식을 어떻게 혁신하고 있는지 보여줬습니다. 이 이벤트에서 다룬 모든 고객 혁신 사례를 토대로 한 가지 사실이 분명히 드러났습니다. 작년에는 생성형 AI를 탐색하고 실험했다면 올해는 생성형 AI가 실질적인 영향력을 발휘하기 시작했다는 것입니다.

생성형 AI에는 업무 방식을 혁신할 수 있는 잠재력이 있습니다. 하지만 이를 위해서는 결과물의 신뢰성과 관련성이 전제되어야 합니다. 대규모 언어 모델(LLM)은 학습 당시의 지식에 고착되어 최신 정보와 내부 데이터에 대한 액세스가 부족한 경우가 많습니다. 또한 창의성과 확률에 근거한 설계로 인해 할루시네이션이 발생하기 쉽습니다. 출처 표시도 기본적으로 제공하지 않습니다. 이러한 한계는 컨텍스트와 관련성이 높고 신뢰할 수 있는 최신 응답을 제공하는 데 방해가 됩니다.

이러한 문제를 극복하기 위해서는 LLM을 신뢰할 수 있는 정보 소스와 연결해야 합니다. 이때 그라운딩, 검색 증강 생성(RAG), 검색 등의 개념이 중요한 역할을 합니다. 그라운딩은 현실을 근거로 응답을 생성하도록 LLM에 외부 정보를 제공하여 할루시네이션이 발생하거나 결과를 지어낼 가능성을 줄입니다. RAG는 기술 자료에서 관련 정보를 찾아 LLM에 컨텍스트로 제공하는 특정 그라운딩 기법입니다. 검색은 시스템이 기술 자료에서 알맞은 정보를 찾는 데 사용되는 RAG의 핵심 검색 기술입니다.

생성형 AI가 진정한 잠재력을 발휘하려면 Google에서 기업 지식 (Enterprise truth)이라고 부르는 소스에 LLM을 그라운딩해야 합니다. 이는 문서, 이메일, 스토리지 시스템, 서드 파티 애플리케이션은 물론, 지식 노동자의 업무 수행을 돕는 인터넷의 최신 정보를 포함한 신뢰할 수 있는 내부 데이터를 의미합니다.

기업 지식을 활용하면 그라운딩된 LLM에서 보다 정확하고 컨텍스트와 관련성이 높은 최신 응답을 제공하여 생성형 AI로 실질적인 영향을 미칠 수 있게 됩니다. 즉, 더욱 정확한 맞춤 지원을 통해 고객 서비스를 개선하고, 보고서 생성 및 문서 요약 등의 작업을 더 정확하게 자동화하고, 여러 데이터 소스를 분석해 얻은 심층적인 인사이트로 트렌드와 기회를 파악하고, 궁극적으로 고객 니즈와 마켓 트렌드에 대한 보다 풍부한 이해를 바탕으로 새로운 제품과 서비스를 개발하여 혁신을 주도할 수 있습니다. 

이제 Google Cloud의 AI 플랫폼인 Vertex AI의 최신 개선사항을 통해 이러한 문제를 쉽게 해결하는 방법을 살펴보겠습니다.

인터넷의 최신 지식 활용하기 

LLM은 보유한 지식이 이전에 학습한 데이터에 고착되며 이 데이터는 시간이 지나면 오래된 정보가 된다는 근본적인 한계가 있습니다. 이는 최신 뉴스, 기업 연간 실적 보고서, 스포츠 경기 또는 콘서트 날짜 등 최신 데이터가 필요한 모든 질문의 응답 품질에 영향을 미칩니다. 'Google 검색으로 그라운딩'을 사용하면 언어 모델이 인터넷에서 최신 정보를 찾을 수 있습니다. 소스 링크도 제공되어 사실확인을 거치거나 자세히 알아볼 수도 있습니다. 'Google 검색으로 그라운딩'은 Gemini 모델에서 바로 이용 가능합니다. 전환 버튼을 클릭하여 사용 설정하기만 하면 Gemini에서 Google 검색을 사용해 대답을 그라운딩합니다.

다음번 요청에서도 'Google 검색으로 그라운딩'이 필요할지 잘 모르겠다면 새로운 '동적 검색' 기능을 사용하면 됩니다. 이 기능을 사용 설정하면 Gemini에서 쿼리를 해석하고 대답의 정확성을 높이기 위해 최신 정보가 필요한지 여부를 예측합니다. 사용자는 예측 점수 기준을 정하여 언제 Gemini에서 'Google 검색으로 그라운딩'을 사용할지 설정할 수 있습니다. 이렇게 하면 Gemini가 사용자 쿼리에 필요할 때만 Google 검색을 활용하므로 필요에 따라 고품질 결과를 얻는 한편 비용도 절감하는 일거양득의 효과를 볼 수 있습니다.

모든 기업 지식에 데이터를 연결하기

최신 정보에 대한 연결은 시작에 불과합니다. 모든 기업의 가치는 기업의 독점 데이터에서 기인합니다. RAG는 LLM을 학습하지 않은 데이터 소스에 연결하여 응답을 생성하기 전에 이 데이터에서 정보를 검색하도록 만들어 LLM을 개선하는 기법입니다. RAG에는 여러 옵션이 있지만 대다수가 품질, 신뢰성, 확장성이 부족하여 기업에게 적합하지 않습니다. 그라운딩된 생성형 AI 앱의 품질은 해당 앱의 데이터 검색 능력을 뛰어넘을 수 없습니다. 

이때 Vertex AI를 사용하면 도움이 됩니다. Vertex AI가 제공하는 포괄적인 서비스 제품군은 즉시 사용 가능한 간단한 솔루션을 찾거나, API로 자체 RAG 시스템을 빌드하거나, RAG를 위해 고성능 벡터 임베딩을 사용하는 등 모든 니즈를 충족합니다.

기업을 위한 쉬운 RAG 가이드를 소개합니다. 

우선 대부분의 엔터프라이즈 애플리케이션에 즉시 이용 가능한 RAG를 사용하세요. Vertex AI Search는 Google 품질 수준의 RAG(검색)로 엔드 투 엔드 정보 검색 프로세스를 간소화합니다. Vertex AI Search에서는 RAG 서비스는 물론 광학 문자 인식(OCR), 데이터 이해 및 주석, 스마트 청킹, 임베딩, 색인 생성, 저장, 쿼리 재작성, 맞춤법 검사 등 RAG 시스템 빌드를 위한 다양한 요소를 모두 Google Cloud가 관리합니다. Vertex AI Search는 문서, 웹사이트, 데이터베이스, 정형 데이터를 포함한 데이터에 연결되며 기본 제공 커넥터로 JIRA 및 Slack과 같은 서드 파티 앱에도 연결됩니다. 무엇보다도, 몇 분이면 설정할 수 있습니다.

개발자는 GitHub에 있는 Vertex Grounded Generation playground에서 Google 검색과 기업 데이터를 사용한 그라운딩을 경험할 수 있습니다. 여기에서 쿼리의 그라운딩된 응답과 그라운딩되지 않은 응답을 나란히 비교할 수 있습니다. 

다음으로, 특정 사용 사례의 RAG를 직접 빌드하세요. 자체 RAG 시스템을 빌드해야 하는 경우를 위해 Vertex AI에서는 레이아웃 파싱, 순위 지정, 그라운딩된 생성, 그라운딩 확인, 텍스트 임베딩, 벡터 검색 등 바로 이용할 수 있는 다양한 작업을 개별 API로 제공합니다. 레이아웃 파서는 비정형 문서를 정형 표현으로 변환하며, 차트와 수치의 멀티모달 이해를 토대로 테이블과 이미지가 삽입된 PDF 등 다양한 문서의 검색 품질을 크게 개선합니다. 실제로 이러한 문서는 대다수 RAG 시스템의 과제입니다.

Google Cloud의 벡터 검색 서비스는 고성능 커스텀 임베딩 기반 정보 검색이 필요한 기업에 특히 유용합니다. 벡터 검색은 수십억 개의 벡터로 확장할 수 있으며 몇 밀리초 내에 최근접 이웃을 찾을 수 있어 규모가 큰 기업의 니즈를 충족하는 데 적합합니다. 이제 벡터 검색에서 하이브리드 검색도 지원합니다. 임베딩과 시맨틱 검색 기술을 결합하여 사용자에게 가장 관련성 높고 정확한 응답을 제공합니다. 

생성형 AI 앱을 어떻게 빌드하든 특정한 니즈를 충족하기 위해서는 철저한 평가가 필수입니다. Vertex AI의 Gen AI Evaluation Service를 사용하면 일반적인 벤치마크에서 더 나아가 자체 평가 기준을 정의할 수 있습니다. 따라서 창의적인 콘텐츠를 생성하거나 문서를 분석하는 등의 고유한 사용 사례에 모델이 얼마나 부합하는지 정확히 파악할 수 있습니다.

막연한 기대감에서 벗어나 실질적인 영향력을 행사하기 

초기에는 생성형 AI를 둘러싼 기대감이 주를 이루었으나 이제는 보다 실용적인 단계로 나아가 실제 애플리케이션과 실질적인 비즈니스 가치에 초점을 맞추고 있습니다. 이러한 목표를 달성하려면 그라운딩이 중요합니다. 그라운딩은 AI 모델이 단순히 텍스트만 생성하는 것이 아니라 고유한 기업 지식에 기반한 인사이트를 생성하도록 합니다.

• Alaska Airlines에서는 자연어 검색을 개발하여 유능한 여행사 직원과 상호작용하는 듯한 AI 기반의 대화형 환경을 여행객에게 제공하고 있습니다. 이 챗봇은 여행 예약을 간소화하고 고객 경험을 개선하고 브랜드 아이덴티티를 강화하는 것을 목표로 하고 있습니다. 

• Motorola Mobility의 Moto AI는 Gemini와 Imagen을 활용하여 대화 요약, 알림 이메일, 이미지 생성, 자연어 검색 등의 기능으로 스마트폰 사용자에게 새로운 차원의 생산성, 창의성, 재미를 선사합니다. 이 모든 기능이 Google 검색으로 그라운딩된 신뢰할 수 있는 대답을 제공합니다. 

• Cintas는 고객 서비스 및 영업팀에서 주요 정보를 쉽게 찾을 수 있도록 Vertex AI Search를 사용해 내부 지식 센터를 개발하고 있습니다.

• Workday는 Vertex AI에서 자연어 처리를 사용해 기술직 및 비기술직 사용자 모두가 데이터 인사이트에 쉽게 접근할 수 있습니다.

그라운딩을 도입하면 비즈니스에서 생성형 AI의 잠재력을 최대한 활용하고 혁신의 시대를 선도할 수 있습니다. 자세히 알아보려면 Google Cloud의 그라운딩 서비스에 대해 깊이 있게 다룬 Gemini at Work 세션을 확인하세요. 그라운딩을 비롯한 더 나은 검색으로 비즈니스 성과를 개선하는 방법을 알아보려면 이 eBook을 다운로드하세요. 

지금 바로 RAG에 즉시 이용 가능한 Vertex AI Search를 사용하여 생성형 AI 애플리케이션을 지원해 보세요. $1,000의 무료 크레딧이 제공됩니다.