Google Cloud에서 AI 할루시네이션 문제를 다루는 연구원을 만나보세요

*이 콘텐츠는 AI 번역 도구를 사용하여 번역되었습니다. 정확성을 기하기 위해 노력하고 있으나, 자동 번역에는 오류나 누락이 포함될 수 있습니다. 정확한 정보는 영문 원본을 참고해 주시기 바랍니다.

사이러스 라슈치안에게 AI의 신뢰성을 높이는 것은 진정한 책임입니다.

사이러스는 Google의 수석 연구 과학자입니다. 이론 컴퓨터 과학을 전공하고 컴퓨터 과학 및 공학 분야의 박사후 연구원 과정을 거친 그는 수년간 알고리즘이 정보를 분류하는 방식의 수학적 경계를 연구해 왔습니다. 최근 그는 대규모 언어 모델, 그중에서도 특히 '할루시네이션'으로 불리는 고질적 문제에 집중하고 있습니다. 할루시네이션이란 인공지능 모델이 정확한 사실을 알지 못하면서도 마치 사실인 양 자신 있게 답변을 지어내는 현상을 말합니다.

사이러스는 "사람들이 AI가 할 수 있다고 생각하는 것과 실제로 할 수 있는 것 사이에는 큰 차이가 있다는 것을 깨닫기 시작했습니다.

이러한 단절을 경험한 후 Google의 AI 모델이 제대로 작동하도록 보장해야 한다는 막중한 책임감을 느꼈습니다. 모델의 정확도가 80% 에 불과하다면 이를 사용하여 자신이나 고객을 위해 빌드하는 사람의 정확도도 80% 에 그칠 수밖에 없습니다. "시끄럽고, 할루시네이션이 발생하고, 혼란스럽거나 도움이 되지 않는 대답에 만족할 필요는 없다고 생각합니다."라고 그는 말했습니다.

에이전트 RAG가 엔터프라이즈 검색에서 AI 할루시네이션을 줄이는 방법

이러한 할루시네이션된 대답을 직접 해결하기 위해 Cyrus와 Google 연구팀 및 Google Cloud의 동료들은 엔터프라이즈 워크플로가 좋은 출발점이 될 것이라고 생각했습니다.

현재 많은 비즈니스에서 검색 증강 생성 (RAG)이라는 프레임워크를 사용하여 AI 모델을 비공개 데이터베이스에 연결하고 있습니다. 표준 설정에서는 사용자가 질문하면 시스템이 데이터베이스를 한 번 검색하고 몇 개의 관련 문서를 가져와 대답을 생성합니다. 답변을 위해 두 개의 서로 다른 데이터베이스에 있는 세 개의 서로 다른 문서에서 정보를 종합해야 하는 경우 시스템이 어려움을 겪습니다. 퍼즐의 한 조각을 찾고 나머지는 포기한 다음 누락된 컨텍스트를 추측하려고 시도합니다. 이때 격차가 발생합니다.

이 문제를 해결하기 위해 팀은 Gemini Enterprise Agent Platform의 에이전트 RAG라는 접근방식을 개발했습니다. AI를 단일 검색 엔진으로 취급하는 대신, 조직화된 연구 부서처럼 구조화했습니다. 시스템은 복잡한 요청을 더 작은 조각으로 나누고, 사용자의 쿼리에 답할 수 있는 충분한 컨텍스트를 찾기 위해 특정 데이터베이스로 타겟팅된 검색 쿼리를 라우팅합니다.

성공의 근본적인 이유는 무엇일까요? 모델에 자체적인 결과를 평가하도록 요청합니다.

Cyrus는 '우리 팀이 주로 사용하는 방법은 다단계 프롬프트입니다. 모델에 작업을 요청한 다음 모델의 작업을 확인하기 위해 다시 프롬프트를 작성하는 방식이죠.'라고 말합니다. 이 프로세스는 종종 '비평 및 수정'이라고 불리며, 시스템이 출력을 일시중지하고 평가하도록 합니다.

매장 인벤토리를 관리한다고 가정해 보겠습니다. 검색 에이전트가 있는 경우 선반에 있는 제품의 데이터를 가져와서 멈출 수 있습니다. 하지만 유사한 제품이나 잘못된 라벨이 붙은 항목과 같이 잘못 분류된 항목이 있다면 어떻게 해야 할까요? 에이전트 RAG 시스템을 사용하면 발견한 내용을 원래 요청 (예: 상위 10개 SKU 가져오기)과 비교하고, 컨텍스트가 명확한 답변을 제공하기에 충분할 때까지 에이전트가 다시 돌아가서 계속 검색하고 평가하도록 강제합니다.

모델이 행간을 읽도록 가르치기

이러한 작업을 단계별로 또는 진화 과정으로 생각하면 도움이 됩니다. 1단계는 AI가 할루시네이션 없이 책임감 있게 작동하도록 하는 것입니다. RAG와 Agent Platform에 대한 팀의 작업은 이러한 방향으로 나아가는 한 걸음입니다.

두 번째 단계는 의도입니다. 이 단계에서는 AI가 행간을 읽어 인간이 실제로 무엇을 요청하는지 이해할 수 있습니다. 의도는 언어의 맥락을 연구하는 언어학과 철학의 하위 분야인 화용론이라는 분야에 기반을 두고 있습니다. 인간은 의도의 모든 세부사항을 일일이 설명하지 않기 때문에 화자와 청취자 간에 공유되는 암묵적인 맥락에 크게 의존합니다. AI가 이를 제대로 파악하기는 매우 어렵습니다.

사이러스는 "우리는 화용론이라는 분야에 대해 이야기해 왔습니다. 화용론은 사람들이 말하는 모든 것을 의미하지 않을 때 그들이 의미하는 바를 나타내는 멋진 단어입니다."라고 말했습니다. "누군가 저에게 '뉴욕에 계신가요?'라고 물으면 '뉴욕 사무실에서 일하시나요?'라는 뜻이겠죠. 제 상태가 어떤지 궁금해서 물어본 게 아니었죠. 이 질문을 이해하는 데 필요한 모든 공유된 컨텍스트가 있습니다. LLM의 경우 사용자와 시스템 간에 공유되는 컨텍스트가 무엇인지 정의해야 합니다."

중요한 점은 인텐트가 인간을 더 잘 이해하도록 AI를 돕는 것이지, 그 반대가 아니라는 것입니다. 1단계와 2단계가 AI를 다르게 또는 더 잘 사용하는 방법을 사람들에게 교육하는 것을 의미하는지, 아니면 AI가 우리의 의도를 더 쉽게 이해할 수 있도록 하는 방법을 의미하는지 물었을 때, 사용자가 행동을 바꿀 필요는 없다고 말했습니다.

"해결할 수 있는 문제라고 생각합니다." "사용자가 이러한 책임을 맡아서는 안 됩니다. AI가 작동해야 하고, 시스템이 작동해야 하며, 예측 가능하고 일관성이 있어야 하며, 가능한 한 최선의 정답을 제공해야 합니다.”

할루시네이션과의 싸움의 3단계

장기적으로 이 작업의 세 번째 단계는 적응성입니다. AI가 맞춤설정된 이메일을 작성하는 데 도움을 줄 수 있다는 점은 인상적이지만, AI가 직장 문화의 구체적인 분위기, 동료와의 상호작용 방식, 동료와 달리 임원에게 더 격식 있게 대해야 하는 적절한 시점을 이해할 수 있을까요?

"모델에 더 많은 적응성을 빌드하려고 노력하고 있으며, 이를 통해 모델을 개선할 수 있다고 생각합니다. 또한 업무에 사용할 때 적절한 언어와 속도를 사용하여 업무 문화를 어느 정도 반영할 수 있기를 바랍니다. 1단계와 2단계에 대해 많은 시간을 고민했지만 3단계도 동시에 구축하고 있습니다."

이 연구에 대해 자세히 알아보려면 여기에서 연구 심층 분석 전문을 읽어보세요. 이 새로운 RAG 기능은 현재 Gemini Enterprise 에이전트 플랫폼에서 공개 프리뷰로 제공되고 있으며,2026년 후반에 출시될 향후 에이전트 검색 제품의 기반이 될 것입니다.