The Prompt: 긴 컨텍스트의 개념과 긴 컨텍스트가 AI에 중요한 이유

* 본 아티클의 원문은 2024년 11월 23일 Google Cloud 블로그(영문)에 게재되었습니다.

비즈니스 리더들 사이에서 생성형 AI가 큰 관심을 모으고 있습니다. 정기적으로 게시되는 'The Prompt' 칼럼은 빠르게 변화하는 이 혁신적인 주제와 관련한 최신 정보를 제공하기 위해 Google Cloud 리더가 고객 및 파트너와 긴밀히 협력하여 AI의 미래를 정의하고 있는 분야에 관한 소식을 전해드립니다. 이번 호에서는 Vertex AI 제품 리더인 Warren Barkley가 긴 컨텍스트 윈도우의 이점을 얻을 수 있는 사용 사례와 이때 고려해야 할 주요 사항을 설명합니다.

새로운 진보와 혁신이 기록적인 속도로 빠르게 진행되고 있는 현 상황에서 생성형 AI 여정의 어느 단계에 있든 모든 조직은 앞으로의 동향을 파악하는 것이 매우 중요합니다. 지난 1년 동안 폭발적으로 증가한 컨텍스트 윈도우의 규모는 주목할 만한 진전입니다.

컨텍스트 윈도우란 생성형 AI 모델이 한 세션에서 기억할 수 있는 정보의 양을 뜻하며, 토큰 단위로 측정됩니다. 토큰은 모델이 처리할 수 있는 가장 작은 단위의 빌딩 블록이며 단어, 이미지 또는 동영상의 일부분일 수 있습니다. 컨텍스트 윈도우가 길수록 모델이 처리하고 사용할 수 있는 데이터의 양도 증가합니다. 예를 들어 Gemini 1.5 Pro 모델은 최대 2백만 개의 토큰을 처리할 수 있어 업계 최고 수준의 컨텍스트 윈도우를 자랑합니다. 좀 더 실질적인 관점으로 설명하자면 한 번에 단어 150만 개를 처리할 수 있다는 뜻이며, 이는 약 5,000페이지 분량의 텍스트(지난 10년 동안 한 사람이 보낸 모든 문자 메시지)와 맞먹는 수준입니다.

이러한 혁신은 AI를 모두에게 더 유용하게 만드는 데 크게 기여하지만, 여전히 많은 조직이 긴 컨텍스트의 이점을 충분히 활용하지 못하고 있습니다. “긴 컨텍스트가 정말로 유용한가요? 실제로 뭘 할 수 있는데요?”라고 질문하는 경우가 많습니다. 대부분의 리더와 경영진에게는 긴 컨텍스트의 실질적인 이점을 비롯해 생성형 AI를 확장하는 데 긴 컨텍스트가 중요한 이유에 관해 자세한 안내가 필요합니다.

이번 칼럼에서는 긴 컨텍스트의 가치와 이를 활용하는 주요 사용 사례, 조직에서 긴 컨텍스트를 활용할 때 고려해야 할 몇 가지 핵심 사항에 대해 자세히 살펴보겠습니다.

긴 컨텍스트로 생성형 AI의 가치 증대

컨텍스트 윈도우는 모델의 단기 메모리라고 할 수 있습니다. 새로운 정보를 한 번에 일정량만 기억할 수 있으며 시간이 지나면 '잊기' 시작합니다. 즉, 컨텍스트 윈도우가 한도에 도달하면 새로 입력된 토큰을 위한 공간을 마련하기 위해 가장 먼저 입력된 토큰을 고려하지 않게 됩니다. 이렇게 되면 답변의 품질과 정확성이 영향을 받을 수 있습니다.

이러한 제약은 기업의 데이터 세트 및 문서를 사용한 업무나 길고 복잡한 상호작용 지원이 요구되는 사용 사례에 특히 중요합니다. 모델이 전체 데이터 세트를 고려하지 못하거나 전체 대화를 '기억'하지 못할 경우 중요한 컨텍스트를 잃게 되어 추론에서 잘못된 해석이나 간극이 발생하기도 합니다. 이로 인해 모델이 답변을 생성할 때 중요한 세부 정보를 간과하거나 할루시네이션 현상을 초래할 수 있습니다. 이는 한 상장 기업의 연간 재무 보고서를 요약하려 할 때 첫 30페이지가 없는 상황과 유사합니다.

조직들은 이러한 한계를 극복하기 위해 여러 가지 전략을 도입해 왔으며, 여기에는 컨텍스트 윈도우 외부로 데이터를 이동하는 검색 증강 생성(RAG)과 같은 기법이 포함됩니다. RAG는 답변의 정확성과 신뢰성을 높이기 위해 모델을 그라운딩하고 실제적인 컨텍스트를 추가하는 데도 많이 사용됩니다. 이러한 접근방식은 특정 사례에서 유용하게 사용될 수 있지만, 긴 컨텍스트 윈도우는 다음과 같은 몇 가지 고유한 기능을 통해 생성형 AI 모델을 활용하고 상호작용하는 방식을 변화시킬 수 있습니다.

• 이해력과 사실에 기반한 정확성 향상: 긴 컨텍스트 모델은 더 길고, 자세하며, 컨텍스트가 풍부한 입력을 고려할 수 있습니다. 이러한 폭넓은 컨텍스트는 복잡한 주제에서 뉘앙스와 복잡한 관계를 종합적으로 이해하도록 하여 보다 정확하고 관련성 있는 답변을 생성하는 데 도움이 됩니다. 또한 더 많은 정보를 고려하고 처리하기 때문에 사실과 다른 부정확한 정보나 할루시네이션을 생성할 가능성이 크게 낮아집니다.
• 고급 컨텍스트 내 학습: 긴 컨텍스트 윈도우는 '다중샷' 컨텍스트 내 학습을 가능하게 하여 모델이 프롬프트에 직접 제공된 수백 또는 수천 개의 예시를 학습할 수 있습니다. 다중샷 접근방식은 파인 튜닝 없이 번역이나 요약과 같은 새로운 작업에 모델을 적응시키는 데 도움이 됩니다.
• 요약 및 정보 검색 향상: 긴 컨텍스트 모델은 정보를 종합하는 데 뛰어나며, 이를 통해 대규모의 텍스트 코퍼스를 분석하고 요약할 수 있습니다. 또한 RAG 기법과 마찬가지로 방대한 데이터 세트에서 정보를 효율적으로 찾고 검색할 수 있어 질의 응답 작업에 특히 효과적입니다. 예를 들어 Gemini 1.5 Pro는 'Needle in the Haystack(모래사장에서 바늘 찾기)' 테스트에서 최대 1백만 개의 토큰으로 이루어진 컨텍스트 내에서 특정 정보를 찾는 데 완벽에 가까운 재현율을 보여주었습니다.

정교한 워크플로: 긴 컨텍스트 윈도우는 깊은 이해력, 추론, 장기 메모리를 요구하는 더욱 복잡한 고급 워크플로에도 도움이 될 수 있습니다. 이러한 이점은 오랜 기간 동안 여러 상호작용에서 컨텍스트와 일관성을 유지해야 하는 AI 에이전트와 어시스턴트를 구현하는 데 특히 중요합니다.

긴 컨텍스트의 사용 사례

긴 컨텍스트 기능은 지금까지 작은 컨텍스트 윈도우로 인해 제약을 받았던 조직들이 완전히 새로운 사용 사례를 활용할 수 있도록 합니다.

대량의 텍스트 입력을 처리하는 능력 덕분에 조직은 다수의 긴 대화에서 컨텍스트를 유지하는 맞춤형 AI 어시스턴트와 에이전트를 구현할 수 있게 되었습니다. 그리고 이를 통해 고객과 직원들에게 더욱 개인화되고 관련성 높은 경험을 제공하는 새로운 기회를 창출하고 있습니다.

많은 조직에서 긴 컨텍스트 윈도우를 활용하여 환자 개개인의 전체 의료 기록을 기반으로 맞춤형 식단 계획을 생성하거나 수천 개의 소셜 미디어 동영상과 댓글을 분석해 여러 고객이 공통적으로 겪는 문제를 파악하고 있습니다. 또한 금융 기관에서는 긴 컨텍스트 윈도우를 통해 대출 계약, 공시 자료, 시장 조사 보고서와 같은 길고 복잡한 문서를 처리하면서 분석과 의사결정의 정확성을 높일 수 있게 되었습니다.

이뿐만 아니라 Gemini 1.5 모델군은 텍스트, 동영상, 오디오, 이미지, 코드 등을 동시에 처리하는 능력을 통해 긴 컨텍스트를 활용한 수많은 멀티모달 사용 사례를 지원합니다. 예를 들어 이러한 모델을 사용하면 멀티모달 입력에서 더 많은 가치와 활용성을 얻어 동영상 또는 팟캐스트 콘텐츠에 대한 질의 응답, 실시간 스크립트 작성 및 번역, 동영상 자막 생성, 동영상 맞춤화와 같은 작업을 수행할 수 있습니다.

긴 컨텍스트를 지원하는 멀티모달 모델은 전체 동영상 라이브러리를 스캔하고 관련 영상을 식별하여 타겟층에 맞는 마케팅 또는 e-러닝 동영상을 만들 수 있습니다. 이는 제조업체에 특히 중요합니다. Gemini 모델이 실시간 센서 데이터를 분석하여 장비 고장을 예측할 수 있으므로 완전히 새로운 수준의 효율성, 생산성, 혁신을 달성하게 됩니다.

이미 많은 고객과 파트너, Google 커뮤니티가 Gemini 1.5 Pro의 활용 사례를 공유하고 있습니다.

• 한 대학 교수는 Gemini 1.5 Pro를 활용해 3,000페이지에 달하는 문서에서 단 한 번에 정확하게 데이터를 추출했습니다.
• 한 금융 서비스 회사는 인수합병 문서를 모두 검색하고 분석하는 데 Gemini 1.5 Pro를 활용하고 있습니다.
• 한 스포츠 기술 회사는 AI 지원 카메라로 경기를 촬영합니다. 사용자는 이 동영상에 대해 질문하면서 경기를 평가하고 주요 순간을 빠르고 정확하게 찾아낼 수 있습니다.
• 한 스타트업 창업자는 전체 코드베이스를 이해하고 가장 시급한 문제를 식별하여 이를 해결하는 데 Gemini 1.5 Pro를 활용하고 있습니다.

이는 긴 컨텍스트를 사용하고 이를 Gemini의 멀티모달 추론 및 강력한 성능과 결합했을 때 어떤 잠재력이 발휘될지 보여주는 몇 가지 대표 사례에 불과합니다.

긴 컨텍스트의 주요 고려사항

긴 컨텍스트는 뛰어난 기능을 제공하는 토대이지만 모든 사용 사례에 이상적인 솔루션인 것은 아닙니다. 데이터가 자주 업데이트되거나 여러 출처에서 다양한 정보를 가져와야 하는 경우 RAG 시스템을 생성형 AI 모델에 직접 연결하는 것이 정확하고 사실에 기반한 정보를 검색하여 답변을 생성하는 데 더 효과적일 수 있습니다.

긴 컨텍스트의 쿼리는 일반적으로 데이터 처리 시간이 길고 더 많은 컴퓨팅 리소스를 사용하기 때문에 효과적으로 최적화하지 않으면 비용이 늘어날 수 있습니다. 컨텍스트 캐싱은 긴 컨텍스트로 작업할 때 권장되는 주요 최적화 방법입니다. 특히 동일한 정보를 모델에 반복적으로 전달해야 하는 사용 사례에서 요청의 지연 시간과 비용을 줄이는 데 도움이 됩니다. 예를 들어 사용자가 대량의 텍스트, 오디오 파일 또는 동영상 파일 등 동일한 정보에 관해 질문하는 경우 이러한 정보를 한 번만 전달한 뒤 이후 질문에서는 캐싱된 정보를 참조하여 답변을 생성할 수 있습니다.

요약해 보겠습니다. 긴 컨텍스트는 생성형 AI의 가능성을 확장하면서 한계를 재정의하고 있습니다. 비용 최적화와 데이터 최신 상태 등의 요소를 고려하는 것도 중요하지만 긴 컨텍스트의 잠재적 이점은 부정할 수 없습니다. 조직의 생성형 AI 여정에서 AI의 잠재력을 최대한 활용하고 혁신을 주도하기 위해서는 조직이 이러한 발전을 수용해야 합니다.