다크 데이터에서 유용한 인사이트 도출: AI 에이전트가 데이터를 단순화하는 방법

* 본 아티클의 원문은 2025년 2월 21일 Google Cloud 블로그(영문)에 게재되었습니다.

AI 에이전트는 기업이 일부 데이터가 아닌 모든 데이터를 쉽게 이해하고 사용할 수 있도록 지원하여 더 나은 의사 결정과 새로운 기회를 달성할 수 있게 합니다.

지식이 풍부한 동료에게 질문하는 것처럼 조직의 모든 데이터(모든 문서, 스프레드시트, 이메일, 이미지, 동영상)와 쉽게 대화할 수 있다고 상상해 보세요. 이젠 상상할 필요가 없습니다. 공상과학 속 장면이 현실이 되었으니까요. 오늘날 기업은 일반적으로 자체 데이터의 10%만을 이용하고 있지만 이제 AI 에이전트로 나머지 약 90%를 차지하는 비정형 데이터를 곧 활용할 수 있게 됩니다.이는 조직에서 현재 이용할 수 없는 데이터를 활용하여 AI를 강화할 수 있는 놀라운 기회입니다.

현재 두 가지 과제가 있습니다. 문서, 이미지, 오디오 파일에 잠들어 있는 90%의 데이터는 이용할 수 없을 뿐만 아니라, 이용 가능한 10%의 데이터도 데이터 전문가가 부족해 분석 및 해석에 어려움이 있습니다. 이로 인해 데이터 기반 의사 결정에 심각한 병목 현상이 발생하고 있는데, 머지않아 이 문제는 해결될 것입니다.

AI 에이전트는 지금껏 기다려온 혁신입니다. 단순히 광범위한 대화를 나누는 범용 언어 모델과 달리 특정한 목적에 맞게 설계된 이 디지털 작업자는 사용자의 데이터 시스템에 긴밀하게 통합되어 전문적인 역량을 갖추고 있습니다. AI 에이전트는 데이터 환경을 자율적으로 탐색하고 비즈니스 컨텍스트를 이해하고 선호되는 워크플로에 따라 인사이트를 사용자에게 직접 제공할 수 있습니다. 데이터 전문 지식은 필요하지 않습니다.

마치 쉬지 않고 일하는 데이터 분석가를 고용한 것 같은 효과입니다. 궁금한 점이 있을 때 소수의 데이터 전문가에게 전화하는 대신 데이터 에이전트와 대화할 수 있습니다. 데이터 에이전트는 데이터 전문가와 동일한 작업 단계를 거칩니다. 사용자가 무엇을 찾고 있는지 이해하고, 분석을 시행하고, 이해하기 쉬운 형식으로 결과를 제공합니다.

기업 데이터의 발전

기업 데이터의 발전 과정은 참으로 놀랍습니다. 그 역사는 개인적으로 원시 시대라고 부르는 단순하지만 제한적인 데이터를 다루던 시절부터 시작됐습니다. 대부분의 비즈니스는 알려진 특정 비즈니스 질문에 답할 수 있도록 구축된 스프레드시트와 데이터베이스의 기본적인 정형 정보에 의존했습니다. 이러한 데이터는 관리하긴 쉽지만 사용 가능한 인사이트 중 극히 일부만 포착할 수 있습니다.

이후 '빅데이터' 시대가 도래하면서 데이터의 양과 복잡성이 폭발적으로 증가했습니다. 조직은 정교한 데이터 웨어하우스와 데이터 레이크를 구축하고 방대한 정보를 축적하여 숙련된 전문가가 이러한 데이터로부터 유용한 정보를 추출해 주기를 바랐습니다. 그러나 방대한 데이터 속에서 허우적댈 뿐 인사이트는 너무나도 부족했습니다.

이제는 모든 유형의 데이터가 포착되는 멀티모달 데이터 단순화의 시대로 접어들고 있습니다. 동영상, 오디오, 음성, 텍스트, PDF 등을 통해 세상을 듣고 보고 감지하는 시대입니다. 멀티모달 데이터의 시대는 이러한 다양한 데이터 세트를 활용하고 주변의 세계를 제대로 나타내는 인사이트를 얻는 데 필요한 도구를 제공하는 멀티모달 생성형 AI에 의해 뒷받침됩니다.

지금 바로 나타나는 실질적인 효과

이 같은 진화가 이론적으로만 들릴 수도 있지만 이미 여러 산업 분야에서 실질적인 비즈니스 효과를 내고 있습니다. Volkswagen Group of America의 myVW Virtual Assistant가 그 예입니다. 이 가상 어시스턴트는 기술 설명서, FAQ, 시각 데이터를 꼼꼼하게 확인하여 차량 운전자가 자연스러운 대화를 통해 문제를 진단할 수 있도록 지원합니다. myVW Virtual Assistant는 단순한 챗봇이 아니라 다양한 유형의 차량 데이터 간의 관계를 이해하고 경고등에서 유지보수 일정에 이르기까지 모든 것을 해석할 수 있는 전문 시스템입니다.

HCA Healthcare는 또 다른 강력한 애플리케이션입니다. AI 에이전트를 통해 의료 기록, 영상 데이터, 연구 논문 등 다양한 의료 정보를 통합하여 치료 시점에 임상의에게 관련성 높은 인사이트를 제공하는 시스템을 만들었습니다. 이는 단순히 효율성을 높이는 데 그치지 않고 포괄적인 데이터 액세스를 통해 더 나은 의학적 판단을 내릴 수 있게 합니다.

대시보드의 제약에서 벗어나기

기존의 대시보드 덕분에 지금까지 성장할 수 있었지만 이제는 더 이상 충분하지 않습니다. 대시보드는 기업 데이터를 살펴보는 주요 창구로 사용되었지만 현실은 냉엄합니다. 조직에는 사용되지 않거나 오래된 대시보드가 수천 개나 있습니다. 대시보드는 일회성 질문을 위해 만들어진 후 잊힙니다. 이제 더 나은 방법이 필요합니다.

바로 여기서 AI 에이전트가 진가를 발휘합니다. AI 에이전트가 이메일, 채팅, 기타 비즈니스 애플리케이션 등 기존 워크플로 내에서 직접 인사이트를 제공하므로 비즈니스 사용자는 복잡한 대시보드를 탐색하거나 데이터 분석가의 지원을 기다리지 않아도 됩니다. 비즈니스 사용자에게 사전 정의된 측정항목이 포함된 정적 대시보드를 확인하도록 요구하는 시대는 끝났습니다. 사용자가 다른 도구로 이동한 다음 필요한 컨텍스트로 데이터를 다시 변환할 필요 없이 사용자가 있는 곳에서 정보를 찾을 수 있어야 합니다.

데이터 가치의 속도를 높이는 선순환 구조

여기서부터 정말 흥미로워집니다. 조직에서 다양한 데이터 신호를 한데 모아 팀 전체가 액세스할 수 있게 하면 이전에 보이지 않았던 숨겨진 패턴을 발견하는 경우가 많습니다. 이러한 인사이트를 바탕으로 더 나은 서비스와 고객 경험을 만들 수 있으며, 이는 다시 더 많은 데이터 신호를 생성하여 '실시간 데이터 선순환 구조'를 형성합니다.

데이터 기반 가치 창출의 핵심은 놀라울 정도로 간단합니다. 더 많은 데이터 신호를 모을수록 데이터에 숨겨진 패턴을 더 많이 찾을 수 있습니다. 이러한 패턴으로 더 나은 서비스와 모델을 빌드할 수 있고 이를 통해 더 많은 데이터가 생성됩니다. 그러면서 지속적인 개선의 선순환이 이루어지게 됩니다.

이제는 더 이상 빅데이터가 아닌 '와이드 데이터'의 시대입니다. 전 세계 주요 조직은 고객 데이터, 판매 데이터, 서비스 데이터, 소셜 미디어 데이터를 통합 레코드로 결합하면 사일로화된 시스템에서 보이지 않던 패턴을 발견할 수 있다는 것을 깨닫고 있습니다. 이러한 인사이트는 새로운 서비스와 혁신을 이끌어내고 끊임없는 개선의 선순환을 일으키는 원동력이 됩니다.

향후 계획

데이터 리더라면 바로 지금 조치를 취해야 합니다. AI 에이전트의 효과는 기존 절차의 효율성을 높이는 데 그치지 않고 조직 전반의 데이터 액세스를 범용화하고 있습니다. 이제 전문 데이터팀에 의존하지 않아도 모든 직원이 대화 방식으로 조직의 데이터를 통해 인사이트를 얻을 수 있습니다. AI 에이전트가 숨겨져 있던 데이터의 90%를 활용할 수 있게 되면 데이터와의 대화를 통해 완전히 새로운 가능성이 열릴 것입니다.

문제는 이러한 변화를 수용할 것인지가 아니라 얼마나 빠르게 실현할 수 있는지입니다. AI 에이전트의 접근성과 통합 데이터 플랫폼의 강력한 기능을 결합하면 마침내 다크 데이터를 유용한 인사이트로 전환하고 이러한 인사이트를 활용하여 고객과 비즈니스를 위한 전례 없는 가치를 창출할 수 있습니다.