2024년, 생성형 AI로 데이터를 활용하는 5가지 방법

*본 아티클의 원문은 2024년 1월 25일 Google Cloud 블로그(영문)에 게재되었습니다.

필기 인식부터 이미지 편집, 동영상 처리에 이르기까지 AI는 이미 수십 년 동안 사용되어 온 기술입니다. 그러나 생성형 AI의 등장으로 데이터 분석, 문서 편집 뿐만 아니라 텍스트, 이미지, 음악, 코드 등 완전히 새로운 콘텐츠를 생성할 수 있는 분야에서도 큰 발전이 기대되고 있습니다.

많은 사람이 생성형 AI를 가리켜 휴대전화나 심지어는 인터넷의 등장보다 더 큰 의미가 있다고 말합니다. 일각에서는 채택 주기를 고려하면 생성형 AI가 3년 안에 모든 가정에 보급될 수 있다는 전망도 나옵니다.

그러나 적절한 데이터 없이는 AI가 할 수 있는 일에도 한계가 있습니다. 다른 모든 위대한 발전의 토대가 되는 것이 데이터이기 때문입니다. 그런가 하면 과거에는 다루기 힘들었던 데이터 소스를 이제 생성형 AI를 통해 관리하는 스마트한 방법도 등장하고 있습니다.

데이터, 분석, AI가 이제 생성형 AI를 포용하도록 진화함에 따라 비즈니스 데이터에 생성형 AI를 도입하여 각 기회를 최대한 활용할 수 있는 5가지 방법을 소개합니다.

1. 생성형 AI를 활용하여 모든 데이터의 가치 실현

오늘날 기업 데이터 중 액세스 가능한 데이터는 10%에 불과합니다. 하지만 대규모 언어 모델(LLM)의 등장으로 요약, 분류, 감정 추출, 번역, 이상 감지 등의 기능을 갖추게 되면서 이제 비정형 데이터를 포함하여 모든 데이터에서 인사이트를 추출할 수 있게 되었습니다.

대부분의 회사에서는 LLM을 처음부터 학습시킬 필요가 없습니다. 세계적인 규모의 Google PaLM 모델, 곧 광범위하게 제공될 멀티모달 Gemini 모델을 비롯해 선행 학습된 LLM 모델 수가 점점 늘어나고 있으며 Hugging Face, Anthropic, Cohere 등이 호스팅하는 서드 파티 모델 생태계도 활발하게 조성되고 있습니다. 그러나 LLM을 데이터에 적용하는 것만으로는 충분하지 않습니다. 현실에 기초해 모델을 학습시켜야 합니다. 그렇지 않으면 할루시네이션이 발생할 위험이 있습니다. 자체 기업 데이터를 사용하여 모델을 세부 조정하고 모델이 비즈니스 현실에 기반하는지 여부를 확인하는 일은 조직의 몫입니다.

안타깝지만 최신 데이터 스택에 대한 대규모 투자에도 불구하고 데이터 기반은 여전히 정리되지 않은 상태이며, 이 때문에 조직에서 LLM 학습이나 LLM 세부 조정에 필요한 데이터에 액세스하기가 어렵습니다. 그러나 생성형 AI는 기업에게는 클라우드 전반에 걸친 데이터 사일로 문제 해결에 나설 동기를 부여해 줄 것입니다. 모두에게 통합된 데이터 뷰를 제공하고 데이터 품질을 보장하는 것은 향후 생성형 AI의 성공을 위해 매우 중요합니다.

거버넌스는 더 이상 추후에 더하는 솔루션이 아닙니다. 데이터 계보, 품질, 데이터 프로파일링 모두 데이터 기반에 통합되어야 합니다. Google Cloud에서는 BigQuery(통합 데이터용 BigLake포함), 교차 클라우드 데이터 처리 및 연결을 지원하는 Omni, 거버넌스가 기본 제공되는 Dataplex 등 동급 최고의 데이터 기반으로 차세대 혁신을 지원하기 위해 최선을 다하고 있습니다.

2. 이해와 학습을 촉진하는 시맨틱스로 LLM 활성화

가장 일반적인 형태의 생성형 AI 애플리케이션의 예시로는 정교한 챗봇의 빌드를 들 수 있습니다. Walmart의 My Assistant는 직원 생산성 향상을 위해 설계되었고, Mayo Clinic의 Enterprise Search는 의료 전문가가 환자 데이터에 신속하게 액세스할 수 있도록 해주며, Morgan Stanley의 Assistant는 재무 설계사가 고객에게 더 많은 시간을 할애할 수 있도록 지원합니다. 내년쯤이면 기업의 20%가 음성 지원 인터페이스를 자체 대시보드 및 시스템과 통합할 것으로 예상됩니다.

비즈니스 데이터와 채팅할 수 있다면 조직에서 무엇이 가능할지 상상해 보세요. 과거에는 쿼리를 실행하고 대시보드를 구축하기 위해 데이터 분석가에게 의존해야 할 뿐 아니라, 비즈니스 사용자가 대시보드의 내용을 해석해야 했습니다. 시간이 지나면서 기업에 수백, 수천 개의 커스텀 대시보드와 측정항목이 누적되었지만, 측정항목의 부조화가 그 어느 때보다 심각합니다.

기업에서는 서로 다른 의미를 가진 다양한 비즈니스 용어를 사용합니다. 예를 들어, '고객 유지'는 실제로 무엇을 의미할까요? 지난 한 해 동안의 매출을 묻는 경우에 '지난 한 해'는 회계 연도를 의미할까요, 아니면 역년을 의미할까요? 비즈니스 챗봇은 비즈니스 용어와 그 용어의 미묘한 차이를 모두 정확하게 해석할 수 있어야 합니다.

Google Cloud에서는 시맨틱스와 문맥 인지 채팅 기능에 솔루션이 있다고 생각합니다. 미래의 챗봇은 데이터에 대한 시맨틱스와 검색 증강 생성(RAG) 기술을 활용하여 사용 기록과 메타데이터의 맥락을 바탕으로 대화를 보강할 것입니다. Google Cloud는 Looker를 통해 클라우드 BI 기술을, LookML을 통해 시맨틱스를 발전시키면서 대화형 생성형 AI를 기반으로 새로운 데이터 환경을 구축하여 비즈니스 인사이트에 대한 액세스를 혁신하고자 합니다.

3. 생성형 AI를 통해 근로자에게 '생각하는 시간' 제공

기존의 데이터, 분석, AI는 마케팅, 고객 서비스, 재무와 같은 특정 비즈니스 기능에 중점을 두고 있었습니다. 생성형 AI는 이러한 기존 기능에 박차를 가하는 동시에 인사 관리, 법무, 총무 등 지금까지 데이터, 분석, AI를 제한적으로만 사용할 수 있었던 비즈니스 기능에도 새로운 가능성을 열어줄 것입니다. 브레인스토밍, 문서 처리, 업무 일정 조율, 조직, 계획 등은 향후 3년간 AI의 영향을 가장 많이 받을 것으로 예상되는 업무 활동 중 일부에 불과합니다.

다양한 경제적 그리고 전 세계적 압력, 더욱 빨라지는 디지털화, 점점 더 경쟁이 치열해지는 오늘날의 환경 속에서 많은 기업이 '더 적은 리소스로 더 많은 업무를 처리'하기 위해 고군분투하고 있습니다. 생성형 AI는 마침내 모든 사람이 생산성의 잠재력을 완전히 실현하도록 돕는 기술이 될 것으로 보입니다.

생성형 AI는 인간의 역량을 강화함으로써 지루하고 반복적인 작업을 대신하고 진정한 창의성과 혁신은 인간의 몫으로 남겨둘 것입니다. 인간은 더 나은 전문가, 더 나은 문제 해결자가 되고 더 깊은 사유를 할 수 있게 될 것입니다. 과거에는 생산성이란 더 많은 작업을 수행하는 것을 의미한다고 생각했습니다. 오늘날 생성형 AI 시대에는 더 큰 목표 달성, 더 큰 성과, 새로운 솔루션, 진정한 혁신을 생산성이라 여기게 될 것입니다.

4. 자동화를 통해 대규모로 AI 활성화

앞으로 몇 년 동안 기업의 AI 도입이 급증할 것입니다. Gartner는 "API 또는 모델을 통해 생성형 AI를 사용하거나 프로덕션 환경에 생성형 AI 지원 애플리케이션을 배포하는 기업의 비율이 2023년 5% 미만에서 2026년에는 80% 이상으로 증가할 것"이라고 예측합니다. 하지만 챗봇을 빌드하는 것만으로는 충분하지 않습니다.

기저에 있는 비즈니스 프로세스에 생성형 AI를 통합해야 진정한 생성형 AI 도입이라 할 수 있습니다. 이렇게 증가하는 니즈를 충족하기 위해 자동화와 생성형 AI라는 새로운 기술 조합이 등장하여 기업의 진정한 혁신, 효율성, 규모 달성을 지원할 것으로 기대됩니다. Google Cloud에서는 추론하고 의사 결정을 내리며 적절한 작업에 적합한 도구를 선택하고 환경 변화에 따라 학습 및 적응하도록 설계된 '지능형 에이전트'를 빌드하고 있습니다.

그러나 자동화에는 위험이 따릅니다.

안전 장치가 없다면 AI는 기업과 사회 모두에 해가 될 수 있습니다. 이러한 위험에 대처하기 위해 더 많은 규제, 감독, 투명성을 요구하는 비즈니스 리더와 정부의 목소리도 커질 것으로 예상합니다. EU의 경우 이미 규제 기관에서 더 엄격한 감독을 시행하고 생체 인식 검사와 예측 치안 시스템 같은 특정 사용 사례를 금지하도록 하는 AI법을 제안했습니다.

5. 인재와 기술에 대한 생각의 전환

모든 데이터 혁신에서 인재 확보는 항상 걸림돌로 지적되곤 했습니다. 매년 수만 명의 신규 데이터 전문가와 분석가가 직원으로 채용되는 덕분에 전통적인 교육을 받은 데이터 및 분석 인재는 더 쉽게 접할 수 있게 되었지만, 생성형 AI에는 새로운 기술을 활용할 줄 아는 새로운 인재가 필요합니다.

생성형 AI는 다양한 기술을 갖춘 인력을 요구합니다. 따라서 생성형 AI 시스템으로 유출입되는 대규모 데이터를 배포, 모니터링, 모델링, 유지할 수 있는 전문성을 갖춘 새로운 역할과 책임이 대두되고 있습니다. 회자되는 직종은 다음과 같은 것들이 있습니다.

• 고품질 데이터를 선별하고 모델을 학습시키고 세부 조정하며 성능을 최적화하는 AI 엔지니어
• 효과적인 프롬프트를 만들고 피드백 루프를 활용하여 LLM 성능을 향상시키는 프롬프트 엔지니어
• 편향 문제 조사, 윤리 가이드라인 설정, 데이터 개인 정보 보호 및 보안 프로토콜 구현에 관심이 있는 AI 윤리학자
• 성능, 효율성, 리소스 활용과 관련한 문제를 해결하는 AI 옵티마이저

Google Cloud에서는 이러한 역할이 모두 인간의 힘으로만 수행되어야 한다고 생각하지는 않습니다. Google Cloud는 혁신적이고 새로운 생성형 AI 기술을 개발하면서 이러한 직종을 지원하고 경우에 따라서는 이러한 업무를 완전히 흡수할 수 있는 서비스를 빌드하고 있습니다.

^{도입부의 이미지는 Google Cloud 기반의 Midjourney에서 '비정형 데이터를 크레인과 작업자가 있는 건설 현장에서 정돈 중인 상자에 빗댄 시각적 메타포를 평면식으로 기발하게 표현'이라는 프롬프트를 사용하여 생성되었습니다.}