데이터는 AI의 원동력: 강력한 데이터 기반을 구축하기 위한 5단계

* 본 아티클의 원문은 2025년 2월 13일 Google Cloud 블로그(영문)에 게재되었습니다.

생성형 AI의 도입이 급증하고 있으나 많은 조직이 성공을 가로막는 데이터 문제에 직면해 있습니다. 기업에서 AI 기술을 받아들일 준비가 되었더라도 비전을 실현할 수 있는 적절한 기반이 부족한 경우가 많습니다.

McKinsey에 따르면 생성형 AI를 도입한 조직의 70%가 데이터 거버넌스, AI 모델로의 데이터 통합, 학습 데이터 부족과 관련해 어려움을 겪습니다. 결과적으로 조직은 접근성을 제한하고 발견 가능성을 저해하고 데이터 품질을 저하하는 데이터 전략 때문에 파일럿을 프로덕션으로 확장하는 데 고전하고 있습니다.

이러한 문제를 해결할 수 있도록 Google Cloud에서는 수만 조직의 데이터 및 AI 플랫폼 전략 수립을 지원한 경험을 바탕으로 최근 '데이터와 AI에서 가치를 얻는 방법에 대한 경영진 가이드'를 게시했습니다. 자체적인 데이터 전략 수립 시 참고할 가이드가 필요한 분을 위해, AI를 성공적으로 활용할 수 있도록 견고한 데이터 기반 구축에 관한 기본적인 5가지 단계를 간략히 소개합니다.

1. 강력한 AI 중심 데이터 전략 수립하기

AI 시대의 요구에 부합하려면 조직 문화의 핵심 원칙을 통합하고 비즈니스 및 데이터 실무자 간의 협업을 촉진하고 종합적인 데이터 생태계 구축에 기여하는 강력한 데이터 전략이 필요합니다. 대부분의 경우 데이터 전략을 재구축하려면 인력, 절차, 정책, 기술을 조정할 뿐만 아니라 데이터의 본질적인 가치에 대한 회사의 사고방식도 바꿔야 합니다.

데이터는 전략적인 애셋이므로 그에 맞게 취급해야 합니다. 강력한 데이터 전략은 수익 증대, 비용 및 절차 최적화, 고객 경험 향상 또는 생산성 개선 등 광범위한 전략적 목표와 관련해 향후 AI 전략을 대규모로 지원하는지 여부를 고려한다는 특징이 있습니다. 무엇보다도 AI 중심 데이터 전략은 데이터를 활용하여 전략적 우선순위를 높이고 명확한 거버넌스 정책을 수립하고 조직 내 모든 사용자가 효과적으로 데이터를 액세스, 발견, 사용할 수 있도록 기술, 도구, 절차를 제공합니다.

2. AI 이니셔티브를 위한 단일 정보 소스 마련하기

생성형 AI가 약속하는 혜택을 누리려면 먼저 데이터를 AI에 연결할 수 있어야 합니다. 더 구체적으로 설명하자면 사일로에 갇혀 있거나 액세스가 불가능한 모든 데이터를 입력 데이터로 활용할 수 있어야 합니다. 특히 동영상, 이미지, 텍스트와 같은 비정형 멀티모달 데이터는 여러 플랫폼에 흩어져 있고 다양한 형식으로 저장되는 경우가 많아 포괄적인 보안 및 거버넌스 정책을 통합하고 구현하기가 어렵습니다.

Google Cloud에서는 데이터를 한 곳으로 복사하거나 마이그레이션할 경우 실용성과 비용 효과가 떨어진다는 사실을 발견했습니다. 따라서 통합 플랫폼에 기반하여 개방형 형식을 포함한 모든 유형 및 형식의 데이터를 단일 정보 소스로 가져오는 개방형 접근 방식을 추구할 것을 권장합니다. 이러한 개방형 접근 방식으로 보다 쉽게 전체 데이터 수명 주기를 관리하면서 모든 사용자가 인사이트를 도출하고 의사 결정을 내리는 데 신뢰할 만한 단일 소스를 제공할 수 있습니다.

그 예로 Bayer에서는 농업 혁신 부서를 지원하기 위해 수십억 개의 환경 데이터 포인트를 효율적으로 수집하고 분석하는 최신 데이터 솔루션을 개발했습니다. 모든 데이터를 저장하고 연결할 수 있어 운영 간소화, 기술 중앙 집중화, 전사적 협업 개선에 도움이 되었으며, 수백 개의 팀과 애플리케이션에서 연구 및 개발에 필요한 중요 데이터 세트에 쉽게 액세스할 수 있게 되었습니다.

3. AI를 사용해 데이터에서 AI로의 여정 앞당기기

통합된 데이터는 AI에 활용할 수 있으며, AI 역시 데이터의 잠재력을 최대한 끌어내는 데 중요한 역할을 합니다. 에이전트 워크플로가 증가하면서 생산성과 성과를 개선하기 위해 사용자 여정에 생성형 AI와 AI 에이전트 경험을 통합하는 조직이 점점 더 늘고 있습니다.

예를 들어 AI 에이전트는 쿼리 작성, 데이터 마이그레이션 및 관리, 데이터 변환 생성, 데이터 시각화에 이르는 다양한 작업을 지원할 수 있습니다. 일상적으로 사용하는 도구에서 바로 자연어로 질문하고 답변을 받을 수 있어 간단히 데이터를 쿼리하고 비용 최적화 방안이나 규정 준수 방안을 추천받는다고 상상해 보세요.

이미 많은 고객은 데이터 플랫폼에서 기본 제공되는 생성형 AI 기능의 이점을 누리고 있습니다. 직원들이 기업 데이터로 '채팅'할 수 있도록 지원하여 지식 발견과 데이터 분석 역량을 개선하고 있습니다. 예를 들어 자연어 처리와 생성형 AI가 결합된 대화형 분석을 도입하면 사용자가 자연어로 자사 데이터에 대해 질문하여 명확하고 간결한 답변을 얻을 수 있습니다. 중앙 IT팀 및 데이터 분석가의 답변에 의존하지 않고 기술 전문 지식의 보유 여부와 상관없이 누구나 데이터에 액세스하고 정보를 찾고 정확한 인사이트를 빠르게 얻게 됩니다.

4. AI 수명 주기 전반에서 데이터를 관리하고 제어하고 보호하기

수집하는 데이터가 많을수록 보안과 거버넌스의 중요성도 더 커집니다. 특히 수백만에 달하는 잠재적인 정보 유출 비용과 급변하는 위협 및 규정을 고려할 때 데이터는 골칫거리가 될 수 있습니다. 데이터를 안전하게 보호하고 규정을 준수하려면 조직에서 처음부터 끝까지 데이터를 관리하고 제어하는 것은 물론 안전하게 데이터를 보호할 수 있어야 합니다.

먼저 데이터 품질에 우선순위를 두는 견고한 데이터 거버넌스 프레임워크를 구축하고 모든 환경에서 관리하고 시행할 수 있는 포괄적인 정책도 구현하는 것이 좋습니다. 데이터 계보를 모니터링하고 이상치를 감지하고 데이터 품질 문제를 해결하기 위해 데이터 모니터링 도구를 구현하는 단계도 포함될 수 있습니다. 예를 들어 클라우드 콘텐츠 관리 부문의 선두업체인 Box에서는 중앙 데이터 카탈로그로 Dataplex를 도입했습니다. Dataplex는 Google Cloud의 데이터 거버넌스 솔루션으로서 간소화된 데이터 검색, 데이터 수집 파이프라인의 엔드 투 엔드 모니터링, 데이터 분류를 위한 포괄적인 기능을 제공합니다.

5. 효율성을 개선하여 데이터 비용을 절감하고 확장하기

전례 없는 속도로 증가한 것은 데이터양뿐만이 아닙니다. 저장 및 처리 비용도 증가했습니다. 특히 AI 프로젝트에는 상당한 컴퓨팅 성능과 데이터 스토리지가 필요합니다. 사전에 증가하는 비용을 파악하지 못하면 예산이 빠르게 소진되고 혁신이 제한될 수 있습니다. 생성형 AI 투자로 최대한의 가치를 창출하려면 조직에서 데이터 활용과 비용 및 리소스 요구의 엄격한 통제 간에 균형을 맞춰야 합니다.

Google Cloud는 고객과 협업하여 데이터 비용을 절감하고 확장하도록 지원하면서 관리형 서비스로 워크로드를 자동화하고, 스토리지 및 컴퓨팅을 최적화하고, 데이터 수집 및 추출 프로세스를 개선하고, Cloud FinOps를 도입하는 등의 몇 가지 권장사항에 집중합니다. 예를 들어 관리형 클라우드 서비스와 서버리스 플랫폼은 일상적인 데이터베이스 관리 및 유지보수 작업이 없으므로 오버헤드와 비용을 최소화하고, 인프라를 빠르게 확장 및 축소하는 유연성을 제공하여 변화하는 요구를 충족할 수 있습니다. Ford Motor Company에서는 데이터베이스 자산의 상당 부분을 Google Cloud 관리형 서비스로 마이그레이션한 후 팀의 운영 데이터베이스 작업 시간이 크게 단축되었고 성능이 30% 향상되었습니다.

궁극적으로 AI의 성능은 이를 뒷받침하는 데이터에 좌우되므로 조직은 생성형 AI 이니셔티브가 성공하고 데이터팀에서 AI 혁신을 앞당기도록 지원하는 강력하고 확장 가능한 통합 데이터 기반을 구축하는 데 집중해야 합니다.

이를 위한 각 단계를 자세히 살펴보고 Google Cloud로 AI에 맞게 데이터를 어떻게 준비할 수 있는지에 관한 인사이트를 알아보려면 가이드 전문을 확인하세요. 다음 단계를 알아보고 전문가 추천을 받아 조직의 AI 기반 데이터 혁신을 촉진하고 싶다면 데이터 및 AI 전략 평가로 AI 준비 상태를 점검하세요.