위버스 컴퍼니, 차세대 데이터 플랫폼으로의 도약

팬덤 문화의 중심, 데이터로 숨 쉬다

전 세계 아티스트와 팬을 하나로 잇는 글로벌 슈퍼팬 플랫폼, 위버스(Weverse). 이곳에서는 매일 수억 건의 상호작용이 일어나고, 팬들의 열정과 아티스트의 메시지가 데이터가 되어 흐릅니다. 위버스컴퍼니에게 데이터는 단순한 기록이 아닌, 팬과 아티스트의 경험을 더욱 풍부하고 깊이 있게 만드는 핵심 동력입니다. 팬들이 무엇에 열광하는지, 아티스트가 어떤 콘텐츠로 소통할 때 가장 큰 울림을 주는지, 그 모든 해답이 데이터 속에 있습니다.

위버스컴퍼니는 이러한 데이터를 더욱 기민하게 활용하고, AI 기술을 통해 새로운 가치를 창출하며, 궁극적으로는 '넥스트 레벨'의 팬 경험을 제공하기 위한 중대한 결정을 내렸습니다. 바로 기존 데이터 플랫폼을 Google Cloud의 BigQuery로 전면 전환하는 대규모 프로젝트였습니다. 업계의 통상적인 예상 기간을 절반 이상 단축하며 단 8개월 만에 성공적으로 완수한 위버스컴퍼니의 담대한 혁신, 그 생생한 여정을 지금부터 자세히 들여다봅니다.

변화의 기로에서: 왜 우리는 BigQuery를 선택해야만 했는가?

모든 혁신은 '왜?'라는 질문에서 시작됩니다. 위버스컴퍼니가 데이터 플랫폼 전환이라는 큰 변화를 결심하게 된 데에는 세 가지 명확한 이유가 있었습니다.

• • 성장을 저해하는 비용 구조: 위버스 플랫폼이 폭발적으로 성장함에 따라 데이터의 양 또한 기하급수적으로 증가했습니다. 기존 플랫폼의 연간 운영 비용은 백만 달러를 훌쩍 넘어서며, 성장이 오히려 비용 부담으로 이어지는 딜레마에 직면했습니다. 미래 성장을 위해서는 더욱 합리적이고 예측 가능한 비용 구조를 갖춘 플랫폼이 절실했습니다.

• • 장시간 소요되는 데이터 분석 환경: "이 쿼리, 언제 끝나요?" 데이터 분석가들 사이에서 흔히 나오던 이야기였습니다. 복잡한 데이터 마트 생성 작업은 440분 이상 소요되기 일쑤였고, 이는 빠르게 변화하는 팬덤 트렌드를 적시에 분석하고 대응하는 데 큰 제약이 되었습니다. 데이터 기반의 신속한 의사결정이 비즈니스의 핵심인 위버스에게 '속도'는 더 이상 타협할 수 없는 가치였습니다.

• • AI 시대를 향한 마지막 퍼즐, 통합: 위버스컴퍼니는 이미 Google의 강력한 AI 기술과 위버스의 방대한 팬덤 데이터를 결합하여 새로운 가능성을 탐색하고 있었습니다. 하지만 물리적으로 분리된 데이터 플랫폼은 이러한 시너지를 창출하는 데 걸림돌이 되었습니다. 데이터 이동에 소요되는 시간과 비용 없이, 데이터가 있는 곳에서 바로 AI와 머신러닝을 활용할 수 있는 통합된 환경의 필요성이 그 어느 때보다 커졌습니다.

이 세 가지 과제를 모두 해결할 수 있는 최적의 솔루션으로 위버스컴퍼니는 주저 없이 Google BigQuery를 선택했습니다. 서버리스 아키텍처 기반의 뛰어난 비용 효율성, 압도적인 쿼리 처리 속도, 그리고 Vertex AI를 비롯한 Google Cloud의 다채로운 AI/ML 서비스와의 완벽한 호환성은 위버스가 꿈꾸는 데이터 플랫폼의 미래와 정확히 일치했습니다.

8개월간의 대장정: 계획하고, 실행하고, 마침내 이루어내다

데이터 플랫폼 마이그레이션은 달리는 자동차의 엔진을 교체하는 것과 같은 고난도의 작업입니다. 업계에서는 유사한 규모의 프로젝트에 평균 1년에서 1년 6개월을 예상합니다. 하지만 위버스컴퍼니의 'GCP 마이그레이션 TFT'는 체계적인 로드맵과 기민한 실행력으로 불과 8개월 만에 이 위대한 여정을 성공적으로 완수했습니다.

• • 1단계 (2024년 11월): 설계도를 그리다 (POC 및 아키텍처 설계)
    모든 것은 개념 증명(POC)에서 시작되었습니다. BigQuery가 기존 워크로드를 충분히 감당하고, 성능과 비용 측면에서 명확한 이점을 제공하는지 검증했습니다. 수많은 테스트를 통해 확신을 얻은 후, 기존 데이터 파이프라인을 BigQuery 중심으로 재구성하는 상세한 아키텍처 설계를 완료했습니다. 이 단계에서 위험 요소를 미리 식별하고 대응 전략을 수립한 것이 프로젝트 전체의 안정성을 높이는 주춧돌이 되었습니다.

• • 2단계 (2025년 2월): 기초를 다지다 (데이터 입수 및 마트 마이그레이션 준비)
    본격적인 데이터 이전을 위해, 위버스 플랫폼의 모든 데이터 소스로부터 BigQuery로 데이터를 안정적으로 수집하는 파이프라인을 구축했습니다. 동시에, 기존에 데이터환경에서 운영되던 수백 개의 데이터 마트 스키마와 ETL(Extract, Transform, Load) 로직을 BigQuery 환경에 맞게 전환하는 정교한 사전 작업을 진행했습니다.

• • 3단계 (2025년 3월): 심장을 이식하다 (데이터 마트 마이그레이션)
    프로젝트의 가장 핵심적인 단계였습니다. 비즈니스 중요도와 의존성을 고려하여 데이터 마트를 그룹화하고, 단계적으로 마이그레이션을 진행했습니다. 기존 시스템의 중단 없이 새로운 시스템으로 데이터를 이전하고 검증하는 '제로 다운타임' 마이그레이션을 위해 팀의 모든 역량이 집중되었습니다.

• • 4단계 (2025년 6월): 담금질을 하다 (테스트 및 최적화)
    모든 데이터 마트 이전을 완료한 후, 한 달간의 집중적인 테스트 및 최적화 기간을 가졌습니다. 이전된 데이터가 100% 정합성을 유지하는지, 모든 쿼리가 예상된 성능을 내는지, 비용은 계획대로 제어되고 있는지 꼼꼼하게 검증했습니다. 이 과정에서 발견된 병목 구간을 해결하고 쿼리를 최적화하며 시스템의 완성도를 최고 수준으로 끌어올렸습니다.

• • 5단계 (2025년 7월 1일): 새로운 시대의 개막 (전체 시스템 오픈)
    마침내, BigQuery라는 새로운 심장을 장착한 위버스컴퍼니의 차세대 데이터 플랫폼이 성공적으로 가동을 시작했습니다.

숫자로 증명된 혁신: 무엇이 어떻게 달라졌나

BigQuery로의 전환은 단순한 인프라 교체가 아닌, 비즈니스의 모든 측면에 긍정적인 영향을 미치는 혁신이었습니다.

• • 35%의 총 비용 절감, 혁신을 위한 투자로: 가장 즉각적인 성과는 비용 절감이었습니다. 2025년 예상 기준으로, 기존 대비 연간 약 35%의 비용 절감 효과가 기대됩니다. 이는 단순히 지출을 줄이는 것을 넘어, 절감된 예산을 새로운 AI 모델 개발, 데이터 분석가 양성 등 미래 가치를 창출하는 영역에 재투자할 수 있는 강력한 기반이 됩니다.

• • 66% 빨라진 속도, 비즈니스의 가속 페달이 되다: 기존 440분이 걸리던 데이터 마트 생성 시간은 이제 150분이면 충분합니다. 66%의 시간 단축은 데이터 분석가들이 더 이상 데이터를 기다리는 데 시간을 낭비하지 않고, 분석과 인사이트 발굴이라는 본연의 업무에 집중할 수 있게 되었음을 의미합니다. 이는 곧 비즈니스의 의사결정 속도를 가속화하는 결과로 이어집니다.

• • 데이터 일관성 확보, 신뢰의 반석을 놓다: 'snake_case'로 통일된 테이블 이름, 일관된 컬럼명 규칙, 'ODS는 UTC, 마트는 KST'로 표준화된 타임존. 사소해 보일 수 있는 이러한 변화는 데이터의 신뢰도를 극적으로 향상시켰습니다. 이제 모든 구성원이 동일한 기준으로 데이터를 이해하고 활용하게 됨으로써, 데이터 분석 결과의 품질과 활용성이 크게 증대되었습니다.

미래를 향한 위대한 첫걸음

위버스컴퍼니의 데이터 플랫폼 전환은 기술적인 성공을 넘어, 데이터를 통해 비즈니스의 미래를 어떻게 그려나갈 것인지에 대한 명확한 비전을 보여준 전략적인 이정표입니다. BigQuery라는 강력하고 유연한 심장을 갖게 된 위버스컴퍼니. 이제 데이터라는 무한한 가능성의 바다에서 팬과 아티스트에게 어떤 놀랍고 혁신적인 경험을 선사하게 될지, 위버스컴퍼니의 다음 행보를 주목해야 할 이유입니다.