BigQuery 이용한 실시간 온라인 광고 데이터 분석 서비스 구축
Widerplanet에 대하여
와이더플래닛은 디지털 콘텐츠 이용자들의 관심사를 바탕으로 최적의 개인 맞춤형 광고를 연결해주는 국내 1위의 애드테크 기업입니다. TargetingGates 서비스는 디지털 사용자의 기호와 관심을 빅데이터로 분석하고 가장 적합한 개인 맞춤형 광고를 찾아냅니다. 와이더플래닛은 데이터 관리 플랫폼을 기반으로 고도화된 DSP(Demand Side Platform)를 운영하며 타겟팅 광고 부분에서 기술적 우위를 보유하고 있습니다.
어떤 어려움을 겪고 계신지 알려주세요. Google Cloud가 도와드리겠습니다.
문의하기와이더플래닛은 BigQuery를 이용해 온라인 광고 데이터 분석 서비스를 구축했습니다. 광고의 정확도와 효과를 높이기 위해 빅데이터 기반의 데이터 분석이 이뤄져야 했는데 검색어, 사이트 방문, 기사 구독 등 인터넷 서비스 이용자들의 움직임이 만들어내는 데이터의 양이 빠르게 늘어나면서 빠짐 없이 데이터베이스에 쌓고, 실시간으로 분석할 수 있는 솔루션이 필요했습니다. BigQuery는 매일 쏟아지는 30억 건 이상의 데이터를 처리할 수 있는 가장 효과적인 솔루션이었습니다.
구글 클라우드 사용 효과
- 대용량 데이터 영구적 보관 및 무제한 확장성
- 데이터 기반의 실시간 광고 효과 분석
- 인프라 전문 인력 없이 고성능 빅데이터 분석 솔루션 운영
온프레미스 대비 구축 및 운영 비용 90% 절감 분석 속도 10배 이상 향상
인터넷이 우리의 일상이 되면서 온라인 광고 시장은 빠르게, 그리고 꾸준히 성장하고 있습니다. 인터넷에서 우리가 양질의 정보를 접할 수 있는 것도 온라인을 통해 정보가 전달되면서 광고가 적절한 효과와 수익을 만들어주기 때문입니다. 온라인 광고는 인터넷 생태계에서 그만큼 중요한 역할을 맡고 있습니다.
와이더플래닛은 데이터 기반의 맞춤형 온라인 광고 서비스를 운영하는 플랫폼 기업입니다. 광고 콘텐츠를 광범위한 인터넷 이용자들에게 전달하는 비즈니스인 만큼 관심사에 맞는 콘텐츠가 누구에게 전달되고, 어떤 영향을 끼치는지를 정확히 알아야 광고의 가치가 드러나기 때문에 데이터 분석은 비즈니스의 가장 중요한 부분을 차지합니다.
와이더플래닛은 급격하게 늘어나는 이용자 데이터들을 빠짐 없이 저장하고 주어진 시간 내에 분석해서 이용 습관과 동향까지 분석해 낼 수 있는 솔루션이 필요했고, BigQuery를 이용한 빅데이터 분석으로 그 답을 찾고 있습니다.
이전까지는 하둡 기반의 빅데이터 플랫폼을 운영해 왔지만 폭발적으로 늘어나는 데이터를 저장하고 처리하는 것은 큰 고민거리였습니다. 무엇보다 쌓이는 데이터의 양이 계속해서 늘어나기 때문에 장기적인 대비가 필요했습니다.
맞춤형 온라인 광고 가치, 빅데이터 분석으로 차별화
와이더플래닛은 BigQuery를 빅데이터를 보관, 처리하기 위한 데이터웨어하우스로 이용합니다. 2010년에 세워진 와이더플래닛은 지난 2017년까지 데이터 수집과 처리, 분석을 온프레미스 환경에서 운영해 왔습니다. 막대한 데이터를 분석해 머신러닝 기반의 광고 타겟팅 시스템을 고도화하기 위해 하둡(Hadoop)과 아파치 스파크(Spark) 기반의 빅데이터 솔루션을 썼는데 2017년 BigQuery를 접한 뒤로는 지속적으로 많은 데이터를 BigQuery로 옮기기 시작했습니다. 지금은 새로 시작하는 데이터 관련 서비스 대부분을 BigQuery에서 처리하고 있을 정도로 BigQuery가 서비스 운영에서 차지하는 비중이 높아지고 있습니다.
와이더플래닛 데이터 분석 플랫폼팀을 맡고 있는 고영경 매니저는 “BigQuery를 도입한 이후 데이터를 다루는 모든 과정이 감동”이라는 다소 말랑말랑한 한 마디로 설명했습니다. 그 만큼 BigQuery가 와이더플래닛에 준 경험이 데이터를 다루는 데에 큰 영향을 끼쳤다는 이야기입니다. 광고 플랫폼 기업이 왜 BigQuery를 통한 빅데이터 솔루션의 중요성을 언급할까요? 고영경 매니저는 데이터와 온라인 광고는 광고주와 이용자, 미디어 사이를 연결하는 매개체라고 말합니다.
“온라인 광고 플랫폼의 역할은 미디어를 이용해서 광고주의 콘텐츠를 이용자에게 적절하게 이어주는 서비스입니다. 웹사이트에 접속한 이용자들이 광고를 접하고, 다시 구매와 소비로 연결되는 비중이 온라인 광고 플랫폼의 가치를 결정하지요. 호기심을 가질 만한 광고를 골라서 보여주려면 결국 각 이용자들이 어떤 정보에 관심이 있는지 플랫폼이 정확히 이해하고 콘텐츠를 결정할 수 있어야 합니다. 이 과정의 핵심은 데이터를 어떻게 활용하느냐에 달려 있습니다.”
BigQuery 도입은 와이더플래닛의 데이터 처리에 획기적인 변화를 주었습니다. 기존에는 미리 데이터를 정형화해서 관계형 데이터베이스에 넣은 뒤 분석 리포트를 만들었습니다. 데이터는 미리 가공이 필요했고, 결과는 1차원적인 데이터만 쌓이게 됐습니다. 간혹 여러가지 데이터를 함께 분석하는 교차분석, 드릴다운 분석, 장기간의 시계열 분석 등 고급 분석 결과를 얻으려면 아주 많은 시간이 필요했습니다. BigQuery는 정해진 시간 안에 여유롭게 쿼리를 처리하고 3가지 이상의 데이터 값을 동시에 분석해도 결과를 실시간으로 받아 볼 수 있었습니다. 와이더플래닛 정수동 CTO도 BigQuery의 처리 속도를 가장 큰 가치로 꼽았습니다.
“기존에 쓰던 Hive 시스템에서 데이터 분석 결과를 뽑아내려면 5분 이상 걸렸는데 BigQuery는 똑같은 작업을 20초 내에 마칩니다. 분석 속도가 실시간에 가까울 만큼 빨라지면서 애초에 노렸던 인터랙티브 분석 솔루션을 갖출 수 있게 됐습니다.
관계형 데이터베이스에 익숙해 있던 직원들도 몇 천만, 몇 억 건 단위의 데이터베이스를 운영하는 데에 한계를 느끼다가 BigQuery를 통해 수 십억 건의 데이터를 실시간으로 다루는 것에 대해 놀라고 있습니다. BigQuery는 와이더플래닛의 비즈니스에서는 더없이 꼭 맞는 서비스였습니다.
와이더플래닛은 왜 이렇게 큰 데이터 분석이 필요할까요? 광고 플랫폼은 오랫동안 데이터 수집과 분석을 통해 광고의 효율을 높이는 것이 중요합니다. ‘타겟팅 게이츠(Targeting Gates)’라는 서비스 이름도 데이터 분석을 통해 정확한 광고 타겟을 찾아낸다는 의미를 품고 있습니다. 우리는 인터넷을 쓰면서 알게 모르게 수많은 기록을 남깁니다. 그리고 어떤 것을 검색하고, 어떤 정보에 관심을 기울이고, 뭘 사려고 하는지 데이터는 알고 있습니다. 데이터 안에서 이용자들의 의사를 정확히 읽고 관심을 가질만한 정보를 효과적으로 제공하는 것이 바로 광고 플랫폼의 역할입니다.
당연히 데이터가 많을수록 이용자를 더 정확히 이해할 수 있습니다. 와이더플래닛은 더 많은 정보를 보관했고, 빅데이터와 머신러닝 솔루션을 이용해 타겟팅의 정확도를 높였습니다. 하지만 비즈니스가 성장하고, 온라인 광고 시장 규모가 빠르게 늘어나면서 확장성 문제에 부딪치게 됐습니다. 분석을 위한 데이터 수집과 분석 관련 트래픽은 기하급수적으로 늘어났습니다.
“온라인 광고 시장의 성장 속도만큼 이용자 데이터가 급격하게 늘어나면서 정확한 관심사 기반의 온라인 광고 가치가 높아지고 있습니다. BigQuery를 도입한 이후 매일 30억 건 이상의 데이터를 보관할 수 있게 됐고, 이 데이터를 기반으로 광고 효과에 대해 실시간 분석도 가능해졌습니다. BigQuery는 이용자들에게 더 정확한 맞춤형 광고를 제공할 수 있는 밑바탕이 됐습니다."
—Sudong, CTO일 30억 건 데이터 보관하고, 분석 속도 실시간으로 끌어올려
현재 와이더플래닛이 다루는 데이터는 매일 약 30억 건에 달합니다. 매일 이만큼의 데이터가 새로 쌓이고 그 안에서 실시간으로 데이터를 분석해내야 합니다. 데이터의 양은 멈춰 있는 것이 아니라 매년 20~30%씩 늘어나는데 이를 온프레미스로 저장하고 원하는 대로 가공, 처리하는 것은 큰 부담입니다. BigQuery는 손쉽게 데이터를 담고 처리할 수 있게 해주었고, 클라우드의 특성상 별도의 데이터베이스 관리 인력을 두지 않아도 됐습니다. 실무에서도 기존에 잘 꾸려진 데이터베이스를 다루는 것처럼 데이터를 올리기만 하면 따로 신경 쓸 부분이 없었습니다.
온라인 광고가 지면이나 TV 광고와 가장 다른 부분은 광고가 노출된 이후의 성과 분석을 할 수 있다는 점입니다. 이용자들이 어떤 광고 소재에 어떻게 반응하는지를 알아야 광고주 입장에서도 광고를 더 효과적으로 만들고 배포할 수 있기 때문입니다. 광고와 마케팅 관점에서 분석해야 할 이용자 데이터의 양은 상당합니다. 나이, 성별, 지역, 접속한 기기, 시간대 등등 와이더플래닛은 약 30가지 정보를 통해 광고를 보는 이들의 이용 환경과 관심사를 수집, 분석합니다.
개별 데이터를 분석하는 것은 SQL같은 일반적인 데이터베이스 솔루션으로도 처리할 수 있습니다. 데이터의 양이 조금 늘어나도 새로운 장비나 소프트웨어로 처리할 수 있습니다. 하지만 각각의 데이터를 묶어서 해석해야 할 때는 더 많이 복잡해집니다. 더구나 매일 새로 쌓이는 30억 건의 데이터를 관계형 데이터베이스로 처리하는 것은 막대한 비용과 노력이 필요한 일입니다.
와이더플래닛은 접속한 기기, 지역, 광고를 많이 보는 시간 등 다양한 데이터를 함께 묶어서 분석하고 그 결과를 바탕으로 광고의 내용이나 노출 방법 등을 최적화할 수 있도록 합니다. 다양한 시각으로 데이터를 분석하는 것은 빅데이터를 이용하는 가장 큰 이유이기도 합니다. 하지만 데이터의 종류가 늘어날수록 처리 시간과 시스템의 부하는 기하급수적으로 늘어납니다. 자연스럽게 시스템 확장이 필요했고 당장이 아니라 앞을 내다 볼 수 있는 여러가지 대안을 찾아야 했습니다.. 이때 온프레미스 중심의 시스템 운영에서 클라우드로 전환하는 방안이 고민되기 시작했습니다.
“빅데이터 무제한 확장성, 실시간 분석 온프레미스로 불가능한 일”
애초 와이더플래닛은 이 데이터 처리를 위해 분산형 관계형 데이터베이스 솔루션 장비를 구입해서 운영하는 것과 클라우드 위에서 작동하는 MPP(Massive Parallel Processing) 데이터웨어하우징 시스템, 그리고 BigQuery까지 세 가지 솔루션을 후보로 두었습니다.
먼저 온프레미스 기반의 관계형 데이터베이스 솔루션으로는 와이더플래닛의 막대한 데이터를 처리하는 것이 현실적으로 어려웠습니다. 관계형 데이터베이스 처리를 위해 데이터를 다시 가공해야 했고 그 효과도 크지 않았기 때문입니다. 고영경 매니저는 분산처리를 기반으로 하는 빅데이터 솔루션을 선택하는 것이 옳다고 판단했습니다. 대용량 데이터를 보관하는 확장성과 인터랙티브 분석 속도, 비용 효율성을 기준으로 여러 솔루션을 비교한 결과 BigQuery가 최적의 선택이라고 결론을 내렸습니다.
BigQuery는 이 막대한 데이터를 한 번에 담아낼 뿐 아니라 분석까지 한 플랫폼 안에서 처리해 냅니다. 또한 애초에 고려됐던 향후 확장성 측면에서도 클라우드 기반의 BigQuery는 무한대에 가까울 만큼 자원을 늘려 쓸 수 있습니다. 고영경 매니저는 현재 이용하는 BigQuery 수준의 시스템을 온프레미스 환경에서 직접 구성하는 것은 생각도 할 수 없는 일이라고 설명합니다.
“BigQuery로 분석하는 데이터를 온프레미스로 만드는 것은 그 자체로도 어려울 뿐 아니라 만들었다고 해도 그 운영 비용을 감당할 수 없습니다. BigQuery는 데이터를 보관하는 비용이 다른 서비스와 비교할 수 없을 만큼 저렴한 데다가 구글이 제공하는 여러가지 요금제와 운영에 대한 경험치가 쌓이면서 비용 부담은 줄었고, 데이터 처리 능력은 거의 무한히 확보할 수 있었습니다.”
와이더플래닛이 가장 중요하게 여긴 것은 시스템 확장성과 분산처리, 인터랙티브 분석, 그리고 5~6명 정도가 동시에 각자 다른 형태의 분석을 요청해도 처리할 수 있을 만큼의 성능이었습니다. 하지만 고영경 매니저는 단순 비용으로만 비교해도 BigQuery를 쓰면서 초기에 검토했던 관계형 데이터베이스 기반의 온프레미스 시스템보다 최대 90%까지 운영비용을 줄일 수 있었다고 설명합니다. 특히 BigQuery의 데이터 저장은 온프레미스가 따르기 어려운 클라우드 서비스의 강점이 잘 드러나는 부분입니다.
“BigQuery의 가장 큰 장점은 스토리지에 대한 고민이 없다는 점입니다. 데이터를 더 정교하게 처리하기 위해서는 데이터를 가능한 버리지 않고 잘 정리해서 오랜 시간을 두고 분석해야 하는데 BigQuery는 데이터베이스 저장에 대한 비용이 매우 저렴하고 늘어나는 데이터를 담아내는 확장성도 사실상 무제한입니다.”
최근 온라인 광고 시장의 고민은 타겟 구분입니다. 하지만 누가 광고를 보는지 구분하는 것은 기술적으로 점점 어려워지고 있습니다. 1인당 쓰는 기기가 두 세 대씩 되고 각 기기들은 웹 브라우저가 이용자들을 식별하지 못하도록 여러가지 장치들을 마련하는 게 요즘 흐름입니다. 그 안에서 여러 기기를 함께 쓰는 이용자를 ‘한 명’이라고 찾아낼 수 있어야 하고, 지속적으로 인터넷 이용 습관을 이해해야 하는 것이 바로 광고 플랫폼 비즈니스의 핵심입니다. 어려운 상황 속에서 정확도를 높이는 가장 근본적인 방법은 역시 더 많은 데이터를 분석하는 것입니다. 고영경 매니저는 BigQuery를 이용해 데이터를 버리지 않고 더 많이, 오랫동안 모아둘 수 있게 되면서 타겟 구분의 어려움을 극복해 가고 있다고 설명했습니다.
BigQuery를 통해 데이터 분석을 더 대규모로, 다각도로, 그리고 빠르게 처리할 수 있게 되면서 와이더플래닛은 데이터 중심의 맞춤형 광고 플랫폼이라는 기업 비전을 더 확고하게 다질 수 있었습니다. 광고주와 와이더플래닛 스스로도 데이터를 중심으로 비즈니스 인사이트를 얻고 의사결정을 할 수 있는 디지털 트랜스포메이션의 이점을 고도화할 수 있게 된 것입니다.
“온라인 광고 비즈니스의 성패는 정확한 타겟팅과 그 기반이 되는 빅데이터 분석에 달려 있습니다. 경쟁이 치열하고 빠르게 성장하는 시장에서 BigQuery의 확장성과 처리 속도는 데이터 분석을 고도화할 수 있는 가능성을 열어주었습니다. 무엇보다 복잡한 시스템 관리에 신경 쓰는 대신 데이터를 어떻게 바라볼 것인지에 집중할 수 있다는 점이 비즈니스에 가장 큰 도움으로 와 닿았습니다.“
고영경 매니저는 BigQuery에 대해 단순히 서비스나 인프라 관점을 넘어 비즈니스의 가능성을 열어주는 플랫폼이라는 말로 이야기를 마무리했습니다. 기업의 역할은 인프라를 잘 운영하는 것이 아니라 원하는 서비스를 잘 만들고 운영하는 데에 있습니다. 와이더플래닛에게 BigQuery는 ‘데이터 분석’이라는 본질에 집중할 수 있도록 해 주는 가장 효과적인 도구였습니다.
어떤 어려움을 겪고 계신지 알려주세요. Google Cloud가 도와드리겠습니다.
문의하기
Widerplanet에 대하여
와이더플래닛은 디지털 콘텐츠 이용자들의 관심사를 바탕으로 최적의 개인 맞춤형 광고를 연결해주는 국내 1위의 애드테크 기업입니다. TargetingGates 서비스는 디지털 사용자의 기호와 관심을 빅데이터로 분석하고 가장 적합한 개인 맞춤형 광고를 찾아냅니다. 와이더플래닛은 데이터 관리 플랫폼을 기반으로 고도화된 DSP(Demand Side Platform)를 운영하며 타겟팅 광고 부분에서 기술적 우위를 보유하고 있습니다.