BigQuery로 데이터 중심의 업무 환경 구축
Hyperconnect에 대하여
하이퍼커넥트는 2014년 설립된 글로벌 영상 기술 기업으로, 비디오 커뮤니케이션과 인공지능 분야의 기술력을 바탕으로 전 세계 사람들을 연결하는 소셜 디스커버리 서비스를 개발하고 있습니다. 전 세계의 새로운 사람들과 만날 수 있는 영상 메신저 서비스 ‘아자르’는 전 세계 230개 국가에서 4억 건 이상의 다운로드를 기록했고, 자회사를 통해 서비스중인 소셜 라이브 스트리밍 서비스 ‘하쿠나’ 역시 ‘2019 구글플레이 올해를 빛낸 엔터테인먼트 앱’에 선정되며 빠른 속도로 성장하고 있습니다. 하이퍼커넥트는 전 세계 사람들을 연결하여 사회적, 문화적 가치를 창출한다는 비전을 이뤄가고 있습니다.
어떤 어려움을 겪고 계신지 알려주세요. Google Cloud가 도와드리겠습니다.
문의하기영상 메신저 서비스 ‘아자르’를 서비스하는 하이퍼커넥트는 데이터 분석을 위해 BigQuery를 도입했습니다. 기존에는 아파치 하둡 기반으로 운영하면서 인프라가 안정적으로 운영될 수 있도록 하는 업무가 많았습니다. 하지만 BigQuery를 도입한 이후로는 데이터 분석 그 자체에 집중할 수 있게 됐고, 성능도 비약적으로 향상됐습니다. 결과적으로 데이터 기반의 비즈니스 운영이라는 목표에 한 발짝 다가설 수 있었습니다.
구글 클라우드 사용 효과
- 데이터 인프라 운영보다 분석에 집중
- 데이터 관리 체계 재정비
- 관리형 서비스로 인프라 운영의 분리
- 데이터 저장, 분석 전반의 비용 절감
쿼리 속도, 안정성 향상
하이퍼커넥트는 영상 메신저인 ‘아자르(Azar)’를 서비스하는 스타트업입니다. 230여개 국가에서 4억 명이 앱을 내려 받았을 만큼 인기가 높습니다. 아자르에서 매일 발생하는 영상통화 수는 7천만 건에 달합니다. 하이퍼커넥트는 다양한 전 세계 사용자들의 니즈를 만족시키기 위해 아자르에 인공지능 기반의 새로운 기술을 접목하며 지속해서 사용자 경험을 개선해가고 있습니다. 그 이면에는 데이터와 클라우드가 있습니다.
하이퍼커넥트는 2014년 첫 서비스를 준비할 때부터 모든 인프라를 클라우드로 운영하고 있습니다. 창업 멤버들은 클라우드와 데이터의 중요성에 무게를 두었고, 이는 비즈니스가 성장하는 지금까지도 하이퍼커넥트의 사내 업무 문화로 이어지고 있다고 합니다.
데이터 분석에 집중할 수 있는 환경
“데이터 분석에 BigQuery와 Firebase를 적극적으로 활용하고 있습니다. 아자르를 서비스 하면서 많은 데이터를 쌓았고, 그 동안 여러가지 도구를 이용해 다각도로 분석해 왔습니다. 하지만 인프라 운영에 대한 부담이 커지면서 클라우드의 관리형 분석 도구로 전환하고자 하는 목표가 있었고, 늘어나는 데이터들을 빠르고 효과적으로 처리할 수 있는 파이프라인을 구축할 필요도 있었습니다. Google Cloud Platform과 BigQuery는 이 목표를 모두 만족시킬 수 있는 최적의 서비스였습니다.”
윤상필 하이퍼커넥트 플랫폼그룹장은 구글 클라우드 플랫폼으로 데이터 분석 솔루션을 구축한 이유로 데이터 처리 그 자체에 집중할 수 있다는 점을 꼽았습니다. 하이퍼커넥트는 자체 인프라 없이 모든 서비스를 클라우드에서 운영합니다. 데이터는 대부분 서버에서 만들어지기 때문에 처음에는 서비스가 운영되는 기존 클라우드 서비스 위에서 하둡 기반의 빅데이터 서비스를 구축, 운영해 왔습니다.
하지만 관리형 서비스가 아니라 가상 머신 위에서 작동하다 보니 직접 구축과 운영에 상당 부분 노력이 필요했습니다. 특히 인프라 관리와 데이터 엔지니어링에 대해 인력과 시간 등 비용이 많이 발생했고, 이는 시간이 지나도 줄어들지 않았습니다. 오히려 늘어나는 데이터 양과 분석을 위한 전처리 과정에서 더 많은 자원이 필요해지면서 클라우드를 사용함에도 불구하고 자원 확장과 유지보수의 부담이 커지고 있었습니다. 비용 측면에서도 클라우드 이용에 대한 요금보다 개발과 운영이 차지하는 비중이 더 높았습니다.
“중요한 것은 데이터 그 자체였습니다. 인프라를 서비스하는 것이 하이퍼커넥트의 비즈니스가 아닌데 데이터 관련 인프라를 다루는 데에 그 자체에 너무 많은 노력을 쏟고 있었습니다. 데이터를 다루고, 커뮤니케이션을 원활하게 만들겠다는 비즈니스의 본질에 더 집중하는 것이 옳다고 판단했고, 결국 구축과 안정성, 성능 등 데이터 분석과 관련된 모든 부분을 안심하고 맡겨둘 수 있는 관리형 서비스를 최대한 활용하기로 했습니다.”
BigQuery는 자체적으로 데이터를 가공해서 쿼리와 분석 처리에 최적화된 형태로 보관합니다. Google Cloud Platform의 막대한 성능으로 분석이 처리되기 때문에 기존 하둡 기반 데이터 분석 솔루션에서 데이터를 처리하고 분석하는 것과 성능 차이가 매우 큰 것이 BigQuery 도입의 가장 큰 이유가 됐다는 것이 윤상필 실장의 설명입니다.
BigQuery는 미리 정해둔 자원으로 운영할 수도 있지만 필요에 따라서 자원에 제한을 두지 않고 구글의 전체 인프라를 활용할 수 있기 때문에 몇 시간 걸리는 쿼리 결과를 단 몇 초만에 뽑아낼 수 있습니다. 사실상 성능에 대해서는 하둡과 비교할 수 없을 정도로 빨랐습니다.
“데이터를 Google Cloud Platform으로 옮겨야 했기 때문에 부담이 있긴 했지만 성능 차이가 크고, 그에 따라 데이터 활용 환경이 달라질 수 있다는 것에 대한 기대가 컸습니다. 데이터의 중요도는 더 높아지고 있기 때문에 원하는 순간에 필요한 데이터를 바로 꺼내어 볼 수 있다면 데이터를 옮기는 시간과 인력 등 비용이 들더라도 다른 클라우드에 있던 데이터를 Google Cloud Platform으로 옮겨서 데이터 활용도를 높이는 것이 낫다고 생각했습니다.”
윤상필 그룹장은 업무 환경의 변화에 주목했습니다. 무엇보다 운영하는 과정이 매끄럽고 원하는 순간에 데이터를 바로 제공하기 때문에 임직원들이 데이터에 접근하는 데에 부담이 줄어들 것이라고 기대했습니다. BigQuery가 데이터를 더 많이 활용할 수 있는 기반 환경이 될 것으로 내다본 것입니다. 이렇게 하이퍼커넥트는 운영과 데이터 분석이 분리되는 멀티 클라우드 환경을 갖췄습니다.
“BigQuery를 도입한 이후 데이터를 다룰 때 생길 수 있는 속도와 안정성에 대한 모든 고민이 해결됐습니다. 또한 같은 분석 결과물을 만들어내더라도 데이터를 더 쉽게 다룰 수 있다는 데에 큰 의미가 있었습니다. 회사로서도 데이터 기반의 경영, 운영, 업무 환경을 만들고자 했던 오랜 목표가 BigQuery를 통해 이루어지고 있습니다.”
서버와 앱에서 수집되는 데이터, BigQuery로 통합 관리
서비스 시작 이후 지금까지 수집할 수 있는 데이터는 모두 보관해 왔습니다. 하이퍼커넥트는 데이터를 통해 이용자들의 앱 활용 습관과 서비스 만족도를 읽고 있습니다. 이를 위해 서비스 플랫폼에서 나오는 데이터 뿐 아니라 클라이언트 앱에서 나오는 데이터도 함께 수집합니다.
클라이언트 앱의 데이터는 Firebase로 수집합니다. Firebase는 서비스 이용자들이 앱에서 어떤 버튼을 누르고, 어떤 서비스를 얼마나 썼는지에 대한 반응을 한 눈에 보여줍니다. 이 데이터와 서버에서 생성되는 채팅 매칭, 메시지 요청 등이 함께 분석되면서 새로운 서비스나 UX에 대한 반응을 읽을 수 있습니다. 이를 바탕으로 서비스를 고도화하고 마케팅 전략을 세우거나, 새로운 서비스를 개발하는 데에도 도움을 얻고 있다고 합니다.
“Firebase는 아자르 서비스 초기부터 써 왔습니다. 스타트업으로서는 비용 부담 없이 효과적으로 데이터를 모으고 분석할 수 있는 최적의 환경입니다. 데이터 분석 외에도 앱 내에서 푸시 메시지를 보내거나 서비스 개발 중에 A/B 테스트를 운영하기도 수월했습니다. Firebase는 앱 개발 환경에서 떼어놓을 수 없는 서비스입니다.”
하이퍼커넥트가 BigQuery를 처음 접하게 된 것도 Firebase와 관련이 있다고 합니다. 이용자가 늘어나면서 Firebase에 쌓이는 데이터가 늘어났는데, 데이터를 뽑아낼 때 전처리를 위해 BigQuery를 쓰면서 여러가지 기능들을 경험하게 됐고, 그 효과에 만족하면서 본격적인 데이터 분석을 BigQuery로 통합할 수 있는 계기가 됐다는 것이 윤상필 그룹장의 설명입니다.
사용량에 따라 요금이 매겨지고, 데이터 활용도가 높아지면서 더 많은 쿼리를 이용하면 기존 정해진 자원 안에서 하둡을 직접 운영할 때에 비해 직접적인 클라우드 이용 요금은 늘어날 수도 있다고 봅니다. 하지만 데이터 분석 속도가 비교할 수 없을 만큼 빠르고 유지보수를 비롯한 엔지니어링에 들어가는 노력이 줄어들기 때문에 전체적인 비용은 줄어들었고, 데이터 활용 효과는 더 높아졌다고 합니다.
인프라 관리보다 데이터 중심의 환경 구축
아직 도입 초기지만 애초 기대했던 것처럼 사내에서 데이터 활용도가 높아지는 효과는 벌써 나타나기 시작했다고 합니다. 즉각적인 데이터 이용 환경이 만들어진 것이지요.
“BigQuery의 가장 큰 강점은 현업에서 데이터가 필요한 임직원들이 원하는 데이터를 만들어내기가 좋다는 점입니다. 모두가 단순히 데이터를 뽑아 보는 수요자가 아니라 원하는대로 데이터를 가공해 다시 공유하기 쉬워서 데이터를 중심으로 한 커뮤니케이션이 원활하게 이뤄지고 있습니다.”
이전까지는 임직원들이 필요한 데이터를 파악해서 미리 쿼리를 작성하는 것에서부터 일이 시작됐습니다. 쿼리는 몇 시간씩 필요한 경우가 대부분이었고, 데이터의 양이 많거나 구조가 복잡해지면 시간이 더 걸리기도 했습니다. 이는 하둡이나 클라우드의 문제라기보다 대부분의 데이터 분석 환경에서 자연스러운 일입니다. 하지만 BigQuery는 아무리 큰 데이터라고 해도 몇 분 안에 원하는 결과물을 내 줍니다. 데이터가 원하는 내용을 제대로 반영하지 못하면 곧바로 조건을 바꿔서 다시 새 데이터 세트를 뽑아 볼 수 있습니다. 단순히 분석 속도가 높아지는 것을 넘어 데이터의 품질이 높아지고 다각도로 데이터를 바라보는 업무 환경도 만들어집니다.
데이터를 운영하는 부서 입장에서도 데이터를 통한 가치를 만드는 데에 집중할 수 있게 됐습니다. 기존에는 운영과 문제 해결에 너무 많은 자원을 쏟았습니다. 데이터로 새로운 가치를 만들어내는 것보다 기존에 갖춰진 인프라를 어떻게든 말썽 없이 운영하는 데에 업무가 더 집중되었습니다. 단적으로 업무 환경이 더 좋아졌다는 것이 윤상필 그룹장의 이야기입니다.
“모든 데이터가 업무 시작 전까지 준비되어야 하는데 의외로 밤새 데이터 쿼리가 끝나지 않는 경우가 종종 있었습니다. 가상머신이 쿼리를 처리하는 도중에 말썽을 일으켜서 새벽에 유지보수를 하기도 했습니다. 하지만 BigQuery를 도입한 이후에는 운영과 유지보수에 대해서는 전혀 신경 쓸 일이 없게 됐습니다.”
윤상필 실장은 또한 데이터를 BigQuery에 담으면서 기존의 데이터 환경을 돌아보는 계기가 됐다는 설명도 덧붙였습니다. 이제까지는 데이터 관리에 여러가지 도구를 복합적으로 이용하면서 데이터가 여기저기 흩어지게 됐고, 오히려 이 때문에 관리가 더 복잡해지는 경우도 있었습니다. 하지만 BigQuery를 적용하면서 다양한 데이터를 통합할 수 있게 됐고, 그 과정에서 효과적인 분석을 위해 데이터를 체계화할 필요성을 더 확실하게 알 수 있었다는 것이 윤상필 실장의 설명입니다.
하이퍼커넥트는 더 많은 데이터를 이용할 계획을 세우고 있습니다. 내부의 데이터 부서가 자체적으로 머신러닝을 통한 분석을 이용하고 있는데, 여기에 BigQuery 기반의 분석과 AutoML Tables를 더하면 손이 덜 가면서도 데이터 활용이 쉬워질 것으로 보고 있습니다. 윤상필 실장은 바로 이 데이터를 가까이 할 수 있는 도구로서의 BigQuery를 높게 평가했습니다. 데이터는 모으는 것이 목표가 아니라 활용해야 그 가치를 찾아낼 수 있으니까요.
“도구가 하둡에서 BigQuery로 바뀐 것 뿐이라고 볼 수도 있습니다. 하둡으로 못하던 일을 BigQuery만이 해 낼 수 있는 것은 아닙니다. 그 보다도 BigQuery는 같은 결과물을 만들어내더라도 그 과정에서 데이터를 더 쉽게 활용할 수 있고, 그만큼 데이터를 만질 기회가 자연스럽게 늘어난다는 것에 큰 의미가 있다고 봅니다. 결국 회사로서도 데이터 기반의 경영, 운영, 업무 환경을 만들고자 했던 오랜 목표가 자리잡을 수 있는 도구라는 점에서 BigQuery는 훌륭한 역할을 해주고 있습니다.”
어떤 어려움을 겪고 계신지 알려주세요. Google Cloud가 도와드리겠습니다.
문의하기
Hyperconnect에 대하여
하이퍼커넥트는 2014년 설립된 글로벌 영상 기술 기업으로, 비디오 커뮤니케이션과 인공지능 분야의 기술력을 바탕으로 전 세계 사람들을 연결하는 소셜 디스커버리 서비스를 개발하고 있습니다. 전 세계의 새로운 사람들과 만날 수 있는 영상 메신저 서비스 ‘아자르’는 전 세계 230개 국가에서 4억 건 이상의 다운로드를 기록했고, 자회사를 통해 서비스중인 소셜 라이브 스트리밍 서비스 ‘하쿠나’ 역시 ‘2019 구글플레이 올해를 빛낸 엔터테인먼트 앱’에 선정되며 빠른 속도로 성장하고 있습니다. 하이퍼커넥트는 전 세계 사람들을 연결하여 사회적, 문화적 가치를 창출한다는 비전을 이뤄가고 있습니다.