컬리, BigQuery로 더 빠르게 배송하는 데이터 유통 환경 구축
About 컬리
컬리는 식료품부터 뷰티, 리빙 등 특화된 서비스로 대한민국에서 가장 빠르게 성장하는 온라인 쇼핑 플랫폼입니다. 특히 마켓컬리는 다양한 음식과 식재료 등을 다음날 새벽까지 배송해주는 '샛별배송' 시스템으로 큰 인기를 누리고 있습니다. 단순한 물류, 유통이 아니라 다양한 데이터 기술을 바탕으로 신선도와 높은 품질을 유지하고 더 나은 상품을 빠르게 배송하는 것을 목표로 최근에는 뷰티 상품 등 비즈니스 다각화를 이어가고 있습니다.
Tell us your challenge. We're here to help.
Contact us컬리는 신선한 식재료를 다음날 새벽까지 배달해주는 '마켓컬리'를 시작으로, 다양한 뷰티 상품이 마련된 '뷰티컬리'까지 확장하며 빠르게 성장하고 있습니다. 이용자가 빠르게 늘어나며 유통량도 많아졌고, 신선도를 유지하면서 빠르게 배송해야 하는 기본 목표는 더 철저하게 지켜져야 했습니다. 구글 클라우드의 BigQuery는 컬리의 모든 데이터를 한 곳에 모으는 데이터 웨어하우스로서의 역할 뿐 아니라 다양한 의사 결정 환경에 실시간에 가까운 데이터를 제공하면서 컬리의 빈틈 없는 물류 환경을 책임지고 있습니다.
구글 클라우드 사용 효과
- 다양한 하이브리드 클라우드 환경에 적용 가능한 품질관리 플랫폼 완성
- 빠른 배포, 업데이트로 더 많은 생산 환경에 적용 기회
빠르고 신뢰도 높은 데이터 웨어하우스 다양한 데이터 연동으로 업무 환경의 고도화
컬리는 ‘맛있는 음식이 삶의 큰 즐거움’이라는 뜻을 함께 하는 사람들이 모여서 만든 온라인 유통 서비스입니다. 좋은 식재료와 먹거리들을 최상의 품질로 소비자에게 전달해주는 것을 목표로 스타트업의 길을 밟았고, 현재 마켓컬리는 대한민국에서 가장 주목받는 온라인 쇼핑 서비스로 성장했습니다.
컬리는 24시간 안에 주문부터 공급, 배송의 절차가 모두 끝나야 하는 긴박한 비즈니스입니다. 소비자들에게 높은 품질과 정확한 배송이 보장이 되어야 합니다. 하지만 물류의 특성상 그 규모가 늘어날수록 품질과 배송 모두를 유지하기가 어려워집니다. 현재 상황을 빠르게 파악해서 어떤 부분이 매끄럽게 흐르고, 어떤 부분이 정체되는지를 파악할 필요가 있었습니다. 이를 위해서는 주문부터 물류까지 모든 과정에서 실시간에 가깝게 빠른 데이터가 확보될 필요가 있습니다. 규모와 속도를 모두 충족시킬 수 있는 데이터 웨어하우스가 꼭 필요한 상황이었고, 이를 모두 만족할 수 있는 선택지는 구글 클라우드의 BigQuery였습니다.
"데이터를 다루지 않는 회사는 없습니다. 데이터는 기본적인 기업의 경영과 운영의 지표가 되기도 하고, 현재 비즈니스가 운영되는 현황을 보여주거나 앞으로의 예측에 대한 근거를 제시해주기도 합니다. 이전에는 데이터를 심도있게 다루는 일은 IT 기업을 중심으로 이뤄졌지만 이제는 모든 산업으로 확장이 됩니다."
이춘오 컬리 데이터플랫폼 팀장은 BigQuery의 강점으로 처리 속도를 꼽았습니다. BigQuery는 없는 일을 해 내는 도구가 아니라 많은 기업들이 일상적으로 데이터에서 얻고 싶어하는 것들을 한 번에 손 쉽게 해결해 주는 것에 의미가 있다는 설명입니다.
컬리의 이용자들은 언제든 편리하게 주문하고 아침에 신선한 식품을 받아볼 수 있지만 주문부터 배송까지 하루가 걸리지 않는 컬리의 상품 유통 과정은 상당히 긴박하게 이뤄집니다. 작은 실수나 오류 하나가 소비자들의 아침 식탁에 영향을 끼칠 수 있기 때문입니다. 이 때문에 컬리는 주문부터 배송에 이르는 모든 흐름을 읽을 수 있는 데이터 플랫폼의 중요성이 높아지고 있었습니다. 구글 클라우드의 BigQuery는 컬리의 데이터에 대한 여러가지 고민들을 풀어내는 적절한 도구로 충실하게 역할을 해내고 있습니다.
"데이터를 통해 주문, 재고, 배송 등 쉴 새 없이 긴박하게 운영되는 서비스의 흐름을 읽고자 했습니다. BigQuery는 데이터의 양이나 형태에 영향을 받지 않고 컬리에서 일어나는 주문, 입고, 출고, 배송 등 모든 지점의 데이터, 그리고 소비자들의 다양한 반응을 모두 처리해 냈습니다. BigQuery의 빠른 데이터 처리는 의사결정을 신속하고 정확하게 해 주었고, 폭발적으로 성장하는 컬리의 비즈니스에 탄탄한 기술적인 토대가 되어 주었습니다."
빠른 데이터 워크플로우의 필요
컬리는 데이터를 중요하게 여겨 왔고, 데이터를 통해 유통과 고객 경험을 바꾸고자 했습니다. 데이터의 활용도가 높아지고, 이용자와 서비스 규모가 커지면서 쏟아지는 데이터를 실시간으로 담고 처리할 수 있는 데이터 웨어하우스에 대한 수요는 더욱 늘어났습니다. 하지만 데이터웨어하우스를 직접 구축하고 운영하기는 쉽지 않은 일입니다. 퍼블릭 클라우드의 선택은 당연한 일이었고, BigQuery는 컬리가 필요한 모든 요건들을 갖췄습니다.
'데이터 웨어하우스에 가장 기대했던 것은 속도입니다. BigQuery는 데이터의 양이나 형태에 영향을 받지 않고 컬리에서 일어나는 주문, 입고, 출고, 배송 등 모든 지점의 데이터, 그리고 소비자들의 다양한 반응을 모두 저장할 수 있었습니다. 당장 이를 통해 서비스의 모든 흐름을 지연 없이 한 눈에 읽을 수 있었습니다. 빠른 데이터는 컬리가 그 동안 비즈니스의 중심에 두었던 데이터 중심의 의사결정 시스템을 더 탄탄하게 해 주었습니다.”
이춘오 팀장은 컬리가 데이터를 중요하게 여기고, 섬세하게 다루면서 서비스를 키워가는 가장 큰 이유로 빠른 판단을 이야기합니다. 주문 후에 데이터가 생기고, 뭔가 일이 일어나면 즉시 데이터가 수집, 처리되어서 적절한 판단을 내릴 수 있는 기준이 필요합니다. BigQuery의 데이터 처리는 데이터의 발생부터 처리까지 실시간에 준하는 속도로 원하는 답을 꺼내 주었습니다.
마켓컬리와 뷰티컬리의 서비스는 결국 물건을 파는 과정을 담고 있습니다. 상거래 서비스는 기본적으로 어떤 부분이 어디에서 잘 팔리고, 언제 어떤 것이 반응이 더딘지 예민하게 관찰해서 적절한 공급과 가격을 판단해야 합니다. 반응이 좋은 상품은 더 많은 소비자들에게 혜택이 갈 수 있도록 추천을 해 주어야 하고, 기대보다 인기가 없는 상품은 그 이유를 찾아야 하는 것은 당연한 과정입니다.
특히 신선도가 중요한 컬리의 상품들은 원활한 물류가 수시로 확인되어야 하고, 예상과 다른 상황에서는 대부분 그 순간에 의사 결정이 이뤄져야 하는 일이 많습니다. 데이터는 어떤 상황에서도 실시간으로 모든 비즈니스 현황을 담아내야 했습니다.
실시간에 준하는 데이터 처리로 빠르고 명확한 의사 결정
이춘오 팀장은 BigQuery가 이전에 없던 완전히 새로운 일을 하는 것은 아니라고 설명합니다. 하지만 같은 일을 가장 빠르고 매끄럽게 해내는 것은 BigQuery 뿐이라고 설명합니다. 2015년 창업 이후 컬리는 지속적으로 데이터 중심의 시스템을 이끌어 왔습니다. 하지만 데이터의 양이 늘어나고, 구조가 복잡해지면 점차 처리 속도가 더뎌지고, 데이터의 보관과 관리에 부담이 일어납니다. 또한 변화하는 상황들을 받아들일 수 있는 유연성도 필요합니다.
"컬리는 설립 이후 매년 큰 성장세를 이어 왔습니다. 매출과 비즈니스 규모도 커졌지만 내부적으로 조직의 규모와 다뤄야 하는 데이터는 더 크고 복잡해졌습니다. 단순히 보면 규모가 커지는 만큼 그대로 모든 인프라를 확장하면 된다고 받아들일 수도 있지만 실제로는 내부 업무 환경과 문화까지 영향을 끼치는 것이 데이터이고, 인프라입니다."
컬리의 데이터는 클라우드 안에서 여러 서비스를 통해 발생합니다. 하지만 기존 컬리가 이용하고 있던 클라우드에서는 서비스의 복잡성과, 비즈니스의 확장을 원활하게 반영하기 어려웠습니다. BigQuery의 도입은 단순히 데이터 웨어하우스를 이전하는 것이 아니라 구글 클라우드를 통해 새로운 데이터 워크플로우를 구성하는 데에 있습니다.데이터의 멀티 클라우드 환경이 적용되는 것입니다.
운영 환경에서 나오는 데이터를 BigQuery로 전송하는 것은 자칫 복잡도를 높이고, 전송에 대한 속도와 비용 부담이 생길 수 있지만 BigQuery의 매끄러운 데이터 처리와 빠른 속도는 더 큰 가치를 만들어주었습니다.
가장 중요한 것은 여러 곳에서 수집되는 다양한 형태의 데이터를 BigQuery에서 쓸 수 있도록 통합하는 데에 있었습니다. 컬리는 구글 클라우드 외의 퍼블릭 클라우드를 통해 여러가지 형태의 데이터를 다각도로 수집합니다. 이 데이터들은 Apache Kafka를 통해 BigQuery로 빠짐없이 수집 됩니다. 이렇게 전송된 데이터는 정형과 비정형을 가리지 않고 Google Cloud Composer 를 통해 원래 데이터베이스와 똑같은 역할을 할 수 있는 데이터 테이블로 정리됩니다. BigQuery Streaming API는 CDC 로그 테이블에 최신 변경 사항을 실시간으로 업데이트해주기 때문에 현업에서 생성된 데이터들이 거의 실시간에 가깝게 빅쿼리의 데이터 베이스에도 반영이 이뤄집니다.
이 과정은 멀티 클라우드의 큰 그림으로 데이터 워크플로우를 구성하는 과정이기 때문에 파트너사인 메가존의 기술과 경험이 큰 역할을 했습니다. 그 결과 컬리의 쇼핑과정에서 다양한 형태로 쏟아지는 갖가지 데이터는 동기화, 흐름, 처리까지 탄탄한 데이터 워크플로우를 갖출 수 있었습니다.
매끄러운 데이터 처리가 만들어낸 업무 환경의 변화
BigQuery의 빠른 데이터 처리 효과가 눈에 띄는 가장 대표적인 사례는 실시간으로 소비자들과 소통하며 쇼핑이 이뤄지는 라이브 커머스입니다. 방송이 이뤄지는 동안 BigQuery는 상품에 대한 직접적인 판매량 뿐 아니라 피드백을 보여주기 때문에 방송 뿐 아니라 상품에 대해서도 즉각적으로 의사결정과 대응을 할 수 있습니다.
컬리의 핵심인 물류에도 변화가 일어났습니다. 컬리의 주요 상품들은 대부분 신선 식품이기 때문에 정확한 수요를 바탕으로 빈틈 없는 관리가 필요합니다. 물류의 특성상 상품의 입고는 하루 종일 이어지고, 상품성이 떨어지기 전에 모두 판매가 이뤄져야 합니다. 수요 파악과 적절한 가격 결정이 중요한 역할을 합니다. BigQuery는 물류와 같은 속도로 데이터가 흐르기 때문에 현황 파악과 미리 마련해 둔 데이터 분석 기준에 따라 긴박한 물류 현장에 24시간 적절한 판단 기준을 제시해 주었습니다.
특히 BigQuery의 데이터 확장성은 실무 현장의 일하는 방법에도 영향을 주었습니다. BigQuery로 처리된 데이터는 따로 손을 댈 필요 없이 곧바로 구글 문서 도구의 스프레드 시트 문서로 만들어져서 손쉽게 공유됩니다. 직원들은 누구나 구글 스프레드 시트를 이용해 실시간 데이터를 다루고, 시각화 자료를 이용해서 소통하고 있습니다.
"데이터를 보는 방법이 바뀌었습니다. 기존 시스템보다 더 많은 요소들이 세세하게 보이기 시작했습니다. 대규모 데이터를 넣을 수 있다 보니 데이터의 활용도 더 적극적으로 이뤄집니다. BigQuery는 로그를 아무리 많이 넣어도 성능에 영향을 받지 않고, 원하는 데이터를 빨리 처리해 주기 때문에 이전보다 훨씬 많은 로그를 바탕으로 데이터 워크플로우를 꾸릴 수 있게 됐습니다."
이춘오 팀장은 데이터를 적극적으로 보고, 다양한 곳에 활용하는 업무의 본질은 달라지지 않았다고 말합니다. 다만 BigQuery는 더 커다란 데이터를 매끄럽게 처리해주다 보니 데이터에 대한 가능성을 높게 볼 수 있도록 해 주었다는 설명입니다. 같은 일을 하더라도 더 편해졌고, 데이터가 주는 신뢰도도 높아졌습니다.
"구글 클라우드는 기술적 성장 공감하는 파트너"
이춘오 팀장은 BigQuery가 빠른 데이터 처리로 급성장하는 비즈니스 환경에서도 데이터 중심의 업무 문화를 안착시키는 데에 큰 역할을 했다고 말합니다. 늘어나는 데이터 활용에 대한 수요를 감당하지 못하면서 기업 성장에 병목 현상이 생길 수 있다는 우려를 해소해 주었다는 설명입니다.
"심각한 기술적 고민 없이 모든 구성원이 대한민국 전체에서 동시에 일어나는 막대한 물류에 대해 차질없이 대응할 수 있었습니다. 소비자와 물류가 늘어나고, 그에 따라서 회사의 규모가 성장하는 과정에서 일어나는 많은 문제들을 해소할 수 있었습니다. 기업의 성장은 단순한 스케일 아웃이 아니라 일하는 문화와 업무 시스템의 혼란이 생길 수 있는데, 데이터를 중심으로 판단하고, 소통하게 되면서 모든 구성원이 혼선 없이 업무에 집중할 수 있었습니다."
컬리는 이후의 데이터 활용에 대해서도 큰 기대를 갖고 있습니다. 당장 머신러닝을 이용해서 소비자들의 반응을 살피고, 적절한 상품을 추천해주는 서비스가 활성화되어 있습니다. 또한 수요 예측에 대한 정확도가 높아지면서 상품의 신선도와 품질을 확보하고, 수요에 빠르게 공급할 수 있는 환경도 갖춰졌습니다. 신선 식품을 유통하는 기업으로서의 신뢰도를 높이는 것입니다.
결국 데이터를 정확하고 빠르게 담아내고, 처리하고, 뽑아낼 수 있는 BigQuery의 데이터 기본기가 확보되면서 컬리의 서비스도 고도화되고 있습니다. 이춘오 팀장은 BigQuery를 통한 데이터 워크플로우를 바탕으로 구글 클라우드의 다양한 기술들이 컬리의 기술적 성장으로 이어지는 데에 대한 기대를 밝혔습니다.
"매끄러운 비즈니스 운영을 위해서 현상을 빨리 보고 적절하게 판단하는 것이 현재의 단계이고, 데이터를 기반으로 더 많은 일들을 잘 할 수 있도록 하는 단계로 올라서기 위한 기대와 준비가 차근차근 이뤄지고 있습니다. 구글에 대한 기대 역시 BigQuery 이후의 다양한 기술적 공감대를 갖고, 시장 변화에 빠르게 대응할 수 있는 기반을 갖추는 데에 있습니다. BigQuery와 구글 클라우드는 컬리가 다양한 IT 기술을 기반으로 성장을 이어가는 데에 중요한 파트너가 되어 주었습니다."
Tell us your challenge. We're here to help.
Contact us
About 컬리
컬리는 식료품부터 뷰티, 리빙 등 특화된 서비스로 대한민국에서 가장 빠르게 성장하는 온라인 쇼핑 플랫폼입니다. 특히 마켓컬리는 다양한 음식과 식재료 등을 다음날 새벽까지 배송해주는 '샛별배송' 시스템으로 큰 인기를 누리고 있습니다. 단순한 물류, 유통이 아니라 다양한 데이터 기술을 바탕으로 신선도와 높은 품질을 유지하고 더 나은 상품을 빠르게 배송하는 것을 목표로 최근에는 뷰티 상품 등 비즈니스 다각화를 이어가고 있습니다.