머신 러닝을 사용한 수요 예측 및 자동 가격 조정
GO-JEK에 대하여
GO-JEK는 2015년 앱을 출시한 이후 인도네시아의 주문형 멀티 서비스 플랫폼을 선도해왔습니다. 자카르타에 본사를 둔 GO-JEK는 인도네시아 전국의 167개 도시와 지역 주민들이 운송, 음식 배달, 식료품점, 마사지, 주택 청소부터 물류 및 결제에 이르는 18가지 이상의 서비스를 이용할 수 있는 "슈퍼 앱"을 제공하고 있습니다. GO-JEK의 기술은 수백만 시민의 삶을 개선하는 한편, 영세 상인과 중소기업의 활력소 역할을 하고 있습니다.
어떤 어려움을 겪고 계신지 알려주세요. Google Cloud가 도와드리겠습니다.
문의하기GO-JEK은 Google Cloud Platform과 Google Maps Platform을 사용하여 선도적인 주문형 멀티서비스 플랫폼으로 자리매김했고 동남아시아의 몇 안 되는 유니콘 기업이 되었습니다.
Google Cloud 도입 효과
- 신속한 승객 연결과 최적의 이동 경로를 제시하여 100만 명의 오토바이 택시 기사 지원
- 수요 예측 및 자동 가격 조정
하루 평균 최대 5TB의 데이터 관리
대부분의 인도네시아 국민에게 교통 정체는 일상입니다. 인도네시아의 도로와 관련 인프라는 2억 6,000만 명의 인구를 감당하기 버겁습니다. 특히 약 1,000만 명의 인구가 집중되어 있는 인도네시아의 수도 자카르타의 경우에는 더욱 그렇습니다. 인도네시아 국민은 통근 시간이나 개인적인 약속을 위해 이동하는데 소요되는 시간을 최소화하기 위해 주로 오토바이를 애용합니다. 오젝(Ojek)이라는 오토바이 택시가 보편화된 것도 같은 맥락입니다.
자카르타에 본사를 두고 2010년 창립한 GO-JEK는 오젝 예약 콜 센터로 사업을 시작했습니다. 급증한 수요에 편승한 덕분에 GO-JEK는 동남아시아에서 몇 안 되는 "유니콘" 기업(기업 가치가 10억 달러를 넘는 비상장 스타트업)으로 성장했습니다.
"GO-JEK의 심장부 역할을 하는 Google Maps Platform 덕분에 최적의 이동 경로를 파악하고 도착 시간을 예상할 수 있습니다."
—아제이 고어(Ajey Gore), GO-JEK CTO2010년부터 고객의 행동 패턴을 파악하기 위해 데이터를 수집하기 시작한 GO-JEK는 2015년 택시 호출, 음식 배달, 식료품 쇼핑용 토털 모바일 애플리케이션을 출시했습니다. "애플리케이션 수요가 나날이 치솟았고 GO-JEK는 초고속 성장을 거듭했습니다"라고 GO-JEK의 데이터 사이언스 플랫폼 책임자 빌럼 피에나르(Willem Pienaar)는 설명합니다.
GO-JEK는 새로운 서비스를 개발하는 데 반영하기 위해 고객의 의견에 꾸준히 귀 기울였고 고객의 사용 후기를 수집했습니다. 현재 GO-JEK는 로열티 프로그램과 전자 화폐 서비스를 포함한 18가지 이상의 서비스가 통합된 애플리케이션을 제공하고 있습니다. 고객의 애플리케이션 다운로드 횟수는 1억 800만 회에 육박합니다.
GO-JEK는 현재 인도네시아 전국의 167개 도시와 지역에서 활약하면서 여러 산업 분야에서 가장 괄목할만한 기업으로 자리잡았습니다. 빌럼 피에나르에 따르면 "택시 호출 애플리케이션이 단적인 예입니다. 100만 명이 넘는 택시 기사가 이 플랫폼에 가입했고 하루 평균 수십만 명의 기사가 온라인에 동시 접속해 고객에게 서비스를 제공합니다. 또한 GO-JEK의 음식 배달 플랫폼에 등록되어 있는 가맹점도 30만 곳을 넘어섰습니다. GO-JEK가 식당이라는 단어를 사용하지 않고 굳이 가맹점이라고 표현하는 이유는 평범한 어머니와 아버지들이 직접 차고에서 음식을 만들어 팔기 때문입니다. GO-JEK의 플랫폼은 인도네시아의 가난한 사람들이 가난을 극복하도록 지원함으로써 인도네시아의 사회 경제적 이동성을 향상하는 데 이바지하고 있습니다. 또한 GO-JEK의 결제 서비스는 동남 아시아를 선도하는 전자 화폐 플랫폼으로 자리잡았습니다."
결정적 요인으로 작용한 Google 에코시스템
지금까지 자사 기술팀의 역량과 전문성에 크게 의존해온 GO-JEK는 성장을 거듭하고 새로운 시장으로 사세를 넓히기 위해 적절한 기술을 선택해야 하는 기로에 놓이게 되었습니다. GO-JEK는 Google Cloud에 애플리케이션과 데이터를 수용하기로 결정했는데, 주된 이유는 Google Cloud Platform과 기타 기술로 구성된 에코시스템 때문입니다.
GO-JEK CTO 아제이 고어에 따르면 "사람이든 음식이든 물품이든 A 지점에서 B 지점으로 최대한 신속하게 운송하려면 모든 고객에게 적절한 위치에 있는 기사를 연결해줘야 합니다. GO-JEK의 심장부 역할을 하는 Google Maps Platform 덕분에 최적의 이동 경로를 파악하고 도착 시간을 예상할 수 있습니다."
Google Cloud Platform 솔루션은 GO-JEK가 167개 도시와 지역에서 100만 명에 달하는 기사와 250만 명에 달하는 고객에 관련된 데이터를 수집하고 분석하는 데 중추적인 역할을 합니다. 아제이 고어에 따르면 "예를 들어, GO-JEK는 10초에 한 번씩 모든 기사의 연결 상태(Ping)를 확인합니다. 분당 600만 번, 하루 80억 회에 걸쳐 확인하는 것입니다. 고객 수와 고객의 통신 빈도까지 감안하면 매일 4TB~5TB 정도의 데이터가 생성되는데 이런 데이터를 활용해 고객의 수요가 가장 많은 곳과 이곳까지 효과적으로 이동할 수 있는 경로를 기사에게 알려주게 됩니다."
"Google Cloud 프로페셔널 서비스팀은 GO-JEK 데이터 사이언스팀이 중요한 프로젝트를 성공리에 마치는 데 일조했습니다. 궁극적으로 Google Cloud 프로페셔널 서비스 덕분에 Google 기술의 활용법을 더욱 정확히 이해하고, 더욱 효과적으로 협업하며, 설계를 개선하고, 개발 시간을 단축할 수 있었습니다."
—빌럼 피에나르, GO-JEK 데이터 사이언스 플랫폼 책임자낙관적인 글로벌 시장 진출
GO-JEK가 세계 시장으로 눈을 돌리면서 데이터 사이언스 및 머신 러닝의 역할이 더욱 중요해지고 있습니다. 빌럼 피에나르에 따르면 "데이터 사이언스는 고객을 이해하는 데 중요한 역할을 합니다. 2018년 GO-JEK가 해외로 사세를 넓히기 시작하면서 국가마다 다른 고객의 요구사항을 이해할 필요가 발생했습니다. 또한 많은 의사 결정을 실시간으로 수행하려면 머신 러닝의 역할이 중요합니다."
빌럼 피에나르는 GO-JEK의 데이터 사이언티스트들이 업무 시간을 활용하는 방식과 업무에 필요한 도구를 갖추고 있는지 조사했습니다. 빌럼 피에나르에 따르면 "한 데이터 사이언스티스트가 업무 시간을 최대한 활용할 수 있는 환경을 구현해달라고 요청한 적이 있습니다. 이 엔지니어는 많은 엔지니어를 책임지면서 사기 감지, 사용자 설정, 기사 배정, 예측 같은 분야의 흥미로운 프로젝트를 진행하고 있었습니다. 그러나 그는 엔지니어링 작업에 많은 시간을 허비하다 보니 정작 데이터 분석이나 기능 및 모델 개발 작업에 전념할 시간이 부족하다고 토로했습니다."
빌럼 피에나르가 이끄는 팀은 데이터 소싱, 피처 엔지니어링, 머신 러닝이라는 세 가지 관점에서 데이터 사이언티스트들의 프로젝트를 검토한 끝에 중앙집중식 데이터 기반을 구축해야 한다는 결론을 내렸습니다.
이후 GO-JEK는 Google Cloud 프로페셔널 서비스팀과 긴밀히 협력하여 사안을 좀 더 면밀히 검토하고 구체화했습니다. 빌럼 피에나르에 따르면 "Google Cloud 프로페셔널 서비스팀은 GO-JEK 데이터 사이언스팀이 중요한 프로젝트를 성공리에 마치는 데 일조했습니다. Google Cloud 프로페셔널 서비스팀은 개념 정립부터 실제 구현에 이르는 프로젝트의 모든 단계에서 풍부한 경험을 유감없이 발휘했습니다. 궁극적으로 Google Cloud 프로페셔널 서비스 덕분에 Google 기술의 활용법을 더욱 정확히 이해하고, 더욱 효과적으로 협업하며, 설계 프로세스를 합리화하고, 개발 시간을 단축할 수 있었습니다."
Google Cloud 프로페셔널 서비스팀은 워크샵, 아키텍처 및 설계에 관한 간담회, 실습 중심의 심층 기술 교육을 주관했습니다. 그리고 나서 Google Cloud 프로페셔널 서비스팀은 GO-JEK의 피처 엔지니어링 및 스토리지 플랫폼의 근간을 이루는 Apache Beam (Cloud Dataflow에서 동작), Cloud Bigtable, BigQuery와 같은 기술을 사용해 PoC (Proof of Concept)를 진행했습니다.
GO-JEK 제품팀의 데이터를 수집하여 저장하는 데 필요한 Apache Kafka, Cloud Pub/Sub, Cloud Storage 등과 같은 기술도 플랫폼에 구현되어 있습니다. 덕분에 GO-JEK 제품팀은 자동화된 리포팅, 아카이빙, 모니터링, 이벤트 알림, 보안 체계를 활용하고, 데이터 사이언스팀과 머신 러닝팀은 인사이트를 도출하는 데 필요한 데이터를 확보할 수 있습니다.
Dataflow와 Apache Beam을 함께 사용하여 기능 개발, 표준화, 일관성 문제를 해결한 GO-JEK는 기능 저장 환경을 구현하기로 결정했습니다. 빌럼 피에나르에 따르면 "확장성이 뛰어난 데다, 인프라를 관리할 필요가 없는 완벽한 클라우드 기반 서비스라는 점 때문에 BigQuery를 교육 데이터 저장용 스토리지로 선택했습니다. 게다가 다른 Google Cloud 서비스와 긴밀하게 통합된다는 점도 고려됐습니다."
"지난 2년간 Google과 긴밀히 협력하면서 기술 제휴 효과를 충분히 실감했고 새로운 가능성도 발견했습니다. Google이 없었다면 GO-JEK는 절대로 인도네시아의 운송, 음식 및 기타 서비스 애플리케이션 분야를 선도하는 기업이 되지 못했을 겁니다."
—아제이 고어, GO-JEK CTOGO-JEK는 두 가지 데이터 스토리지(Redis용 Memorystore 및 Bigtable)를 도입했습니다. 빌럼 피에나르에 따르면 "Bigtable은 GO-JEK에 일대 혁신을 일으켰습니다. 지연 시간을 10밀리초 미만으로 유지한 채 특성 데이터에 액세스하고 대량의 워크로드를 처리할 수 있으므로 노드에 초당 최대 10,000회의 쓰기 및 읽기가 가능할 뿐더러, 규모를 늘려야 하는 경우 노드만 추가하면 됩니다."
빌럼 피에나르는 이렇게 덧붙입니다. "한편 Redis용 Cloud Memorystore는 예를 들어, 초당 200,000회 또는 300,000회의 특성 업데이트를 지원합니다."
API를 사용하면 Bigtable이나 Memorystore에 저장된 특성 데이터를 빠른 속도로 검색하고 저장할 수 있습니다.
이 모든 데이터를 기록해두었다가 데이터 사이언티스트가 매우 유용하게 사용하고 나면 메타데이터를 PostgreSQL 데이터베이스로 옮깁니다. 이 시점에 GO-JEK는 Data Studio를 사용하여 결과를 예측하거나 목표를 최적화하는 기능의 효과를 시각화합니다. 또한 GO-JEK는 데이터 사이언티스트들이 Memorystore에서 필요한 특성을 찾아 모델을 학습시키는 데 사용할 수 있는 특성 탐색 도구도 개발했습니다.
Cloud Machine Learning Engine이 지원하는 자동 가격 조정
데이터 출처와 피처 엔지니어링 구성 요소를 확보한 GO-JEK는 데이터 사이언티스트들이 확장 가능한 머신 러닝 모델을 응용하여 자동 가격 조정 작업과 기타 작업을 지원할 수 있는 환경을 구현했습니다. 빌럼 피에나르에 따르면 "BigQuery와 긴밀히 통합되는 Cloud Machine Learning Engine을 특성 및 원시 데이터 웨어하우스로 구현했습니다. Cloud Machine Learning Engine은 GO-JEK의 데이터 사이언티스트가 TensorFlow 모델을 학습시키고 지원할 수 있는 확장성이 뛰어난 관리형 서비스입니다.
GO-JEK의 아키텍처에는 Apache Kafka 기반의 미래 수요 예측용 Cloud Dataflow가 통합되어 있습니다. GO-JEK는 이제 기후 변화 같은 이벤트로 인한 수요 변화를 효과적으로 예측하고 기사의 반응에 맞춰 가격을 조정할 수 있습니다. 또한 GO-JEK는 30밀리초의 지연 시간과 초당 10,000건 이상의 요청 처리 같은 SLA를 충족시키면서 애플리케이션 홈 화면의 맞춤 설정 기능을 지원할 수 있습니다.
이제 GO-JEK 엔지니어들은 Cloud Datalab을 사용하여 머신 러닝 모델을 개발하고, 특성 탐색 도구로 원하는 특성을 검색하며, BigQuery를 사용하여 학습 데이터를 정리하고, Cloud Machine Learning Engine으로 모델을 학습시키는 일에만 전념할 수 있습니다.
"GO-JEK이 거둔 효과를 요약하자면, 데이터 사이언티스트들의 프로젝트 완료 시간이 단축됐고, 고객 만족도는 크게 향상됐으며, 새로운 시장에 진출하는 데 필요한 데이터 사이언티스트가 감소했고, 인프라에 투입해야 할 시간과 비용은 절약됐습니다"라고 빌럼 피에나르는 설명합니다.
아제이 고어는 이렇게 덧붙입니다. "지난 2년간 Google과 긴밀히 협력하면서 기술 제휴 효과를 충분히 실감했고 새로운 가능성도 발견했습니다. Google이 없었다면 GO-JEK는 절대로 인도네시아의 운송, 음식 및 기타 서비스 애플리케이션 분야를 선도하는 기업이 되지 못했을 겁니다."
어떤 어려움을 겪고 계신지 알려주세요. Google Cloud가 도와드리겠습니다.
문의하기
GO-JEK에 대하여
GO-JEK는 2015년 앱을 출시한 이후 인도네시아의 주문형 멀티 서비스 플랫폼을 선도해왔습니다. 자카르타에 본사를 둔 GO-JEK는 인도네시아 전국의 167개 도시와 지역 주민들이 운송, 음식 배달, 식료품점, 마사지, 주택 청소부터 물류 및 결제에 이르는 18가지 이상의 서비스를 이용할 수 있는 "슈퍼 앱"을 제공하고 있습니다. GO-JEK의 기술은 수백만 시민의 삶을 개선하는 한편, 영세 상인과 중소기업의 활력소 역할을 하고 있습니다.