L’Oréal Beauty Tech Data Platform - 테라바이트 및 서버리스 데이터 혁신 사례
Antoine Castex
Enterprise Architect, L’Oréal
* 본 아티클의 원문은 2021년 3월 10일 Google Cloud 블로그(영문)에 게재되었습니다.
편집자 주: 오늘의 게스트 게시물에서는 뷰티 업계 선두업체인 L'Oréal이 완전 관리형 서비스를 기반으로 최신 데이터 플랫폼을 구축한 방법에 대해 소개합니다. L'Oréal은 Cloud Run을 통해 BigQuery로 다양한 데이터 세트를 수집하고 이를 관련 비즈니스 도메인 표현으로 변환하여 조직 전체의 이해관계자가 이해할 수 있게끔 조정하고 있습니다. Forrester의 Total Economic Impact 보고서에서 Cloud Run이 기업에 어떤 이점을 제공하는지 자세히 알아보세요.
L’Oréal은 과학적 연구로 탄생한 회사입니다. 100년이 넘는 세월 동안 꾸준히 뷰티 업계의 미래를 개척했으며 끝없는 탐구를 통해 새로운 지평을 열었습니다. 그 결과 세계 최고의 뷰티 선두업체(2021년 연간 매출 약 €320억)로 자리매김했으며 현재 150개국에서 85,000명이 넘는 직원들이 일하고 있습니다.
L’Oréal은 지금도 획기적인 과학과 최첨단 기술의 힘으로 뷰티 업계의 미래를 만드는 끝없는 여정을 이어가고 있습니다. 또한 뷰티 테크 기업으로서 수십 년 동안 축적된 풍부한 데이터 자산을 활용하여 즉각적이고 정교한 분석에 기반한 효과적인 의사 결정을 내리고 있습니다.
글로벌 브랜드를 감독하기 위해서는 현지 요구사항에 맞춰 조정해야 하므로 브랜드 데이터가 나타내는 의미를 심층적으로 이해하고 국가별로 상이한 법률 및 규제 요건을 관리해야 합니다. 최종 목표는 안전하고 규정을 준수하며 지속가능한 데이터 웨어하우스를 최대한 효율적이고 효과적으로 운영하는 것입니다.
L’Oréal은 조직에서 소매점 매장까지 다양한 소스에서 내부 및 외부 데이터를 동기화 및 집계하고 있습니다. 이 때문에 Google Cloud를 사용하기 전에는 데이터 웨어하우스 인프라 관리가 매우 복잡하고 어려웠습니다. 그러던 중 사용 공간이 너무 커서 표준화된 방법으로 데이터를 처리하는 것은 불가능하다는 사실을 깨달았습니다. 모든 프로세스가 공급업체별로 다르고 인프라가 불안정했습니다. 그에 따라 복잡한 데이터 인프라 요구에 맞는 솔루션을 찾아 나서면서 다음과 같은 타협 불가능한 원칙을 정의했습니다.
- 노옵스(no-ops): L’Oréal 개발자의 직무는 서버 관리가 아닙니다. 개발자가 서버 관리에 집중하기보다는 모든 소비자에게 맞춤설정된 포용적인 뷰티 경험을 제공하는 데 전념할 수 있도록 수요에 따라 확장되는 탄력적인 인프라가 필요합니다.
- 보안: 국가별로 다른 엄격한 보안 및 규정 준수 요건을 마련하고 제로 트러스트 보안 전략을 채택하고 있습니다. L’Oréal에서는 내부 데이터와 고객 데이터를 모두 안전하게 보호하고 암호화해야 합니다.
- 지속가능성: 온프렘 데이터 센터 및 퍼블릭 클라우드 서비스를 포함한 다양한 환경에 데이터가 위치합니다. 데이터 이동 및 복제의 복잡성과 환경에 미치는 영향을 최소화하면서 이 데이터에 안전하게 액세스하고 분석할 수 있어야 합니다.
- 엔드 투 엔드 감독: 개발자가 서버 관리에만 매달릴 수는 없기 때문에, 문제가 발생할 경우 시스템을 모니터링하고 분류할 수 있는 '단일 제어 창' 대시보드가 필요합니다.
- 쉬운 배포: 안전한 코드 배포를 위해 속도를 저하시켜서는 안 됩니다. 과학의 지평을 넓히고 아름다움을 재창조하는 혁신 기술을 끊임없이 개발하고 있습니다. 코드 배포 프로세스를 원활하고 안전하게 만들어 주는 통합된 도구가 필요합니다.
- 이벤트 기반 아키텍처: 데이터 품질과 적시성에 대한 기대치가 높은 연구, 제품, 비즈니스, 엔지니어링팀에서 전역적으로 데이터를 사용하고 있습니다. 거의 실시간에 가까운 데이터를 토대로 많은 내부 절차 및 분석이 이루어지고 있습니다.
- '서비스형'으로 제공되는 데이터 제품: L’Oréal은 직원들의 역량을 강화하여 빠른 속도로 비즈니스 가치를 창출하고자 했습니다. 이를 위해서는 중요한 솔루션 제공 과정에서 가능한 한 개발자를 배제할 수 있는 솔루션이 필요합니다.
- ELT(추출-로드-변환): 목표는 데이터 웨어하우스에 데이터를 최대한 빨리 로드하는 패턴을 구현하여 SQL 변환을 활용하는 것입니다.
이러한 원칙을 염두에 두고 시장의 여러 공급업체를 고려한 끝에 엔드 투 엔드 Google Cloud 서버리스 및 데이터 도구를 도입했습니다. 이미 몇 가지 절차에 BigQuery를 포함한 Google Cloud를 사용 중이었으며 제품에 대한 만족도가 높았습니다.
그리고 이제 L’Oréal Beauty Tech Data Platform을 완벽하게 지원하기 위해 Google Cloud 사용을 확장했습니다.
L’Oréal의 Beauty Tech Data Platform은 두 가지 유형의 소스에서 얻은 데이터를 통합합니다. API를 통해 직접 얻는 데이터는 스키마에 맞춰 조정하기가 쉽고 BigQuery에 직접 삽입되며, 통합을 통해 얻는 일괄 데이터는 Eventarc 메커니즘을 사용한 이벤트 기반 변환이 필요합니다. 이러한 변환은 Cloud Run 및 Cloud Functions(2세대)에서 수행되거나 SQL에서 직접 처리되며, Google Cloud를 사용하면서 빠른 적응이 가능해졌습니다.
현재 Google Cloud에서 제공하는 기본 제로 트러스트 기능을 사용해 약 5,000명의 사용자를 지원하는 8,500개의 흐름이 존재합니다. 실제로 이러한 흐름은 Google Cloud 및 기타 타사 서비스에서 시작됩니다.
BigQuery는 데이터 웨어하우스에서 표준 SQL을 범용 언어로 채택하여 쿼리 및 보고에 대한 모든 기대를 충족할 수 있었습니다. 또한 통합 쿼리 등의 기능을 사용하여 원본 데이터를 로드할 수 있었고 SQL을 사용해 반구조화된 데이터를 처리하여 ETL에서 ELT 데이터 수집으로 효율적으로 전환했습니다. 비파괴적인 변환을 통해 원본 데이터를 소스에서 BigQuery로 로드하는 이러한 접근 방식 덕분에 BigQuery 내에서 바로 새로운 사용 사례에 맞게 데이터를 재처리하기가 쉬워졌습니다.
자사 애플리케이션은 온프레미스, Google Cloud, 기타 퍼블릭 클라우드와 같은 여러 환경에서 호스팅됩니다. 이 때문에 BigQuery Omni를 사용하기 전에는 데이터 엔지니어 및 분석가가 클라우드 전반의 데이터를 기본적으로 분석하기가 어려웠습니다. 이 BigQuery 기능 덕분에 기본 BigQuery 사용자 인터페이스를 사용하여 단일 제어 창을 통해 클라우드 전반의 데이터에 액세스하고 이를 분석할 수 있게 되었습니다. BigQuery Omni가 없었다면 팀에서 기본적으로 교차 클라우드 분석이 불가능했을 것입니다. 또한 민감한 정보의 이동은 현지 세금이나 해저 케이블 전송 때문에 많은 비용이 드는 것은 물론, 현지 규정으로 인해 위험도가 매우 높으며, 심지어 금지되는 경우도 있는데 이제는 이런 민감한 정보를 이동할 필요가 없어졌습니다.
현재 Google Cloud는 BigQuery에 100TB의 프로덕션 데이터를 저장하고 매달 20TB의 데이터를 처리하는 Beauty Tech Data Platform을 지원하고 있습니다. Salesforce, SAP, Microsoft, Google Ads 등 여러 데이터 소스에서 8,000개가 넘는 제어된 데이터 세트와 2백만 개 이상의 BigQuery 테이블을 얻고 있습니다.
특정한 커스텀 라이브러리가 필요한 보다 복잡한 전환의 경우, Cloud Workflows의 도움을 받아 컨테이너의 단계를 Cloud Run, Cloud Functions, BigQuery 작업을 통해 조정함으로써 복잡성을 매우 효율적으로 관리하고 있습니다. L'Oréal의 데이터를 변환하고 가치를 높이기 위해 이 방법을 주로 사용하고 있습니다.
또한 API 수집, 일괄 데이터 로드, 사후 로드 변환에 BigQuery와 Google Cloud의 서버리스 컴퓨팅을 사용하여 적은 비용으로 전체 시스템을 하나의 신뢰 경계 안에 유지할 수 있습니다. 수집, 쿼리, 변환이 모두 완전히 탄력적인 주문형 방식으로 이루어지기 때문에 더 이상 시스템의 컴퓨팅 또는 분석 구성요소에 대한 용량 계획을 세울 필요가 없습니다. 이러한 서비스의 사용한 만큼만 지불하는 모델은 사용 시에만 요금을 지불한다는 L’Oréal의 전략과 완벽하게 일치합니다.
Google Cloud는 Beauty Tech Data Platform의 요구사항을 충족했습니다. 또한 Google Cloud는 엔드 투 엔드 감독을 지원하는 노옵스(no-ops) 방식의 안전하고 배포가 쉽고 커스텀 개발이 자유로운 이벤트 기반 플랫폼을 제공하는 데 그치지 않고 지속가능성 노력에도 도움을 주었습니다.
퍼블릭 클라우드 사용에 따른 환경 오염도를 측정하고 이해할 수 있는 능력 또한 지속가능한 기술 로드맵의 핵심 요소입니다. Google Cloud 탄소 발자국을 통해 지속가능한 인프라 접근 방식과 아키텍처 원칙이 환경에 미치는 영향을 쉽게 확인할 수 있습니다. Beauty Tech 플랫폼에는 미래형 기업으로서 미래의 뷰티 제품을 개발한다는 L’Oréal의 전략적 포부가 담겨 있습니다.
지속가능한 기술은 소비자를 위한 책임감 있는 뷰티 제품과 지속가능하게 설계된 직원용 기술 서비스를 만든다는 포부를 실현하는 데 필수적인 중요한 단계입니다. 모두가 각자의 역할이 있으며, 모두가 힘을 합치면 긍정적인 영향력을 행사할 수 있습니다.
Google Cloud의 데이터 생태계와 서버리스 도구는 매우 상호 보완적이며, 모든 요구를 충족하는 차세대 데이터 분석 플랫폼을 구축할 수 있도록 지원해 줬습니다.
