L’Oréal Beauty Tech : histoire d’une plateforme Serverless pour des téraoctets de données

Editor's Note: L’Oréal vous invite à découvrir la mise en place de sa plateforme data. Moderne, elle repose intégralement sur des services managés, de la gestion de l’acquisition des jeux de données dans BigQuery avec Cloud Run jusqu’à l’orchestration des transformations pour donner naissance à des visualisations adaptées aux besoins des différents métiers de l’entreprise. Pour en savoir plus sur la façon dont les entreprises tirent avantage de Cloud Run, consultez le rapport « Total Economic Impact » de Forrester. L’article a été rédigé par Antoine Castex, Enterprise Architect, chez L’Oréal. 

L’Oréal est née de la science. Depuis plus de 100 ans, nous façonnons l'avenir de la beauté. Cette quête éternelle, qui nous pousse à innover sans cesse, nous vaut notre position actuelle de leader incontesté de la beauté dans le monde. Avec des ventes annuelles s’élevant à 32 milliards d'euros en 2021, nous sommes présents dans 150 pays et comptons plus de 85 000 collaborateurs.

Aujourd’hui, nous poursuivons notre quête de la beauté en combinant la créativité de notre recherche scientifique aux dernières technologies de pointe. Nous avons ainsi récemment capitalisé sur notre héritage riche de plusieurs décennies de données pour optimiser notre prise de décision avec des analyses complexes réalisées en temps réel.

L’Oréal gère des marques mondiales soumises à des exigences locales. Nous devons donc entretenir une compréhension profonde des données associées à une marque tout en tenant compte de la diversité des exigences légales et réglementaires propres à chaque pays. Partant de ce principe, notre objectif est de disposer d’un entrepôt aussi fiable, conforme et éco-responsable que possible.

Nous synchronisons et agrégeons des données internes et externes provenant d'une grande variété de sources, éparpillées entre nos différentes entités et magasins. Avant Google Cloud, la gestion de l'infrastructure de notre entrepôt était tellement complexe et difficile à gérer qu'il était impossible d'avoir une méthode standardisée pour traiter les données. Chaque processus était spécifique à un fournisseur et l'infrastructure était fragile. Nous avons donc cherché une solution capable de répondre à nos besoins complexes en élaborant un cahier des charges avec des critères bien définis et non négociables :

·         Pas de Ops : le travail d'un développeur chez l'Oréal n'est pas de gérer des serveurs. Nous avons besoin d'une infrastructure élastique qui évolue à la demande, afin que nos développeurs puissent se concentrer sur la création d'expériences de beauté personnalisées et inclusives à tous les consommateurs, plutôt que de perdre du temps sur la gestion des serveurs.

·         Sécurité renforcée : Nous avons des exigences strictes en matière de sécurité et de conformité qui varient selon les pays et nous appliquons une stratégie de confiance zéro (Zero Trust). Nous devons garder sécurisées et chiffrées aussi bien nos propres données internes que celles de nos clients.

·         Une solution durable : nos données sont gérées dans de multiples environnements aussi bien sur site que dans nos datacenters et que dans le cloud public. Nous devons pouvoir y accéder en toute sécurité et les analyser tout en réduisant la complexité et l'impact environnemental liés à leur déplacement ou leur duplication.

·         Supervision de bout en bout : nos développeurs n’étant pas supposés gérer les serveurs, nous avons besoin d’un tableau de bord unique qui centralise la surveillance et permet l’administration des systèmes si quelque chose ne tourne pas rond.

·         Déploiement simplifié : le déploiement de code ne doit pas freiner notre réactivité. Nous développons constamment des innovations qui repoussent les limites de la science et réinventent les rituels de beauté. Nous avons besoin d'outils intégrés qui rendent le processus transparent et sûr.

·         Une architecture pilotée par les événements : nos données sont utilisées à l'échelle mondiale par de nombreuses équipes : recherche, produits, vente, ingénierie… Ces équipes ont des attentes élevées sur la qualité et la mise à jour des données. Beaucoup de nos processus et analyses reposent sur des données actualisées en quasi-temps réel.

·         Des données consommables sous forme de services : Nous voulons préserver la réactivité de nos collaborateurs afin de leur permettre de générer de la valeur aussi rapidement que possible. C’est pourquoi nous souhaitons minimiser autant que possible l’intervention des développeurs sur le processus de déploiement. 

·         Extraction-chargement-transformation (ETL) : Nous souhaitions mettre en œuvre un modèle permettant de charger les données le plus tôt possible dans l'entrepôt afin de tirer parti des transformations SQL.

Sur la base de ces critères, nous avons réalisé une étude comparative des solutions proposées par plusieurs fournisseurs et nous avons finalement opté pour l’offre serverless et les solutions de gestion des données de Google Cloud. Par ailleurs, nous avions déjà une expérience très positive de Google Cloud, notamment avec BigQuery, que nous utilisions déjà à l’époque pour certains processus.

Nous avons ainsi étendu l’usage des solutions Google : l’intégralité de notre plateforme de données L'Oréal Beauty Tech repose désormais sur Google Cloud.

Nous utilisons deux méthodes différentes pour alimenter notre plateforme L'Oréal Beauty Tech : les données facilement adaptables à notre schéma sont directement insérées dans BigQuery via des API tandis que les données brutes provenant d’intégrations et qui nécessitent des transformations pilotées par évènements sont ingérées à l’aide de mécanismes Eventarc. Les transformations sont effectuées dans Cloud Run et Cloud Functions (2nd gen), ou directement dans SQL. Avec Google Cloud, nous pouvons nous adapter très rapidement.

Aujourd'hui, nous avons 8.500 flux (provenant de Google Cloud et de services tiers), pour environ 5000 utilisateurs, qui utilisent les fonctionnalités natives Zero Trust proposées par Google Cloud.

BigQuery nous a permis non seulement d’adopter SQL comme langage universel pour notre entrepôt mais également de répondre à toutes les attentes en matière de requêtes et de reporting. Des fonctionnalités comme les requêtes fédérées nous ont aussi permis de charger des données d’origine rapidement et de passer d’une approche ETL d’ingestion des données à une approche ETL pour gérer efficacement en SQL les données semi-structurées. Une telle ingestion ETL permet d’effectuer des transformations tout en conservant les données originales. Elles restent ainsi disponibles dans BigQuery pour d’autres cas d’usage.

Nos applications étant hébergées sur différents environnements (sur site mais aussi dans Google Cloud et sur d’autres clouds publics), nos ingénieurs et analystes avaient du mal à exploiter les données nativement. Depuis que nous utilisons BigQuery Omni, ils peuvent non seulement accéder aux données réparties sur différents clouds mais également les analyser à partir d’un point unique : l’interface utilisateur native de BigQuery. Sans BigQuery Omni, nos équipes n’auraient pas pu effectuer des analyses cross-clouds en mode natif. De plus, cette approche nous permet d’éviter le déplacement de données sensibles, opération non seulement coûteuse en raison des taxes locales et du transport sous-marin, mais aussi incroyablement risquée - parfois même interdite - en raison des réglementations locales.

Fonctionnant désormais intégralement sur Google Cloud, notre plateforme de données Beauty Tech stocke actuellement 100 To de données de production dans BigQuery et traite 20 To de données par mois. Elle gère plus de 8 000 jeux de données et plus de 2 millions de tables BigQuery, alimentées par des sources diverses, telles que Salesforce, SAP, Microsoft et Google Ads.

Quand nous avons besoin de réaliser des transformations complexes ou de faire appel à des bibliothèques personnalisées et spécifiques, les Cloud Workflows nous aident à simplifier ces opérations en orchestrant les étapes dans des conteneurs via Cloud Run, Cloud Functions et même des jobs BigQuery - moyen le plus utilisé pour transformer et valoriser les données de L'Oréal.

Enfin, en utilisant BigQuery et le Serverless de Google pour l’ingestion de données via des API, le chargement en masse et les transformations après chargement, l’ensemble de notre infrastructure reste cantonné dans un périmètre de confiance, ce qui contribue aussi par ailleurs à une réduction significative des couts. L’infrastructure globale bénéficie aussi d’une élasticité à la demande, qu’il s’agisse d’ingestion, d’exécution de requêtes ou de transformations. Résultat, nous n’avons plus besoin de planifier la capacité des composants informatiques ou analytiques du système. Et, bien entendu, le modèle de paiement à la demande de ces services s'aligne parfaitement sur la stratégie de L'Oréal, qui consiste à ne payer quelque chose que lorsque vous l'utilisez.

Dit autrement, Google Cloud répondait parfaitement aux exigences de notre Beauty Tech Data Platform. Et au-delà d’une plateforme événementielle robuste, sécurisée, facile à déployer, supervisée de bout en bout et sans développement personnalisé, Google Cloud nous a également aidés à renforcer nos efforts en faveur du développement durable.

Mesurer et comprendre l’empreinte environnementale de nos usages du cloud fait en effet partie de notre politique de développement durable. Avec Google Cloud Carbon Footprint, nous pouvons facilement voir l'impact de notre infrastructure et de nos principes d'architecture. Notre plateforme de données Beauty Tech s’inscrit dans les ambitions stratégiques de L’Oréal : inventer les produits de beauté du futur tout en devenant l'entreprise du futur.

L’Oréal s’est fixé pour objectif de créer une beauté responsable pour les consommateurs tout en proposant à ses collaborateurs des outils technologiques respectueux de notre planète. Nous avons tous un rôle à jouer et, en unissant nos forces, nous pouvons avoir un impact positif.

L'écosystème de données et les outils serverless de Google Cloud sont très complémentaires. Ils ont permis de construire une plateforme d'analyse de données de nouvelle génération qui répondait à tous nos besoins.

N’hésitez pas à profiter des avantages d’une approche combinée du serverless et de BigQuery sur Google Cloud dès aujourd’hui.