L’Oréal Beauty Tech Data Platform - テラバイトのデータとサーバーレスに関するストーリー

※この投稿は米国時間 2022 年 3 月 10 日に、Google Cloud blog に投稿されたものの抄訳です。

編集者注: 本日の投稿では、化粧品最大手の L'Oréal が、フルマネージド サービス上に最新のデータ プラットフォームを構築するために採用したアプローチについてお話を伺いました。これには、Cloud Run を使用して多様なデータセットの BigQuery への取り込みを管理することと、組織全体の関係者のために、関連する事業領域における重要な意味へのデータの変換をオーケストレーションすることが含まれます。Cloud Run が企業にもたらす利益について詳しくは、Total Economic Impact（総経済効果）に関する Forrester のレポートをご覧ください。

L’Oréal は科学から生まれました。100 年以上にわたって、L’Oréal は常に美容の未来を形作り、飽くなき探究心により新しい領域を切り開いてきました。その結果、現在では化粧品業界の世界最大手となり（2021 年の年間売り上げはおよそ 320 億ユーロ）、150 か国で製品を販売し、85,000 人超の従業員を抱えるまでになっています。

そして今、革新的な科学の力を最先端の技術と組み合わせることにより、美容の未来を形作るという終わることのない旅路を歩み続けています。

L’Oréal はビューティ テック企業として、数十年分の豊富なデータ資産という遺産を活用し、高度な即時分析によって意思決定を強化しています。

L’Oréal が管理しているのは現地の要件に適合させる必要のあるグローバル ブランドであるため、ブランドのデータが意味することを深く理解しつつ、国によってまったく異なる法的要件や規制要件を管理する必要があります。最終的な目標は、安全で持続可能な、法令を遵守したデータ ウェアハウスを、できる限り効率的かつ効果的に実行することです。

L’Oréal では、組織や小売店をまたぐ広範なソースから、内部および外部のデータを同期し、集約しています。そのため、Google Cloud を使い始める前は、データ ウェアハウス インフラストラクチャの管理が非常に複雑で困難なものになっていました。L’Oréal は非常に広範囲に事業を行っているため、データを処理するための標準化された方法を確立することは不可能だと思っていました。各プロセスはベンダー固有であり、インフラストラクチャは脆弱でした。L’Oréal はこの複雑なデータ インフラストラクチャのニーズを満たすソリューションを探し始め、次のような譲れない原則を定義しました。

• NoOps: L’Oréal の開発者の仕事は、サーバーの管理ではない。開発者が、サーバーの管理ではなく、カスタマイズされたインクルーシブの美容エクスペリエンスをあらゆる消費者に提供することに集中できるように、オンデマンドでスケーリングする弾力性のあるインフラストラクチャが必要。

• セキュリティ: L’Oréal には国ごとに異なる厳格なセキュリティとコンプライアンスの要件があり、ゼロトラスト戦略を採用する。社内データと顧客データの両方のセキュリティを確保し、暗号化しなければならない。

• 持続可能 : データは、オンプレミス データセンターとパブリック クラウド サービスを含む複数の環境に保存される。これらのデータへの安全なアクセスと分析が可能であると同時に、データの移動と複製の複雑さおよび環境への影響を最小限に保つ必要がある。

• エンドツーエンドの管理: サーバーの管理は開発者が行うべきではないため、不具合が生じたときにシステムをモニタリングしてトリアージを行うための「単一の画面」ダッシュボードが必要。

• 容易なデプロイ: コードを安全にデプロイするために、スピードを犠牲にすべきではない。L’Oréal は、科学の境界線を広げ、美容の習慣を作り変えるイノベーションを常に起こしている。コードのデプロイ プロセスをシームレスで安全なものにするため、統合されたツールが必要。

• イベントドリブン アーキテクチャ: L’Oréal のデータは、データの品質や適時性を重視する研究、製品、営業、エンジニアリングの各チームによって世界中で使用されている。内部のプロセスや分析の多くは、ほぼリアルタイムのデータに基づいている。

• 「サービスとして」提供されるデータ プロダクト: 記録的な速さで事業価値を促進できるように、従業員に力を与えたい。そのために、ソリューション提供のクリティカル パスから開発者をできる限り排除できるソリューションが必要。

• ELT（抽出、読み込み、変換）: 目標は、SQL 変換の利点を活用するためにデータをできる限り早くデータ ウェアハウスに読み込むパターンを実装すること。

これらの原則を踏まえて市場の複数のベンダーを検討した結果、エンドツーエンドの Google Cloud サーバーレスおよびデータツールに行きつきました。L’Oréal では、いくつかのプロセスで BigQuery などの Google Cloud をすでに使用しており、そのエクスペリエンスを気に入っていました。

その後、L’Oréal Beauty Tech Data Platform を完全にサポートするために Google Cloud の利用を拡張しました。

L’Oréal の Beauty Tech Data Platform は、2 種類のソースからデータを取り込みます。1 つは API から直接取り込むデータで、このデータは簡単にスキーマに適合し、直接 BigQuery に挿入できます。もう 1 つは統合からのバルクデータであり、これには Eventarc メカニズムを使用したイベントドリブンの変換が必要になります。これらの変換は Cloud Run と Cloud Functions（第 2 世代）によって、または SQL で直接行われます。Google Cloud を使用することで、迅速に適合することができます。

現時点で L’Oréal には、Google Cloud が提供するネイティブのゼロトラスト機能を使用する、およそ 5000 人のユーザーのための 8500 のフローがあります。実際のところ、フローは Google Cloud と他のサードパーティのサービスから来ています。

BigQuery のおかげで、標準 SQL をデータ ウェアハウスでの汎用的な言語として採用でき、クエリとレポートに関するすべての期待を満たすことができました。クエリ連携のような機能を使用して元のデータを読み込むこともできるようになり、半構造化データを SQL で処理することにより、データの取り込みを ETL から ELT に効率的に移行することができました。非破壊的変換を使用して、ソースから元のデータを BigQuery に読み込むというアプローチにより、BigQuery 内で直接、新しいユースケースのためにデータを再処理することが簡単にできるようになりました。

L’Oréal のアプリケーションは、オンプレミス、Google Cloud、その他のパブリック クラウドという複数の環境でホストされています。そのため、 BigQuery Omni を使い始めるまで、データ エンジニアやアナリストがクラウドをまたぐデータをネイティブに分析することは簡単ではありませんでした。BigQuery のこの機能のおかげで、ネイティブの BigQuery ユーザー インターフェースそのものを使用して、単一の画面からクラウドをまたぐデータに世界中からアクセスして分析できるようになりました。BigQuery Omni がなければ、L’Oréal のチームがクロスクラウド分析をネイティブに行うことは不可能だったでしょう。さらに、機密データを移動する必要性もなくなりました。このような移動は現地の税金や海底ケーブルによる移送などの理由で高価であるだけでなく、現地の規制ゆえに非常に危険でもあります（禁止されていることさえあります）。

Beauty Tech Data Platform は Google Cloud によって支えられており、このプラットフォームでは 100 TB の製品データが BigQuery に保存されていて、毎月 20 TB のデータが処理されています。L’Oréal には 8,000 を超える管理されたデータセットと、Salesforce、SAP、Microsoft、Google 広告などの複数のデータソースに由来する 200 万の BigQuery テーブルがあります。

カスタマイズされた特殊なライブラリが必要となる、より複雑な変換には、Cloud Workflows が役に立ちます。Cloud Run、Cloud Functions、さらには BigQuery ジョブを使用してコンテナ内でステップのオーケストレーションを行うことにより、非常に効率的に複雑さを管理できます。これが、L’Oréal のデータを変換して価値を付加するために最も使用されている方法です。

さらに、API 取り込み、バルクデータの読み込み、読み込み後の変換のために BigQuery と Google Cloud のサーバーレス コンピューティングを使用することにより、わずかなコストでシステム全体を単一の信頼境界内に維持することができています。取り込み、クエリ、変換のすべてに十分な弾力性がありオンデマンドであるため、システムのコンピューティングと分析のコンポーネントに対してキャパシティ プランニングを行う必要もなくなりました。そしてもちろん、これらのサービスが従量課金制モデルであることも、使用したものだけに支払いを行うという L’Oréal の戦略と完全に合致しています。  

Google Cloud は、Beauty Tech Data Platform の要件を満たしてくれました。そして、NoOps、セキュリティ、容易なデプロイ、カスタム開発が不要、イベントベースという特徴を持つ、エンドツーエンドの管理を備えたプラットフォームを提供するだけでは十分ではないかのように、Google Cloud は L’Oréal の持続可能性の取り組みも支援してくれました。  

パブリック クラウドの使用による環境フットプリントを測定して理解できることも、持続可能なテクノロジー ロードマップにおいて重要です。Google Cloud Carbon Footprint により、L’Oréal の持続可能なインフラストラクチャのアプローチとアーキテクチャの原則がもたらす効果を簡単に把握できます。Beauty Tech プラットフォームは、L’Oréal にとって戦略的な取り組みです。未来の化粧品を発明しつつ、未来の企業になろうとしています。

消費者のために責任を持って美しさを創造し、従業員のために持続可能性を重視したテクノロジー サービスを提供するというこの取り組みを実現するうえで、持続可能なテクノロジーは不可欠かつ非常に重要なステップです。私たちすべてにできることがあり、力を合わせることでプラスの影響を与えることができます。

Google Cloud のデータ エコシステムとサーバーレス ツールは互いに補い合うもので、これらを活用することで L’Oréal のあらゆるニーズを満たす次世代のデータ分析プラットフォームを構築することができました。

Google Cloud のサーバーレスと BigQuery の両方をすぐに使い始めることをおすすめします。

- L’Oréal 社エンタープライズ アーキテクト、Antoine Castex 氏