Looker を使用してクラウド ガバナンスを大規模に解決している Trendyol の事例
Saurabh Bangad
Technical Account Manager, Middle East
Semra Uludağ
Data Warehouse and Business Intelligence Team Lead, Trendyol
※この投稿は米国時間 2024 年 5 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。
編集者注: 本日は、トルコを拠点とする大手 e コマース マーケットプレイスであり Google Cloud パートナーでもある Trendyol からお話を伺います。同社が、BigQuery と BigLake のデータレイク インフラストラクチャ上で Looker を使用し、クラウドで強固なガバナンスを維持しながら、数千人のユーザーがリアルタイムのインサイトを得られるようにした方法について取り上げます。
クラウド環境の長所は、「画一的」なソリューションではなく、必要なサービスを選択してすぐに使用を開始できる点にあります。しかし、企業全体で ISO27001 などに準拠したベスト プラクティスやコンプライアンスを確保するのは困難な場合があり、追加の承認要件やチーム間の摩擦が生まれることがあります。このような内在する対立は、クラウド リソースを消費するグループと、組織のより大きな利益に向けて責任を担うグループとの間で、優先順位の競合を引き起こす可能性があります。実際、69% の組織が、厳格なセキュリティ ガイドラインとコードレビュー プロセスによって、開発者の作業が大幅に遅れる可能性があると回答しています。
このことを念頭に置いて、大手 e コマース プラットフォームの Trendyol が Looker を使用して、何百ものソースから取り込まれたペタバイト級のデータを可視化し、大規模なクラウド ガバナンスを実現した方法を見てみましょう。
イノベーションとリスク軽減のバランス
組織内では、1 つの開発チームがクラウド サービスを利用することはほとんどなく、各種の社内アプリケーション、本番環境アプリケーション、非本番環境アプリケーションが複雑に組み合わされていて、それぞれが優先順位を競い合い、固有のニーズがあります。また、IT や組織のガバナンス、監査チームなど、さまざまなガバナンスの主体が関与している可能性を考慮することが重要であり、すべての関係者に対処する必要があります。
ここで忘れてはならない、2 つの異なる側面を確認してみましょう。
-
自由: 開発者は、テストや革新を自由に行うことを求めています。新しいアイデアのプロトタイプを迅速に作成し、本番環境に導入する必要があります。開発サイクルが長引くと、変更に消極的になります。
-
ガバナンス: システムの安全性、信頼性、スケーラビリティを確保するには、ガバナンスが必要です。これには、コーディング標準の適用、セキュリティ レビューの実施、システム パフォーマンスのモニタリング（特にさまざまなチーム間で共有されるリソース）が含まれます。
クラウド環境内では、これらの力関係がさらに難しいものとなる可能性があります。たとえば、Trendyol では、何千人ものユーザーが日々のビジネス インテリジェンス タスクに Looker を活用して、データの処理や、業務の最適化、エクスペリエンスのパーソナライズ、市場動向の予測に役立つレポートの提供などを行っています。大半はデータ アナリストですが、ビジネス ユーザー、倉庫業務、貨物業務など、社内全体で Looker を使用しているユーザーは他にもたくさんいます。
当然のことながら、こうしたユーザーは全員、Looker から Google スプレッドシートにデータを配信するために定期的なスケジュールを設定するなどして、優先順位の高いタスクを高速化し、仕事のやり方を変えるべく、独自の方法でデータを使用したいと考えています。これらの機能は、インサイトを得るための優れた方法をもたらしますが、Trendyol にとっては、これらの処理が公正かつ効率的に実行され、エクスペリエンスに影響を与えたり不必要な費用が発生したりしないようにすることも重要でした。
これは、クラウド サービスを導入している多くの組織において共通のシナリオです。クラウド機能を利用することで、チームは負担の大きい作業をアウトソーシングし、より価値のあるビジネス上の優先事項に集中できるようになります。その一方で、リスクに対して必ずしも慎重でなかったり、十分に認識していなかったりすることがあり、健全な意図があるにもかかわらず、既存のビジネスに悪影響を及ぼしてしまうこともあります。
そのため、安全性と信頼性を確保しながら生産性を向上させるシステムを構築するには、イノベーションとリスク軽減の適切なバランスを取ることが極めて重要です。
Looker でトレンドの先駆けとなる e コマース エクスペリエンスを創出
Trendyol は、プラットフォームを高速で安全かつ手頃な価格に保ちながら、ユーザーが新しいインサイトを探索して見つけられるようにすることを目指しています。これは単なる技術的な課題ではなく、チーム間のコラボレーションと大局的な思考を必要とします。
Looker を使用することで、Trendyol は既存のツールやプラットフォームから主要な指標をニア リアルタイムで一元管理し、データ アナリスト、ビジネス ユーザー、その他のチームに合理化されたデータ分析とインサイトを提供して、日々のワークフローを強化することができています。また、Looker は、アクセス制御機能、許可リスト、ジョブ スケジューリング、キャッシュ最適化などのデータ ガバナンスを簡単に実装する方法を提供します。クラウド ガバナンスを確保しながら柔軟性を維持するために、Trendyol のデータ ウェアハウジング チームは Looker を使用して一連の内部メカニズムと原則を作成しました。これには以下が含まれます。
-
正式な許可リストの作成: Trendyol は、スケジュールされたジョブの許可リストを積極的に作成し維持するために、上位のユーザーとコンテンツを特定しました。この許可リストは、新しい追加がないか継続的にモニタリングされ、スケジュール オーナーとの連携により定期的にサニタイズされて、残すべきジョブが決定されます。このクリーンアップ プロセスは自動化されているため、Trendyol は重複するスケジュールを排除したり、スケジュール オーナーが許可リストにジョブを残すための権限を付与したりできます。
-
ユーザーのコラボレーション用のフォーラム設立: Trendyol は、上位のパフォーマーがスケジュールされたジョブをどのように活用しているかに着目し、ユーザーが参加し互いに学び合うための正式なプログラムを用意しました。これには、効率的なコラボレーションを促進するための定期的なミーティング、オフィスアワー、その他のディスカッション フォーラムが含まれます。
-
スケジュールされたジョブの実行時間の分散: データの更新と処理は、Looker でも特にコンピューティング負荷の高いタスクです。Trendyol は、スケジュールされたジョブが実際にピーク時に実行する必要があるかどうかを定期的に評価するとともに、重複するジョブの排除、スケジュールされた時間の調整、古くて不要なジョブの削除などの代替案を検討します。
-
ジョブの頻度の見直し: 特定のジョブを頻繁に繰り返しスケジュールする必要があるかどうかを評価し、リソース使用率を最適化するためにその頻度を下げることを検討します。たとえば、チームは、ジョブを 1 日に何回もスケジュールするのではなく、週に 1 回スケジュールするだけでユーザーのニーズを満たすのに十分かどうかを評価します。
-
ゾンビ スケジュールへの対応: スケジュール オーナーが会社を辞めた場合、Trendyol は別のスケジュール オーナーがスケジュールされたジョブを引き継げるかどうかを判断します。他のスケジュール オーナーが見つからない場合、これらの「ゾンビ」スケジュールは Looker から削除されます。
-
ハブ アンド スポーク モデルとキャッシュの最適化の提供: Trendyol は、ハブ アンド スポーク アーキテクチャ モデルを採用しており、普遍的なビジネス ロジックを適用しながら、個々のチームが独自のロジックやアクセス制御ルール、ポリシーを定義できるようにしています。また、Looker のスマートキャッシュ メカニズムを活用して、類似のクエリで冗長なデータを取得しないようにもしています。
Trendyol はこれらの試みを組み合わせ、継続的に改善に取り組むことで、真のクラウド ガバナンスを大規模に提供できることがわかりました。今では、ピーク時には 1 日 26 万件以上のクエリを処理できるようになり、1,500 人以上の従業員が日常業務に Looker によるインサイトを活用しています。
Google Cloud での Trendyol の取り組みについて詳しくは、以下をご覧ください。
また、データ ガバナンスのベスト プラクティスについては、以下の Google Cloud ガイドを確認することをおすすめします。
