データ分析

Looker を使用してクラウドガバナンスを大規模に解決している Trendyol の事例

2024年5月20日

Saurabh Bangad

Technical Account Manager, Middle East

Semra Uludağ

Data Warehouse and Business Intelligence Team Lead, Trendyol

Gemini 1.5 モデルをお試しください。

Vertex AI からアクセスできる、Google のもっとも先進的なマルチモーダルモデルです。

試す

※この投稿は米国時間 2024 年 5 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。

編集者注: 本日は、トルコを拠点とする大手 e コマースマーケットプレイスであり Google Cloud パートナーでもある Trendyol からお話を伺います。同社が、BigQuery と BigLake のデータレイクインフラストラクチャ上で Looker を使用し、クラウドで強固なガバナンスを維持しながら、数千人のユーザーがリアルタイムのインサイトを得られるようにした方法について取り上げます。

クラウド環境の長所は、「画一的」なソリューションではなく、必要なサービスを選択してすぐに使用を開始できる点にあります。しかし、企業全体で ISO27001 などに準拠したベストプラクティスやコンプライアンスを確保するのは困難な場合があり、追加の承認要件やチーム間の摩擦が生まれることがあります。このような内在する対立は、クラウドリソースを消費するグループと、組織のより大きな利益に向けて責任を担うグループとの間で、優先順位の競合を引き起こす可能性があります。実際、69% の組織が、厳格なセキュリティガイドラインとコードレビュープロセスによって、開発者の作業が大幅に遅れる可能性があると回答しています。

このことを念頭に置いて、大手 e コマースプラットフォームの Trendyol が Looker を使用して、何百ものソースから取り込まれたペタバイト級のデータを可視化し、大規模なクラウドガバナンスを実現した方法を見てみましょう。

イノベーションとリスク軽減のバランス

組織内では、1 つの開発チームがクラウドサービスを利用することはほとんどなく、各種の社内アプリケーション、本番環境アプリケーション、非本番環境アプリケーションが複雑に組み合わされていて、それぞれが優先順位を競い合い、固有のニーズがあります。また、IT や組織のガバナンス、監査チームなど、さまざまなガバナンスの主体が関与している可能性を考慮することが重要であり、すべての関係者に対処する必要があります。

ここで忘れてはならない、2 つの異なる側面を確認してみましょう。

自由: 開発者は、テストや革新を自由に行うことを求めています。新しいアイデアのプロトタイプを迅速に作成し、本番環境に導入する必要があります。開発サイクルが長引くと、変更に消極的になります。
ガバナンス: システムの安全性、信頼性、スケーラビリティを確保するには、ガバナンスが必要です。これには、コーディング標準の適用、セキュリティレビューの実施、システムパフォーマンスのモニタリング（特にさまざまなチーム間で共有されるリソース）が含まれます。

クラウド環境内では、これらの力関係がさらに難しいものとなる可能性があります。たとえば、Trendyol では、何千人ものユーザーが日々のビジネスインテリジェンスタスクに Looker を活用して、データの処理や、業務の最適化、エクスペリエンスのパーソナライズ、市場動向の予測に役立つレポートの提供などを行っています。大半はデータアナリストですが、ビジネスユーザー、倉庫業務、貨物業務など、社内全体で Looker を使用しているユーザーは他にもたくさんいます。

当然のことながら、こうしたユーザーは全員、Looker から Google スプレッドシートにデータを配信するために定期的なスケジュールを設定するなどして、優先順位の高いタスクを高速化し、仕事のやり方を変えるべく、独自の方法でデータを使用したいと考えています。これらの機能は、インサイトを得るための優れた方法をもたらしますが、Trendyol にとっては、これらの処理が公正かつ効率的に実行され、エクスペリエンスに影響を与えたり不必要な費用が発生したりしないようにすることも重要でした。

これは、クラウドサービスを導入している多くの組織において共通のシナリオです。クラウド機能を利用することで、チームは負担の大きい作業をアウトソーシングし、より価値のあるビジネス上の優先事項に集中できるようになります。その一方で、リスクに対して必ずしも慎重でなかったり、十分に認識していなかったりすることがあり、健全な意図があるにもかかわらず、既存のビジネスに悪影響を及ぼしてしまうこともあります。

そのため、安全性と信頼性を確保しながら生産性を向上させるシステムを構築するには、イノベーションとリスク軽減の適切なバランスを取ることが極めて重要です。

Looker でトレンドの先駆けとなる e コマースエクスペリエンスを創出

Trendyol は、プラットフォームを高速で安全かつ手頃な価格に保ちながら、ユーザーが新しいインサイトを探索して見つけられるようにすることを目指しています。これは単なる技術的な課題ではなく、チーム間のコラボレーションと大局的な思考を必要とします。

Looker を使用することで、Trendyol は既存のツールやプラットフォームから主要な指標をニアリアルタイムで一元管理し、データアナリスト、ビジネスユーザー、その他のチームに合理化されたデータ分析とインサイトを提供して、日々のワークフローを強化することができています。また、Looker は、アクセス制御機能、許可リスト、ジョブスケジューリング、キャッシュ最適化などのデータガバナンスを簡単に実装する方法を提供します。クラウドガバナンスを確保しながら柔軟性を維持するために、Trendyol のデータウェアハウジングチームは Looker を使用して一連の内部メカニズムと原則を作成しました。これには以下が含まれます。

正式な許可リストの作成: Trendyol は、スケジュールされたジョブの許可リストを積極的に作成し維持するために、上位のユーザーとコンテンツを特定しました。この許可リストは、新しい追加がないか継続的にモニタリングされ、スケジュールオーナーとの連携により定期的にサニタイズされて、残すべきジョブが決定されます。このクリーンアッププロセスは自動化されているため、Trendyol は重複するスケジュールを排除したり、スケジュールオーナーが許可リストにジョブを残すための権限を付与したりできます。
ユーザーのコラボレーション用のフォーラム設立: Trendyol は、上位のパフォーマーがスケジュールされたジョブをどのように活用しているかに着目し、ユーザーが参加し互いに学び合うための正式なプログラムを用意しました。これには、効率的なコラボレーションを促進するための定期的なミーティング、オフィスアワー、その他のディスカッションフォーラムが含まれます。
スケジュールされたジョブの実行時間の分散: データの更新と処理は、Looker でも特にコンピューティング負荷の高いタスクです。Trendyol は、スケジュールされたジョブが実際にピーク時に実行する必要があるかどうかを定期的に評価するとともに、重複するジョブの排除、スケジュールされた時間の調整、古くて不要なジョブの削除などの代替案を検討します。
ジョブの頻度の見直し: 特定のジョブを頻繁に繰り返しスケジュールする必要があるかどうかを評価し、リソース使用率を最適化するためにその頻度を下げることを検討します。たとえば、チームは、ジョブを 1 日に何回もスケジュールするのではなく、週に 1 回スケジュールするだけでユーザーのニーズを満たすのに十分かどうかを評価します。
ゾンビ スケジュールへの対応: スケジュールオーナーが会社を辞めた場合、Trendyol は別のスケジュールオーナーがスケジュールされたジョブを引き継げるかどうかを判断します。他のスケジュールオーナーが見つからない場合、これらの「ゾンビ」スケジュールは Looker から削除されます。
ハブアンドスポークモデルとキャッシュの最適化の提供: Trendyol は、ハブアンドスポークアーキテクチャモデルを採用しており、普遍的なビジネスロジックを適用しながら、個々のチームが独自のロジックやアクセス制御ルール、ポリシーを定義できるようにしています。また、Looker のスマートキャッシュメカニズムを活用して、類似のクエリで冗長なデータを取得しないようにもしています。