Flipkart、大規模なクラウド移行により技術的環境を再構築

※この投稿は米国時間 2023 年 10 月 31 日に、Google Cloud blog に投稿されたものの抄訳です。

インドでは、消費者の 3 分の 1 以上が買い物のために Flipkart を利用しており、このプラットフォームは 4 億 5,000 万人以上のユーザーを抱えています。登録ショップは 110 万軒に上り、80 のカテゴリにわたって 1 億 5,000 万種類以上の商品を提供し、毎日数百万個の荷物を発送しています。

Flipkart は、技術的環境を再構築して事業の将来性を確保するために、Google Cloud を利用しました。Google Cloud との提携の成果は明らかで、Flipkart Data Analytics Platform（FDP）と Content Catalog Object Store という 2 つの重要なプラットフォームを Google Cloud インフラストラクチャ上で立ち上げることができ、その他すべてのものも含めて Google Cloud に移行しました。

Flipkart にとって 1 年で最も重要な日は Big Billion Day（BBD）セールです。これは、世界的なショッピングの祭典であるブラック フライデーやサイバー マンデーのようなものです。BBD は 9 月から 10 月にかけて行われ、インドの活気あるお祭りシーズンと重なります。数日間にわたり、Flipkart ではトランザクション量が通常業務（BAU）の 6～8 倍に急増します。

大規模で複雑なデータクラスタを短期間で移行

Flipkart の既存のデータ プラットフォームは、オープンソースのビッグデータ テクノロジー上に構築され、Flipkart 固有のビジネス要件に対応するために大規模なカスタマイズが施されていました。この複雑な環境は、チェンナイとハイデラバードにある自社管理のデータセンターに分散していました。約 8 か月間というタイトなスケジュールで移行しなければならなかった Flipkart は、次のようなさまざまな課題に直面していました。

• 大規模な Hadoop クラスタの移行: Flipkart は、膨大な計算能力とメモリリソースを持つ大規模な Hadoop クラスタを Google Cloud に移行する必要がありました。
• 複雑なデータ移行: 移行対象はインフラストラクチャだけでなく、10,000 以上のファクト、ジャーナル、スナップショットと、15,000 の ETL（抽出、変換、読み込み）ジョブにもおよびました。この複雑な作業では、毎日、10 PB の膨大なデータをバッチ処理し、2 PB のデータをニア リアルタイムで処理する必要がありました。
• データ取り込みレイヤ: 大規模なデータ取り込みを容易にするため、チームはオンプレミスの Kafka から Google Cloud の Pub/Sub に移行する必要がありました。この複雑な作業には、1 日あたり 1,300 億以上のメッセージの取り込み、通常運用時には 1 日あたり 60 TB の圧縮データ、イベントのピーク時には 1 日あたり 500 TB の取り込みが必要でした。さらに、このプロセスには 3,000 のトピックが含まれ、一般的なデータと機密・個人情報（PII）の両方におよんでいました。
• データ処理と分析: Flipkart は、リアルタイム分析のために、毎秒 125 万という膨大なメッセージを処理できる堅牢な処理プラットフォームを構築する必要がありました。これは Dataproc を使用して行われました。さらに、このプラットフォームはリアルタイムで約 2 ペタバイト、バッチモードで毎日 10 ペタバイトのメッセージを効率的に処理する必要もありました。
• セルフマネージド Hive の移行: この移行は、既存のセルフマネージド Hive から Hive on Dataproc への移行を含む、重要なユーザー向けコンポーネントにまでおよびました。その目的は、約 20 のチームと 350 人近いテクニカル ユーザーの要件を満たすことでした。驚くべきことに、この移行に要した期間はわずか 4 か月でした。
• セキュリティの確保: Google Cloud のサービスとセルフマネージド サービスの両方で堅牢なセキュリティ対策を確保することが最も重要であり、綿密な計画と厳格な実装が求められました。Google のセキュリティ専門家は Flipkart チームと緊密に連携して、移行されたすべてのコンポーネントの徹底的な評価を行い、セキュリティ状態を確認し、潜在的なリスクと解決策を評価しました。この評価プロセスでは、セキュリティ対策レビューなどのフレームワークが活用されました。

Flipkart はこれらの課題への対処を単独で行ったわけではありません。Google Cloud チームと協力して対処し、移行全体で専門知識が共有されました。当初は BBD 前のリフト＆シフト移行として計画されましたが、BBD 後のモダナイゼーション フェーズは、より複雑で微妙なプロセスへと急速に発展しました。Flipkart のユースケースは複雑だったことから、Google Cloud とパートナー組織の 85 人以上のメンバーで構成される多専門的チームが招集され、この壮大な移行の舵取りをしました。

強固なクラウド インフラストラクチャで SLA を超える

チームは Google Cloud を使用して 15 のツールを構築しました。各ツールは、Flipkart の複雑なエコシステムが提示する固有の要件や課題に対応するように設計されています。移行には、データの取り込み、バッチ処理、メッセージングなど、さまざまな要素が含まれるため、これらのツールは移行を進めるうえで重要な歯車として機能しました。

微調整とパフォーマンスの最適化を絶え間なく行ったことにより、新しいインフラストラクチャはサービスレベル契約（SLA）を満たしただけでなく、それを上回りました。BAU の 5 倍の量に達する複数回のスケールテストを含む厳密なテストにより、Google Cloud インフラストラクチャ上で BBD セールイベントを円滑に実施するための基盤が固まりました。

この移行がもたらしたインパクトは劇的なものでした。Flipkart は、わずか 8 か月でオンプレミスから Google Cloud へのデータ プラットフォームの移行を完了しました。この移行には、膨大な数の vCPU コアを持つ Hive クラスタや、膨大な量の Google Cloud ストレージなど、大量のメッセージのバッチ処理とリアルタイム処理を行う多数のコンポーネントのスムーズな移行が含まれていました。見落としてはならないのは、54 億ものオブジェクトを含むコンテンツ管理ストアを移行するという、非常に大規模で複雑な試みだったということです。

変革を通じて企業の将来性を確保

Google Cloud インフラストラクチャの実際の影響は、すぐに明らかになりました。Flipkart は BBD セールイベントを成功させ、BAU に比べてトランザクション データを 7 倍増加させただけでなく、イベントのスムーズな実施により、社内外の関係者の間で信頼感と安心感が醸成されました。この移行は、技術的な偉業であっただけでなく、e コマースの領域におけるコラボレーション、イノベーション、変革の可能性の証でもありました。

振り返ってみると、Flipkart も Google Cloud も貴重な教訓を学びました。この移行は、JAPAC 地域における大規模インフラストラクチャの限界を押し広げる、現実世界のストレステストとして機能しました。そして、業界が進化し続けるなか、Google Cloud への Flipkart の移行は、パートナーシップと技術的進歩の成功モデルとなっています。これは、コラボレーションの力を明らかにしただけでなく、革新的なテクノロジーと人間の創造力を組み合わせれば無限の可能性が生まれることも浮き彫りにしています。

移行を検討されている場合は、Google Cloud の高速評価および移行プログラム（RaMP）で詳細をご覧ください。貴社の IT 環境を理解し、移行を確実に成功させるために、IT 環境に関する無料の調査と評価にお申し込みいただくことも可能です。

-Google Cloud、AI マネージャー Savitha Sethuram

-Flipkart、シニア プリンシパル アーキテクト Sudhir Reddy 氏