Back Market: Google のデータクラウドへの移行でデータ費用を半分に削減し、エコファーストの目標を実現

※この投稿は米国時間 2025 年 12 月 6 日に、Google Cloud blog に投稿されたものの抄訳です。

Back Market は、電子機器を武器に気候変動と闘っています。

当社のデジタル マーケットプレイスは、スマートフォンやパソコンから家電製品、ゲーム機に至る中古電子機器を専門に扱う 1,800 社以上の販売業者と、割安商品を探している購入者を仲介しています。2014 年以降、新品同様に機能する再生品の購入を望むお客様 1,700 万人以上をお手伝いしたことで、200 万トンの CO2 排出を回避したと言えることを誇らしく思います。

しかし、炭素を意識した当社のビジネスモデルは、興味深い IT の課題を投げかけます。すべてのウェブサイトの背後には、CO2 を排出するデータセンターの IT インフラストラクチャが存在します。この課題に対処するため、当社の IT チームはベンダーに依存しない IT 戦略の検討に着手しました。当初は、さまざまなプロバイダのテクノロジーを自由に選べるという点に魅力を感じていましたが、会社の成長に伴い、そのやり方ではスケーラビリティに問題が生じるようになりました。

当社の技術スタックは Amazon Web Services（AWS）上に構築されており、Snowflake と Databricks が含まれていました。そのため、情報がさまざまなプラットフォームに分散し、データ環境が断片化していました。複雑なワークフローが、さまざまなターゲットにデータを書き込むことを可能にしていましたが、すべてのチームは主に BigQuery を使用していました。つまり、実際の価値を提供しないターゲットのために、高コストでパフォーマンスを低下させるパイプラインを維持していたことになります。さまざまなテクノロジーを自由に取り入れた結果、小規模なエンジニアリング チームの技術的負担は増え続ける一方でした。

最近、当社はすべてのデータを BigQuery に移行しました。BigQuery は、当社のエンタープライズ データ プラットフォームとして機能しています。つまり、マネージド サービス モデルへの移行を決定した際に、Google Cloud を選んだのは自然な成り行きでした。また、当社が B Corp コミットメントに取り組んでいることから、Google Cloud のカーボン フットプリントの透明性と再生可能エネルギーの選択肢は特に魅力的に感じられました。

Google Cloud との長期的な関係も重要な要素でした。この機会に、データ プラットフォームを移行するだけでなく、会社の技術スタック全体を移行することになりました。長年にわたって築き上げてきた信頼関係のおかげで、Google Cloud 上でデータと IT 運用を統合するという選択にまったく不安はありませんでした。

二重実行戦略によって非常にスムーズなデータ移行を実現

Google との緊密な連携により、チームはわずか 2 週間で概念実証を構築しました。データセンターの場所は、再生可能エネルギー源で稼働することを重視して選択しました。この概念実証には、インフラストラクチャ、データベース管理、データ エンジニアリング、セキュリティ、バックエンド開発の各分野で、Google の専門家からなる専任チームが Back Market のスペシャリストと協力して取り組みました。目標は、2 週間以内に Google Cloud 上で完全に機能する本番前環境のクローンを作成するという野心的なものでしたが、私たちはそれを成し遂げました。

移行戦略の中核は、すべての履歴データ、未加工データ、データモデルのニーズに対応する機能を BigQuery に一元化し、多様なデータ ストレージ システムを統合することでした。これにより、以前の AWS ベースの技術スタックの一部だった Databricks と Snowflake を管理する複雑さが解消されます。

私たちは、リアルタイムの二重実行という移行アプローチを採用しました。そのためには、Databricks で本番環境を運用しながら、同時に BigQuery のクローン テーブルにデータを書き込む必要がありました。元の Databricks フローと新しい BigQuery 設定の間でデータ インポートの結果を継続的に比較し、出力が同じであることが確認できたら、元のパイプラインをオフにしました。

現在、BigQuery には、販売、価格設定、e コマース、注文と配達、サプライ チェーン、製品など、当社のビジネス オペレーションに関連するすべてのデータが保存されています。さらに、マーケティング担当者は、マーケティング チャネルと自動化プラットフォームから収集したサードパーティ データを使用して、マーケティング キャンペーンのパフォーマンスを評価できます。分析チームとデータ エンジニアリング チームは、BigQuery 内のデータを使用して、IT 運用により排出される CO2  総量などの KPI を設定し、追跡できます。

BigQuery データにアクセスするためのユーザー インターフェースに変更はなかったため、切り替えによってビジネス関連のユーザーのワークフローが中断されることはありませんでした。移行はこのうえなくスムーズに進み、わずか 6 か月でスタックの最も重要なコンポーネントを Google Cloud に完全移行して稼働させることができました。

データフローの高速化、生産性の向上、費用の削減

移行の最も重要な要素の一つは、当社のサーバーレス アーキテクチャ アプローチを維持しながら、変更データ キャプチャ（CDC）パイプラインを AWS Database Migration Service から Google Cloud Datastream に移行することでした。

しかし、Datastream は 1 分ごとに多数の小規模なファイルを生成するため、それらを 1 つずつ BigQuery にマージすると費用がかさむ可能性があります。この課題に対処するため、費用を最適化する目的で 1 時間おきのバッチ処理を実装しました。つまり、小規模なファイルを個別に処理する代わりに、それらのファイルを 1 時間おきにバッチで処理してから BigQuery に読み込むことにしました。

最終的なデータフロー アーキテクチャは、シームレスに機能します。トランザクション データフローは、AlloyDB データベースからプロキシ経由で Datastream へと至り、Datastream が Cloud Storage にデータを書き込みます。そこから、バッチ処理と変換のプロセスが Kubernetes Pod 経由で Cloud Composer によりオーケストレートされ、1 時間おきにデータの変換がトリガーされます。変換されたデータは、最終的に BigQuery に読み込まれます。

Google の Data Cloud に移行するという Back Market の決断は、パフォーマンス、費用、生産性に目に見える効果をもたらしました。設定を Datastream のみに簡素化することで、CDC の費用が 90% 削減されました。また、Google Cloud の合理化された統合データクラウドのおかげで、データ処理速度が半分に短縮されました。以前は起動とオーバーヘッドの管理が必要なマシンに料金を支払っていましたが、現在はクエリが直接実行されるため、アイドル時間がなくなり、仮想マシンを維持するオーバーヘッドが解消されました。

統合されたエコシステムにはコンポーネントが少ないため、技術スタック全体のオブザーバビリティが向上し、データ ガバナンスが改善され、アクセス権限の付与と管理が容易になります。また、マネージド サービスのコンポーネントが少ないということは、インシデントの減少、メンテナンスの軽減、複雑さの低下につながります。また、オンボーディングが迅速化され、知識の共有が容易になったことで、チームは新製品と新機能の開発など、より価値の高いタスクに集中できるようになりました。

現在、当社はインフラストラクチャをゼロから構築して管理する代わりに、もっぱら Google Cloud を利用しています。Google Cloud のおかげで、チーム全体のマインドセットを、社内のテクノロジーに注力することから自社の製品とビジネスの価値を高めることに切り替えることができました。

準備ができたら

Google Cloud は、AI を活用した BigQuery 移行サービスの包括的なセットを提供しています。今すぐ無料評価をお試しください。

-Back Market、データ エンジニア、Roxanne Ricci 氏

-Back Market、データ エンジニア、Adrien Chaussende 氏