Snowflake から BigQuery への移行でモデル構築が加速、コストは半分に

※この投稿は米国時間 2025 年 7 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。

2024 年、日用品や食品などの消費財（CPG）の小売売上は、世界で 7.5 兆ドルに達しました。化粧品から衣料品、冷凍野菜からビタミン剤まで、その圧倒的な種類の多さは計り知れません。また、流通チャネルも一気に増えました。実店舗の世界では大型量販店、オンラインでは巨大な e コマース サイトがその例です。とりわけ問題なのは、消費者や環境を守るための規制が増え続け、網の目のように複雑化する中で、急ごしらえのデジタルツールでは、もう対応しきれなくなっているという現実です。

SmarterX は、この問題に AI を活用して取り組みました。Smarter1 の AI モデルは、インターネット上に公開されているデータポイント（数億件の UPC や SKU、商品の構成と安全性に関する情報など）を収集して照合し、高精度な分析を行います。SmarterX は、特定の商品を該当する規制情報と照合し、業界や顧客ごとにモデルを継続的に更新することで、小売業者が規制対象の消費者向けパッケージ商品の販売、配送、廃棄に関して規制に則した意思決定を行えるよう支援します。

お客様と同様に、SmarterX もデータの洪水に遅れを取らないよう、機能の強化と拡充を図り、より優れた AI モデルを迅速に構築する必要がありました。Google Cloud とBigQuery への移行が、そのパワーとスピード、そして俊敏性をもたらしました。

BigQuery の導入: 柔軟で手軽、AI 対応データ環境の新定番

SmarterX が扱うデータは非常に多様なソースから取得されるため、複数の形式やスキーマをネイティブに処理できる、クラウドベースのエンタープライズ向けデータ プラットフォームが必要でした。まさにそれを実現してくれたのが BigQuery です。データは SmarterX の基盤であり、製品の基盤でもあるため、まずは Snowflake に保管されているデータを含め、すべてのデータを BigQuery に移行することから始めました。

他のデータ プラットフォームの場合、データを扱う前に変換や加工が必要なので、多くの場合、時間がかかるうえに人手もかかってしまいます。BigQuery は、さまざまな形式のデータを迅速に取り込み、集約できるように設計されています。また、クエリエンジンは、どのような形式でデータが取り込まれても、そのまますぐに扱うことができます。さらに Looker を組み合わせることで、Google Cloud を離れることなく、BigQuery にある複雑なデータをわかりやすい形で可視化できます。

しかも、BigQuery に統合されている Gemini Code Assist により、専門的な技術を持たないチームメンバーでも、計算や分析を自分で行えるようになっています。

統合された技術スタックが生産性と創造性を引き出す

10 年にわたる事業展開を経て、SmarterX もシステムのスプロール（無秩序な拡大）に悩まされていました。

プラットフォーム間でのデータ移行は非効率的であることはもちろん、開発者も複数のツールを行き来しなければならず、効率が落ちてしまいます。コーディングや開発を支援する AI エージェントが増えても、ツール側も苦戦しています。複数のシステムをまたぐ際にノイズを拾ってしまうためです。さらに、これらすべてのシステムで個別に ID とアクセスの管理（IAM）を行うのは時間を要し、アクセス権限の誤った適用による潜在的なセキュリティ リスクにさらされていました。

Google Cloud は、データベース、データ取り込みと処理のパイプライン、モデル、計算リソースに加え、メールやドキュメント、オフィスアプリまでも含めて、すべてをひとつの統合エコシステムに集約しています。また、Google Cloud の LLM は、Chrome ブラウザから SQL バリアントに至るまで、エコシステム全体に組み込まれています。その結果、ほとんどの新しいデータセットについて個別にカスタム パイプラインを構築する必要がなくなり、より効率的かつ一貫性のある作業が可能になります。

• Google Cloud への移行前と比べて、新製品のリリース速度が 10 倍に

• 新規顧客のオンボーディング期間を 6 か月から 1 週間未満に短縮

• データ パイプラインが処理するデータ量は従来の 100 倍となり、少人数のチームでも数百件におよぶ顧客環境の運用が可能に

Google Cloud に統合したことで、他の SaaS プラットフォームをいくつか廃止できたほか、専門的な知識がなくても Google のツールを簡単に使えるようになり、オーバーヘッドを 50% 削減できました。いまではチーム全体が Google Cloud を日常的に使っており、このプラットフォームの技術を使っていない時間がほとんどないほど、深く浸透しています。

システムのスプロールが解消されたことで、個別のプラットフォームごとにセキュリティ プロトコルを維持する必要もなくなりました。権限設定や ID とアクセスの管理も一元化されています。Google Cloud を使えば、SOC-2 をはじめとするコンプライアンス要件にも簡単に対応し、常に最新の状態を保つことができます。

企業理念と響き合う AI の未来像: Gemini

SmarterX がお客様に提供する価値は、プラットフォームが持つ AI を活用した機能によって大きく支えられています。そのため、適切な AI モデル開発プラットフォームと AI モデルを選ぶことは、新しいデータ プラットフォームを選定する上での大きな決め手の一つとなりました。そして、AI モデルの開発においては、何よりも「哲学」が問われます。

Google の理念は、人々の情報へのアクセスのあり方をいち早く理解し続けてきたという点で、私たちの理念と一致しています。ウェブ上の膨大なデータを企業規模で検索可能にするという、Google が持つ専門性により、Gemini モデルは SmarterX が求める機能にきめ細かくチューニングされています。

Vertex AI と Gemini を導入する前は、新しいモデルのリリースに数か月を要していましたが、現在では同じ作業をわずか数週間で完了できるようになりました。

SmarterX では、新しい人材を採用する際、特定のコーディング言語が使えるかどうかよりも、創造的に考えられる人を重視しています。また、開発者には、SQL の構文に頭を悩ませることなく、複雑な問題の解決に集中するための余裕を持ってほしいと考えています。BigQuery の Gemini Code Assist は習得が容易で、構文も正確に処理できるため、開発者は革新的なソリューションの発見により多くの時間を割くことが可能です。

専門性の高いサポートでストレスフリーな移行

Google 技術研修センターのサポートがなければ、この移行を完了することはできなかったでしょう。彼らは Google の技術を知り尽くしており、移行中に直面した難題にもすぐに対応できる「探索ツール」を用意してくれました。

わずか 1 か月足らずで、Snowflake から BigQuery へテラバイト級のデータを移行しました。21 の異なるソースから、80 を超えるデータベースと数千のテーブルを対象とした大規模な移行です。データにすばやくアクセスするために外部テーブルを、クエリ性能を最適化するためにネイティブ テーブルを使い分けるという、2 本立てのアプローチを採用しました。

移行に先立ち、Google は Google Cloud Platform の管理と運用に関する基礎トレーニングを提供し、SmarterX のテクノロジーについても丁寧に理解を深めてくれました。その結果、Google のチームは画一的な移行計画にとらわれることなく、SmarterX とそのお客様にとって最も理にかなった方法で、ダウンタイムや中断を最小限に抑えた移行の設計とスケジューリングを支援してくれました。さらに、セキュリティや ID とアクセスの管理に関する Google のベスト プラクティスの知見が、新しいクラウド環境の安全性を一層高めてくれました。

私たちは、毎日ペタバイト級のデータを Google Cloud に流しているような大企業ではありませんが、それでも Google Cloud のチームは、大企業と同じように丁寧に対応してくれました。ビジネスの根幹をまるごと移すような場面では、Google がしっかり支えてくれているという安心感が本当に心強く感じられます。

Snowflake は、AI 革命の波に乗り遅れたまま、クラウド上にそのまま移植された従来型のエンタープライズ データ ウェアハウスのように感じられました。データベースの仕様に縛られ、あらかじめ決められたやり方でしか作業ができない仕組みだったのです。一方、BigQuery は、まさに「インフォメーション プロダクション システム」と呼べる存在です。SQL フレンドリーなデータ プラットフォーム、幅広いツール群、AI とモデル開発機能の統合、そして私たち独自の方法でプロダクトを開発できる統一されたユーザー インターフェースを備えたコンピューティング クラウドが、その核にあります。

無限の想像力を、型にはめない

SmarterX にロードマップがないと話すと、多くの人が驚きます。私たちは、未来に「賭け」をしています。現実に直面する課題が何であれ、企業はその解決を AI に求めるはずです。その期待に、私たちは賭けているのです。AI は、何をすべきかを指示するのではなく、これまで理解が難しかったことを理解し、これまで表現できなかったアイデアを表現する手助けをする能力を持っています。

SmarterX は 2,000 社を超えるブランドと取引があります。私たちからお客様がお買い上げくださっている「プロダクト」とは、突き詰めれば、AI を活用してビジネス課題を解決するスピードそのものです。私たちにとっての Google Cloud も、それと同じような存在です。SmarterX の技術的な課題を解決し、ときには、課題に気づく前にすでに解決してくれていることもあります。そのおかげで、私たちは最高水準のプロダクトをお客様に提供し続けることができています。

時代遅れのテクノロジーが次々と増えていく状況に頭を悩ませる代わりに、BigQuery と Google Cloud の統合ツールセットを導入したことで、私たちは常に自らをアップデートし続けられるようになりました。毎週のように「えっ、これも Google Cloud でできるの？」という声を耳にします。

^会社概要

^{SmarterX は、小売業者、メーカー、物流会社向けに、製品を安全かつ法令遵守のもとで販売、出荷、保管、廃棄できるようにする、AI を活用したツールを提供しています。これにより、顧客は規制リスクを最小限に抑え、売上の最大化を図りながら、消費者と環境の保護にも貢献できます。同社の顧客には、世界的に知られるグローバル ブランドも含まれています。}