Built with BigQuery: Connected-Stories が Google Data Cloud と人工知能（AI）/ 機械学習（ML）を活用してパーソナライズド広告のエクスペリエンスを実現

※この投稿は米国時間 2022 年 11 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。

編集者注: この投稿は、Built with BigQuery を活用した素晴らしいパートナー様の事例を紹介するシリーズの一部です。

広告などの魅力的な動画コンテンツを制作する現場では、多くのマーケティング担当者がパーソナライズされたメッセージに対する消費者のニーズに応えようと創造性への取り組みを強化するあまり、データの力をないがしろにしています。マーケティング担当者は、適切なタイミングで適切なメッセージをオーディエンスに届けるためにパーソナライズされた動画広告を必要としており、効率的なパーソナライズを実現する創造的テクノロジーの需要は現実のものとなっています。セキュリティとプライバシーの要件を満たしつつ、これを実現するうえで、データ、インサイト、テクノロジーは欠かせない要素です。Connected-Stories チームは、Google Cloud と提携し、広告のパーソナライズ向けのプラットフォームを構築しました。Google Data Cloud と BigQuery は、Connected-Stories NEXT プラットフォームのコア機能として、データの取り込み、ML モデルの活用、パーソナライズド広告の作成、リアルタイム インテリジェンスの活用を先導しています。

Connected-Stories NEXT は、あらゆるチャネルで拡大するインタラクティブな動画広告やディスプレイ広告を開発、配信、最適化するエンドツーエンドのクリエイティブ マネジメント プラットフォームです。このプラットフォームは、自社データを取り込んでカスタム ML モデルを作成し、多数のサードパーティ データ ポイントを測定して、各ブランドが独自のカスタマー ジャーニーを開発してそのデータ シグナルがもたらす動画を作成するのを支援します。インテリジェントなフィードバック ループがリアルタイムでデータを返し、各ブランドが実用的でデータドリブンの動画広告を作成できるようにすることで、ブランドのキャンペーンを新たなレベルへと引き上げます。

NEXT プラットフォームの主なユースケースは、ユーザーのインタラクション データを収集し、精度とスピードについて最適化を行い、ユーザーごとにパーソナライズされた実用的な広告エクスペリエンスを実現することにあります。このプラットフォームは、複雑なデータポイントを処理し、正確な分析を可能にするインタラクティブなデータの可視化を実現します。また、Vertex AI を使用してマネージド ツール、ワークフロー、インフラストラクチャにアクセスし、ML モデルの構築、デプロイ、スケーリングを行い、さらなる詳細分析を目的としたセグメント特定の精度を向上させます。

このプラットフォームは、アクティビティに波のある 2 億のデータイベントを取り込みます。これらのイベントを処理してダッシュボードを生成することで、ユーザーはフィルタに基づく指標をリアルタイムで確認できます。これらのダッシュボードには、データ ディメンションが常に変化する状況下でレスポンシブなユーザー インターフェースを実現するという点で、高いパフォーマンス要件が課されます。

無制限のデータ クラウド インフラストラクチャと連携した Google Cloud のサーバーレス スタックは、NEXT プラットフォームのデータドリブン イノベーションの中核をなしてきました。取り込み、ストリーミングし、処理するデータの量は、その増大に伴い、ソリューションの計算、ストレージ、分析の各レイヤーで均一にスケーリングされました。スケーリングされたサーバーレス スタックにより、セキュリティ攻撃が低減され、従量課金制機能で必要な費用が最適化されたため、Connected-Stories の効率化された開発チームは、ソリューションに全面的に集中できるようになりました。

BigQuery は、複数の地域に広がる膨大なデータに対応し、ペタバイト規模のワークロードを実行するうえで欠かせないバックボーンとなっています。BigQuery のフルマネージド サーバーレス アーキテクチャ、リアルタイムのストリーミング、組み込みの機械学習機能、豊富なビジネス インテリジェンス機能は、クラウド データ ウェアハウスと一線を画しています。これは、データにアクセスし、多様な方法でユーザーにサービスを提供するうえで必要な基盤となります。障害に対しゼロトレランスのアプリケーションでは、フルマネージドであることから、BigQuery がレプリケーションと復元、データ分散の最適化やデータ管理を行います。

このプラットフォームの要件には、手間がかからないメンテナンス、データの常時取り込みと更新、集計データのスマート調整機能などがあります。これらの機能は、BigQuery のマテリアライズド ビュー機能で実装できます。マテリアライズド ビューは、クエリ結果を定期的にキャッシュしてパフォーマンスを向上させる、計算済みデータビューに最適です。これらのビューでは、基本テーブルから変更の差分だけを読み取り、最新の集計結果を算出できます。マテリアライズド ビューは、出力速度を向上させ、消費するリソースを減らし、コストを削減します。

Google のクラウドを利用し、サーバーレス スタックに注力するうえで考慮すべき重要な点としては、開発への迅速なオンボーディング、短いスプリントでのプロトタイピング、急速に変化する環境でのデータの準備のしやすさなどがあります。ローコード / ノーコードに関する主な検討事項には、データ変換、集計、デプロイ時間の短縮などがあります。以下のアーキテクチャ図に示すように、これらの検討事項は、PubSub、Cloud Storage、Cloud Run、Cloud Composer、Dataflow、BigQuery といった Google Cloud 内のサーバーレス機能を使うことで対処できます。各コンポーネントやサービスの使用方法は以下のとおりです。

1. 入力 / 取り込み: 大まかに言うと、Cloud Run でホストされているマイクロサービスが、受信した Google 広告イベントを収集し、集約します。

2. 拡充: この段階での出力は、事前に設定されたキャンペーンに基づいて、より多くの属性で拡充された Pub-Sub メッセージです。

3. 保存: Cloud Dataflow のストリーミング ジョブで、Cloud Storage バケットにテキスト ファイルを作成します。

4. トリガー: Cloud Composer は、テキスト ファイルに基づいてスパークジョブをトリガーしたら、これらを処理してグループ化し、インプレッションごとに 1 つのレコード、つまりイベントの論理グループとして出力します。

5. デプロイ: その後 Cloud Build を使用して、すべてのデプロイを自動化します。

ここまで、すべての Google Cloud マネージド サービスが連携し、データを取り込んで保存して、オーケストレーションをトリガーします。これらはすべて、自動スケーリング機能を含む構成に基づいてスケーリングされます。

1. 可視化: 可視化ツールは BigQuery からデータを読み取り、各ダッシュボードに必要な事前集計結果を計算します。

2. データモデルの進化についての検討事項: このソリューションは事前集計を行うという目的には適していたものの、列の追加や新しいテーブルの作成によってデータモデルが進化すると、事前集計の再作成とデータの再クエリが必要になりました。代替方法として、現行の ETL の追加の出力として集約テーブルを作成することも、現実的な選択肢であるように思えました。ただし、これではジョブのコストや複雑さが増してしまいます。同様に、データが更新されると、集約テーブルの再処理や更新が必要になります。

定期的にキャッシュされるデータの事前計算済みビューは、適切なメッセージを適切なタイミングでオーディエンスに届けるうえで不可欠です。

1. パフォーマンス: プラットフォームのパフォーマンスを向上させるには、計算済みデータのビューを定期的にキャッシュに保存する必要があります。

2. マテリアライズド ビュー: これらのビューのユーザーは、レスポンス時間の短縮、リソース消費の低減、基本テーブルからの変更点のみを出力することを必要としていました。BigQuery のマテリアライズド ビューは、まさにこの要件を満たす目的で使用されました。マテリアライズド ビューが高度に活用され、設計が最適化されているため、SQL コードの作成とメンテナンスへの技術的投資が比較的少なくて済み、メンテナンスの負荷も少なく、高いパフォーマンスで最新データにアクセスできるようになりました。

3. ダッシュボード: マテリアライズド ビューを参照できるアプリケーション ダッシュボードは、パフォーマンスが高く、最新データのビューを提供します。

4. Vertex AI Notebooks によるカスタム レポート: Vertex AI Notebooks は、BigQuery から直接データを読み取り、特定の顧客向けのカスタム レポートを作成します。Vertex AI は、ライブラリがプリインストールされ、簡単に使用できるため、データ アナリストに大きなメリットをもたらしました。Vertex AI Workbench のノートブックを使ってチーム内でレポートを共有できるため、逐一データをダウンロードすることなく、クラウド上での常時作業が可能になりました。さらに、ML モデルの開発とテストの期間が短縮されています。

NEXT プラットフォームがもたらしているメリットを挙げると、たとえば、お客様は AI / ML パーソナライゼーションのトリガーを利用する独自のカスタマー ジャーニーを構築できます。自社データとビジネス インテリジェンス ツールによりリアルタイムのクリエイティブ インテリジェンスを活用できるのです。これは部門横断型のチームが広告コンテンツ エクスペリエンスの影響を詳細なレベルで分析できる、キャンペーンのパフォーマンス分析用のダッシュボードです。それと同時に、クラウド間を移動することなく、データへのアクセスを制御してデータを拡充できます。NEXT プラットフォームは、Google Cloud の基盤を利用することで、アジリティ、スケーラビリティ、信頼性に対するニーズの高まりに対応できます。

Google Built with BigQuery プログラムで Google と提携することで、リアルタイム データを活用したインタラクティブなパーソナライズド広告の作成において、その価値が明確になります。さらに、そのデータをアセットとして組織間で共有することで、ML モデルはより高いレベルのイノベーションを促すことができます。Connected-Stories は、AI / ML の領域におけるサービス全般を深く浸透させ、コア機能を強化し、プラットフォームに新たな機能を提供することを計画しています。

Connected-Stories NEXT プラットフォームの機能の詳細については、こちらをクリックしてご確認ください。

ISV にとっての Built with BigQuery のメリット

Google は、2022 年 4 月に Google Data Cloud Summit の一環として開始した Built with BigQuery を通じて、Connected-Stories のようなテクノロジー企業が、Google のデータクラウドを活用するアプリケーションの構築において共同でイノベーションを起こせるよう、テクノロジーへのシンプルなアクセス、有益な専任のエンジニアリング サポート、共同市場開拓プログラムなどの支援を行っています。参加企業には以下のメリットがあります。

• Google が資金提供した事前構成済みのサンドボックスを使って、すぐに構築に着手できます。

• ISV センター オブ エクセレンスの専任技術エキスパートから、重要なユースケース、アーキテクチャ パターン、現場でのベスト プラクティスについてのインサイトを得て、プロダクトの設計とアーキテクチャを加速できます。

• 共同マーケティング プログラムを利用して、認知度の向上、需要の創出、導入の拡大を図り、より大きな成功を実現できます。

Google Data Cloud のプロダクト群、とりわけ BigQuery は、Google Cloud のオープンで安全かつサステナブルなプラットフォームと統合された、パワフルでスケーラビリティの高いデータ ウェアハウスのメリットを　ISV にもたらします。また、拡大を続ける巨大なパートナー エコシステムと、マルチクラウド、オープンソース ツール、API のサポートにより、Google はテクノロジー企業がデータのロックインを回避し、選択肢を行使するのに必要なポータビリティと拡張性を提供します。

このブログを共同で執筆してくれた、Connected-Stories のマーケティング ディレクター Luna Catini 氏と、Google Cloud パートナー エンジニアリング担当 Sujit Khasnis に感謝いたします。