Apache Beam と Dataflow を介して BigQuery で最新の Google 広告データにクエリを実行

※この投稿は米国時間 2023 年 10 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。

現代のマーケティング担当者は、デジタル広告市場において広告費用の投資収益率を最大化する鍵がスピードであることを知っています。課題としては、ほとんどの広告主が数日、数週間、場合によっては数か月前のデータに依存していることです。Google 検索結果が返されるまでの時間と同じくらい急速に変化する環境では、広告主はリアルタイム データを活用することで大きなメリットを得ることができます。

このたび、Dataflow を活用した BigQuery への Google 広告データの書き込みがネイティブでサポートされることになりました。これにより、組織はキャンペーン戦略に関してデータドリブンな意思決定をリアルタイムで行うことができます。ユーザーは、新しい Dataflow テンプレートを使用して、Google 広告から BigQuery に独自のキャンペーン、コンバージョン、インプレッション、入札データのクエリを実行できるようになりました。これで、ウェブフォームに記入するのと同じくらい簡単にこれらのシステムに接続できるようになります。カスタム変換、分析、または複数のデータストアへの書き込み用に独自のパイプラインを構築する場合は、オープンソースの Apache Beam Java SDK で GoogleAdsIO を利用できます。毎日のデータ読み込みに少なくとも 24 時間待つ必要があったお客様は、約 10 分のバッファで、発生時にイベントを分析できるようになります。これら 2 つの新機能を組み合わせることで、マーケティング担当者はイントラデイ入札戦略を採用し、広告配信後の数分以内に入札戦略を変更できるようになります。

今回のリリースには、Google 広告 I/O コネクタと Dataflow テンプレートという 2 つの重要な要素があります。以降のセクションでそれぞれについて説明します。

Google 広告 I/O

新しい GoogleAdsIO は、Apache Beam Java SDK で利用できます。Apache Beam は、バッチおよびストリーム データ処理パイプラインを表現する統合型フレームワークであるオープンソースの SDK です。Apache Beam を使用すると、開発者は、任意のプログラミング言語でパイプラインを作成し、好みの実行エンジンを使用してそれらのパイプラインを実行できる柔軟性が得られます。Apache Beam はすでに 60 以上のコネクタをサポートしており、システムがサポートされていない場合にカスタム I/O コネクタを開発するための包括的なフレームワークを提供します。

GoogleAdsIO は、Ads Reporting gRPC ベースの API を呼び出して、Google 広告アカウントからデータを取得します。Google の Professional Services Organization（PSO）アーキテクトは、広告デベロッパーリレーションズ チームと緊密に連携して I/O コネクタのベスト プラクティスを実装し、OAuth 認証情報の透過的な処理や柔軟なレート制限ポリシーなどの機能を追加しました。こうした機能により、API に対する呼び出しの制御がアカウントごとに、または開発者トークンの制限に違反することがなくなるため、独自のカスタム パイプラインを安全かつ迅速にプロトタイプ化できます。まとめると、GoogleAdsIO は Apache Beam I/O フレームワークの柔軟性を利用して、安全性と信頼性を第一に、Google 広告に対してクリエイティブ、入札戦略、キャンペーンに関するクエリを実行できるようにします。

Dataflow テンプレート

Dataflow テンプレートは、Google Cloud プロジェクト全体でデータストアを接続し、一般的なデータの取り込みとレプリケーションのタスクを簡素化し、短いウェブフォームに記入するようにします。内部では、Dataflow テンプレートによって Apache Beam コードが事前にパッケージ化され、開発環境と実行環境が分離されているため、プログラミング スキルを持たないユーザーでもこれらのパイプラインを拡張できます。企業は Dataflow テンプレートを使用して一般的なデータ処理ワークフローを定義し、Beam の知識がない社内ユーザーにそれを表示できます。ユーザーが行う必要があるのは、テンプレートに関連するユーザー定義フィールドに入力することだけであり、すぐに利用を開始できます。

新しい GoogleAdsIO コネクタの機能を拡張するために、PSO チームは、Google 広告から読み取り、BigQuery に書き込む Dataflow Flex テンプレートを作成しました。このテンプレートを使用すれば、ローカルマシンでプログラムを起動する代わりに、Google Cloud コンソールを通じて Google 広告クエリを渡し、その結果を BigQuery テーブルに返してさらに分析できます。このテンプレートのもう一つの優れた機能は、Google 広告インターフェースで各アカウント ID を手動で入力して個別のレポートを取得するのではなく、Google 広告アカウント ID のリストを渡してクエリを実行できることです。これだけでも、チームは月に数十時間の面倒な時間を節約でき、その節約された時間を、クリック数の最大化、目標コンバージョン単価、目標広告費用対効果などの新しい入札戦略のテストに充てて、より良い結果をもたらすことができます。Dataflow Data Pipelines を利用して、統合型のスケジュール ツールでカスタム レポートの作成を自動化することもできます。

お客様への影響

お客様はこのテンプレートからすでに多大な恩恵を受けています。世界をリードするオンライン フード デリバリー マーケットプレイスである Just Eat Takeaway.com は、その経験を次のように共有しています。

「このパイプラインの本当に優れている点は、負担の大きい接続があったときに、その接続を広告 API に対して処理し、ダウンロードへの対処とファイルのクリーニングを行って、それを BigQuery に読み込むことです。エンジニアリング チームが Google 広告からオーダーメイドのレポートを作成するには、通常 2 週間はかかります。このパイプラインを使用することで非常に迅速に作業を行うことができました。開いてクエリを入力し、列を指定したらすぐに作業を開始できます。」- Just Eat Takeaway.com、パフォーマンス テクノロジー担当マネージャー、Irfan Rafiq 氏

コンソールで Dataflow に移動し、画面上部の [テンプレートからジョブを作成] ボタンを選択して、プルダウンから [Google Ads to BigQuery] テンプレートを選択することで、利用を開始できます。このテンプレートを使用して、皆様が新しい入札戦略を打ち立てていかれることを楽しみにしています。

その他のリソース

• Google Ads to BigQuery ドキュメント、テンプレートの起動に関するリファレンス
• GoogleAdsIO Apache Beam ドキュメント、GoogleAdsIO を使用した独自の Beam パイプラインの構築に関するリファレンス
• Booking.com のケーススタディ、Apache Beam と Ads コネクタの使用に関連

^{Steven van Rossum（Google Cloud PSO）、Natalija Najdova（Google Cloud カスタマー エンジニアリング）、Cory Liseno（Google 広告デベロッパーリレーションズ）、David Stevens（Google 広告プロダクト マネジメント）に心より感謝いたします。}

-プロダクト マネージャー Mehran Nazir