データ分析

BigQuery と Gemini モデルを使用したマーケティングキャンペーンの作成

2024年6月7日

Adam Paternostro

Technical Lead Demos, Google Cloud

Firat Tekiner

Product Management

※この投稿は米国時間 2024 年 5 月 18 日に、Google Cloud blog に投稿されたものの抄訳です。

マーケティングキャンペーンの作成は、複雑で時間のかかるプロセスになることが多々あります。企業は、顧客のニーズと関連性が高く、パーソナライズされたリアルタイムのキャンペーンを作成して、売り上げを最大化することを目指しています。そのためには、リアルタイムのデータ分析、セグメンテーション、キャンペーンの迅速な作成と実施を行うことが必要です。それによって高いレベルのアジリティとパーソナライズを達成することで、企業は大きな競争上の優位性を獲得できます。

マーケティングキャンペーンの成功に常に欠かせないのが、創造性とデータに基づく分析情報です。生成 AI によってこれら 2 つの要素の強化が進んでおり、生成 AI の進歩がマーケティングキャンペーンの作成に革新をもたらす可能性があります。生成 AI は、リアルタイムのデータを活用することで、ターゲットを絞ったメール、ソーシャルメディア広告、ウェブサイトコンテンツなどのパーソナライズされたコンテンツを、状況と利用可能な画像に応じて大規模に生成します。これは、マーケティング担当者が手動のプロセスによる制約を受け、自由に使えるクリエイティブリソースが限られている現状とは対照的です。

従来のマーケティング手法も場面によっては有効ですが、今日の状況では膨大な量のコンテンツが必要とされるため、よりスマートなアプローチが求められます。生成 AI を活用することで、マーケティングチームがこれまで不可能であったレベルのパーソナライズを用いてキャンペーンを迅速かつ効率的に開始し、エンゲージメント、コンバージョン、顧客満足度を高めることができます。

このブログでは、データチームとマーケティングチームが BigQuery のマルチモーダル大規模言語モデル（LLM）の力を活用して、より効果的でインテリジェントなマーケティングを作成、開始するためのさまざまな手順を説明します。このデモンストレーションでは、コーヒー販売業者に BigQuery 上に構築された SaaS プラットフォームを提供する架空のテクノロジー企業 Data Beans を使用します。Data Beans は、BigQuery と Vertex AI のインテグレーションを活用して、Gemini Pro 1.0 や Gemini Vision Pro 1.0 などの Google の AI モデルを利用し、クリエイティブワークフローを加速させながら、カスタマイズされたキャンペーンを大規模に展開しています。

デモンストレーションの概要

このデモンストレーションでは、Gemini モデルを活用して、視覚に訴えるローカライズされたマーケティングキャンペーンを一部のコーヒーメニューアイテムに対して作成する Data Beans のマーケティング開始プロセスの 3 つの手順がハイライトされています。最初に、Gemini モデルを使用してブレインストーミングを行い、選択したメニューアイテムの高品質の画像を生成して、画像が元のコーヒーを正確に表していることを確認します。次に、同じモデルを使用して、各都市に合わせた現地語のマーケティングテキストを作成します。最後に、スタイル設定された HTML メールテンプレートにそのマーケティングテキストを統合し、分析と追跡のためにキャンペーン全体を BigQueryに保存します。

https://storage.googleapis.com/gweb-cloudblog-publish/images/image-1_rxbpRGT.max-1600x1600.png

手順 1 および 1.1: プロンプトと画像を作成する

Imagen 2 を使用して最初の画像プロンプトと関連画像を作成し、マーケティングキャンペーンを開始します。この段階ではプロンプトにすべての必要な情報を入力していないため、関連性がそれほど高くない非常に基本的な画像が生成されます。

読み込んでいます...

手順 1.2. プロンプトを改善する

初期画像を作成したら、プロンプトの質を高めることで画像を改善することにフォーカスします。そのために、Gemini Pro 1.0 を使用して Imagen 2 の最初のプロンプトを改善します。

読み込んでいます...

手順 1.3. LLM で生成されたプロンプトから画像を生成する

改善されたプロンプトを使用して、画像を生成します。実質的には、LLM を使用して、画像を生成するために LLM に送られるプロンプトを生成しています。

読み込んでいます...

https://storage.googleapis.com/gweb-cloudblog-publish/images/image-2_zetsqlA.max-1000x1000.png

手順 2～3. 画像を確認して品質管理を行う

LLM を使用して、生成された出力を確認します。それぞれの生成画像に要求した食べ物が含まれているかどうかをチェックするよう、LLM に指示します。たとえば、画像にプロンプトのコーヒーや食べ物が含まれているかどうかをチェックします。これにより、抽象的なものがあるかどうかだけでなく、画像の質を確認できます。また、画像に視覚的な魅力があるかどうかもチェックできます。これはマーケティングキャンペーンの必須条件です。

読み込んでいます...

example_return_json = '{ "response" : true, "explanation" : "Reason why..." }'

llm_validated_image_json = []
number_of_valid_images = 0

llm_validated_image_prompt = f"""添付画像は "{picture_description}" の画像ですか？
true か false のブール値で応答し、"response" フィールドに入力してください。
各画像に対する理由を説明し、"explanation" フィールドに入力してください。
JSON 形式の結果を特殊文字や書式設定なしで返してください。
結果を以下の JSON 構造で入力してください。
{example_return_json}

"""

for item in image_files:
 print(f"LLM Prompt : {item['llm_prompt']}")
 print(f"LLM Filename : {item['llm_image_filename']}")
 imageBase64 = convert_png_to_base64(item['llm_image_filename'])

llm_success = False
 temperature = .4
 while llm_success == False:
   try:
     llm_response = GeminiProVisionLLM(llm_validated_image_prompt, imageBase64, temperature=temperature)
     print(f"llm_response : {llm_response}")
     llm_json = json.loads(llm_response)
     llm_success = True
   except:
    # 生成の精度を高めるには temperature の値を減らします
    temperature = temperature - .05
    print("再生成しています...")
# このアイテムを使用可能としてマークします

# Mark this item as useable
 if llm_json["response"] == True:
   item["llm_validated_by_llm"] = True
   number_of_valid_images = number_of_valid_images + 1

item["llm_validated_by_llm_explanation"] = llm_json["explanation"]

llm_validated_image_json.append( {
     "llm_prompt" : item["llm_prompt"],
     "gcs_storage_bucket" : item["gcs_storage_bucket"],
     "gcs_storage_path" : item["gcs_storage_path"],
     "llm_image_filename" : item["llm_image_filename"],
     "llm_validated_by_llm" : item["llm_validated_by_llm"],
     "llm_validated_by_llm_explanation" : item["llm_validated_by_llm_explanation"]
     })

手順 4. 画像をランク付けする

確認と品質管理が完了し、ニーズに最適な画像を選択できます。的確なプロンプトにより、Gemini Pro 1.0 を再び使用して、生成した数千件の画像を対象にこの処理を実行できます。そのために、各画像をその視覚的なインパクト、メッセージの明確さ、Data Beans ブランドとの関連性に基づいてランク付けするよう Gemini に指示します。その後、最もスコアが高い画像を選択します。

読み込んでいます...

image_prompt = []

for item in image_files:
 if item["llm_validated_by_llm"] == True:
   print(f"画像 {item['llm_image_filename']} を試食テストに追加してください。")
   imageBase64 = convert_png_to_base64(item['llm_image_filename'])
   new_item = {
       "llm_image_filename" : item['llm_image_filename'],
       "llm_image_base64" : f"{imageBase64}"
   }
   image_prompt.append(new_item)

example_return_json='[ {"image_name" : "name", "rating" : 10, "explanation": ""}]'

llm_taste_test_image_prompt=f"""{number_of_valid_images} 件が提供されます。
各画像を評価して、1 から 100 までのスコアを付ける必要があります。
画像を互いに比較する必要があります。
各画像を複数回評価する必要があります。

以下の条件に基づいて各画像にスコアを付けてください。
- 食欲をそそる画像は高く評価する必要があります。
- リアルな画像は高く評価する必要があります。
- 示唆に富む画像は高く評価する必要があります。
- プラスチックのように見える画像は低く評価する必要があります。
- 抽象的な画像は低く評価する必要があります。

各画像の評価を段階的に検討してください。

スコアリング プロセスの結果を "rating" フィールドに入力してください。
画像名を返して "image_name" フィールドに入力してください。
理由を "explanation" フィールドに 20 文字未満で入力してください。

結果を以下の JSON 構造で入力してください。
{example_return_json}
"""

llm_success = False
temperature=1
while llm_success == False:
 try:
   llm_response = GeminiProVisionMultipleFileLLM(llm_taste_test_image_prompt, image_prompt, temperature = temperature)
   llm_success = True
 except:
  # 生成の精度を高めるには temperature の値を減らします
  temperature = temperature - .05
  print("再生成しています...")

print(f"llm_response : {llm_response}")

手順 5. キャンペーン テキストを生成する

最適な画像を選択したので、最適なマーケティングテキストを生成しましょう。生成されたデータはすべて BigQuery に保存されるため、テキストは JSON 形式で生成します。プロモーションやその他の関連アイテムを含むテキストを生成します。

読み込んでいます...

example_return_json_1 = '{ "city" : "ニューヨーク", "subject" : "メールの件名" , "body" : "メールの本文" }'
example_return_json_2 = '{ "city" : "ロンドン", "subject" : "マーケティングの件名" , "body" : "メール メッセージの本文" }'
imageBase64 = convert_png_to_base64(highest_rated_llm_image_filename)

llm_marketing_campaign = []

# 各都市のループ
for city_index in range(0, 4):
    print(f"Processing city: {city_names[city_index]}")
    prompt=f"""{city_names[city_index]} で複数台のコーヒー トラックを営業しています。
    下の画像で魅力的なメール マーケティング キャンペーンを作成する必要があります。
    驚きを与え、独自性のあるバリエーションを生み出す型破りなアイデアと考えを取り入れてください。
    販売を促進するために、限定割引または早期アクセスを提供します。
    画像を見て、食欲をそそるメッセージを考えてください。
    画像には "{picture_description}" が含まれます。

マーケティング キャンペーンを {city_names[city_index]} 向けにカスタマイズする必要があります。
    メッセージの中で天気に言及しないでください。
    言語 "{city_languages[city_index]}" を使用して応答を作成してください。
    キャンペーンは 1,500 文字未満にする必要があります。
    メール メッセージの形式は、HTML ではなくテキストにする必要があります。
    メール メッセージには "今後ともよろしくお願い申し上げます。Data Beans" という署名を入れてください。
    モバイルアプリを使用して、一番近くにいるコーヒー トラックの場所を特定できることに言及してください。

JSON 形式の結果を特殊文字や書式設定なしで返してください。
    特に日本語では、特殊文字を再確認してください。
    "{city_names[city_index]}" の値を JSON 応答の "city" フィールドに入力してください。

返されるデータの例:
{example_return_json_1}
{example_return_json_2}

販売するアイテムの画像:
"""

llm_success = False
temperature = .8
while llm_success == False:
  try:
    llm_response = GeminiProVisionLLM(prompt, imageBase64, temperature=.8, topP=.9, topK = 40)
    llm_json = json.loads(llm_response)
    print(llm_response)
    llm_success = True
  except:
    # 生成の精度を高めるには temperature の値を減らします
    temperature = temperature - .05
    print("再生成しています...")

llm_marketing_campaign.append(llm_json)

llm_marketing_prompt.append(prompt)
llm_marketing_prompt_text.append(llm_response)

Gemini Pro 1.0 を使用して、マーケティングメッセージを複数の国の現地語にローカライズする方法も確認してください。

https://storage.googleapis.com/gweb-cloudblog-publish/original_images/image-3.gif

手順 6. HTML メール キャンペーンを作成する

生成されたアーティファクトは、ウェブアプリケーションの一部として表示されます。配信を簡素化するため、書式と画像が埋め込まれた HTML メールを作成する必要があります。ここでも Gemini Pro 1.0 を使用して、ここまでの手順で作成した画像とテキストに基づき、マーケティングテキストを HTML で作成します。

読み込んでいます...

imageBase64 = convert_png_to_base64(highest_rated_llm_image_filename)

for item in llm_marketing_campaign:
    print (f'City:    {item["city"]}')
    print (f'Subject: {item["subject"]}')
    prompt=f"""下のテキストを適切に構造化された HTML ドキュメントに変換してください。
<h1>、<h2>、<h3>、<h4> のタグは使用しないでください。
インライン スタイルを作成してください。
楽しく、人目を引き、わくわくするようなスタイルにしてください。
フォントには "Helvetica Neue" を使用してください。
すべてのテキストを左揃えにする必要があります。
16 ピクセルより大きいフォントは使用しないでください。
言語は変更しないでください。  テキストは現地語にしてください。

html には次の画像を含めてください。
- https://REPLACE_ME にある画像
- 画像 URL は "width" が 500、"height" が 500 である必要があります。

<h1>、<h2>、<h3>、<h4> のタグを使用していないことを再確認してください。

Text:
{item["body"]}
"""

llm_success = False
temperature = .5
while llm_success == False:
  try:
    llm_response = GeminiProLLM(prompt, temperature=temperature, topP=.5, topK = 20)
    if llm_response.startswith("html"):
      llm_response = llm_response[4:] # 応答がマークダウンのように書式設定されている場合

# 画像をインライン画像に置き換えます（これによって SignedURL や GCS バケットへの公開アクセスを防ぎます）
    html_text = llm_response.replace("https://REPLACE_ME", f"data:image/png;base64, {imageBase64}")
    item["html"] = html_text

#print (f'Html:    {item["html"]}')
    filename= str(item["city"]).replace(" ","-") + ".html"
    with open(filename, "w", encoding='utf8') as f:
      f.write(item["html"])
    print ("")

llm_success = True
    llm_marketing_prompt_html.append(prompt)
    llm_marketing_prompt_html_text.append(html_text)

except:
    # 生成の精度を高めるには temperature の値を減らします
    temperature = temperature - .05
    print("再生成しています...")

まとめとリソース

クリエイティブワークフローに LLM が組み込まれることで、クリエイティブ分野に革命が起きています。ブレインストーミングと多数のコンテンツの生成を通じて、LLM からクリエイターにキャンペーン用の質の高い多様な画像が提供されます。また、自動的にローカライズされるテキスト生成が高速化され、大量のデータが分析されます。さらに、AI による品質チェックによって、望ましい基準を満たすコンテンツが生成されます。

LLM の創造性によって無関係な画像が生成されることがありますが、Gemini Pro Vision 1.0 の「試食テスト」機能を使用して最も魅力的な結果を選択できます。また、Gemini Pro Vision 1.0 では意思決定プロセスの洞察に富んだ説明が提供されます。Gemini Pro 1.0 は、現地語でコンテンツを生成することでユーザーエンゲージメントを拡大し、コード生成がサポートされるため HTML の知識を必要としません。

このデモンストレーションで紹介された機能を使用してテストするには、Colab Enterprise ノートブックの完全なソースコードをご覧ください。これらの新しい機能の詳細については、ドキュメントをご覧ください。また、こちらのチュートリアルを使用すると、Google の最高水準の AI モデルをデータに適用し、BigQuery からデータを移動することなく、モデルをデプロイし、ML ワークフローを運用化できます。最後に、Gemini のような高度なモデルの可能性を引き出しつつ、エンドツーエンドのデータ分析や AI アプリケーションを BigQuery から直接構築する方法について説明したこちらのデモンストレーションもご覧いただけます。ボーナスとして、デモンストレーション作成の舞台裏をご覧いただけます。