Google Merchant Center 転送

BigQuery Data Transfer Service for Google Merchant Center を使用すると、Google Merchant Center レポートデータを定期的に読み込むジョブのスケジュールと管理を自動化できます。

サポートされるレポート

BigQuery Data Transfer Service for Google Merchant Center では現在、次のデータがサポートされています。

商品と商品の問題

これには、フィードまたは Content API for Shopping によって Merchant Center に提供された商品データが含まれます。Google が商品に関して検出したアイテムレベルの問題も含まれます。このデータは Google Merchant Center で確認できます。Content API for Shopping に対するクエリを実行して確認することもできます。
このデータの BigQuery への読み込み方法については、Google Merchant Center の商品テーブルスキーマをご覧ください。

地域別の在庫

これには、地域別の在庫状況と価格のオーバーライドに関する追加の商品データが含まれます。
このデータの BigQuery への読み込み方法については、Google Merchant Center の地域別の在庫テーブルスキーマをご覧ください。

ローカル在庫

これには、商品のローカル在庫に関する追加の商品データが含まれます。ローカルの価格設定、在庫状況、数量、店舗受け取り、店舗所在地のデータが含まれます。
このデータの BigQuery への読み込み方法については、Google Merchant Center のローカル在庫のテーブルスキーマをご覧ください。

価格ベンチマーク

これは、商品レベルの価格ベンチマークデータを含み、Google Merchant Center から入手できる価格競争力レポートと同じ定義に基づいています。
このデータの BigQuery への読み込み方法については、Google Merchant Center の価格ベンチマークテーブルスキーマをご覧ください。

ベストセラー

これには、ショッピング広告と無料リスティングで最も人気が高い商品とブランドのほか、その商品アイテムの在庫の有無に関するデータも含まれます。
これは、Google Merchant Center から入手できるベストセラーレポートに基づいています。
ベストセラーレポートは、次のテーブルで構成されています。
1. BestSellers_TopProducts_ は、国と Google 商品カテゴリごとの上位の商品のランキングのリストです。このテーブルは、ショッピング広告と無料リスティングのすべての販売者からのデータを表しています。
2. BestSellers_TopProducts_Inventory_ は、上位の商品と在庫のマッピングテーブルです。
3. BestSellers_TopBrands_ は、国および Google 商品カテゴリ別に計算された上位ブランドのランキングのリストです。ショッピング広告と無料リスティングのすべての販売者からのデータを表しています。
ベストセラーデータが BigQuery に読み込まれる仕組みについては、Google Merchant Center の上位の商品、商品在庫、上位ブランドのテーブルスキーマをご覧ください。

BigQuery Data Transfer Service for Google Merchant Center では現在、次のレポートオプションがサポートされています。

レポートオプション	サポート
スケジュール	Daily、Weekly、Monthly、Custom に構成できます。デフォルトでは、転送の作成時に Daily に設定されます。転送間の最小間隔は 6 時間です。

制限事項

すべての Merchant Center 転送には、次の制限があります。

販売者 ID を対象に転送を作成した後、販売アカウントデータが準備されて転送に使用できるようになるまでに最大で 1 日かかる場合があります。
最大バックフィル期間を構成することはできません。現在のところ、過去のバックフィルはサポート対象外です。当日のバックフィルのみ設定できます。

商品と商品問題

BigQuery 内の商品と商品の問題に関するデータは、販売アカウントのリアルタイムのデータではありません。データのタイムラインを確認するには、スキーマの product_data_timestamp フィールドを参照してください。

価格ベンチマーク

価格ベンチマークデータは、価格ベンチマークのリアルタイムのデータを表すものではありません。データのタイムラインを確認するには、価格ベンチマークスキーマのprice_benchmark_timestampフィールドを参照してください。
すべての商品に価格ベンチマークがあるわけではありません。

ベストセラー

すべての国がランキングデータに含まれるわけではありません。レポートに含まれる国（ISO 3166-1 alpha-2 を使用）: AT、AU、BE、BR、CA、CH、CZ、DE、DK、ES、FI、FR、GB、HU、IE、IN、IT、JP、MX、NL、NO、NZ、PL、PT、RO、RU、SE、SK、TR、UA、US。
ベストセラーデータは、ブランドランキングのリアルタイムビューを表しません。データのタイムラインを確認するには、BestSellers_TopProducts_ スキーマと BestSellers_TopBrands_ スキーマの rank_timestamp フィールドを参照してください。
BestSellers_TopProducts_ テーブルには、ショッピング広告と無料リスティングで最も人気のある商品のみが含まれます。
BestSellers_TopBrands_ テーブルには、ショッピング広告と無料リスティングで最も人気のあるブランドのみが含まれます。Products_ テーブルには、BestSellers_TopBrands_ テーブル内のブランドにマッピングされていない google_brand_id を持つ行が存在する場合があります。
google_brand_id フィールドのブランド ID は、ビジネスやブランドの性質の変化を反映して変更される可能性があります。このため、長期にわたって一連のブランドをトラッキングすることは保証されません。
ブランドはさまざまなカテゴリにまたがってランク付けされ、Products_ テーブル内のすべての商品はリーフカテゴリに分類されます。リーフ以外のカテゴリのブランドや商品を結合するには、ベストセラーのサンプルクエリに示すように、google_product_category_ids フィールドを使用します。

マルチクライアントアカウント（MCA）のサポート

複数の販売者 ID を持つ既存のお客様は、親マルチクライアントアカウント（MCA）を構成することをおすすめします。MCA を構成すると、すべての販売者 ID に対して 1 つの転送を作成できます。

個々の販売者 ID を使用する場合と比べ、Google Merchant Center の MCA を使用すると次のメリットがあります。

複数の販売者 ID のレポートデータを転送する際に、複数の転送を管理する必要がなくなります。
すべての販売者 ID データが同じテーブルに保管されるため、複数の販売者 ID を使用したクエリを作成する作業が大幅に簡素化されます。
MCA を使用すると、すべての販売者 ID データが同じジョブで読み込まれるため、BigQuery 読み込みジョブの割り当ての問題が発生する可能性が減ります。

MCA を使用する場合に考えられる 1 つのデメリットとして、以降のクエリ費用が高くなる可能性があります。すべてのデータが同じテーブル内に保管されるため、クエリで個々の販売者 ID のデータを取得する場合でも、テーブル全体をスキャンしなければならないためです。

MCA を使用している場合、MCA ID は aggregator_id の一覧に表示され、個々のサブアカウントは merchant_id の一覧に表示されます。MCA を使用しないアカウントでは、aggregator_id が null に設定されます。

始める前に

Google Merchant Center の転送を作成する前に、次のことを行ってください。

BigQuery Data Transfer Service を有効にするために必要なすべての操作が完了していることを確認します。
Google Merchant Center のデータを保存する BigQuery データセットを作成します。
Pub/Sub の転送実行通知を設定する場合は、pubsub.topics.setIamPolicy 権限が必要です。メール通知を設定するだけの場合、Pub/Sub の権限は必要ありません。詳細については、BigQuery Data Transfer Service の実行通知をご覧ください。

必要な権限

転送を作成するユーザーに、次の必要な権限が付与されていることを確認します。

BigQuery:
- bigquery.transfers.update（転送を作成する権限）
- bigquery.datasets.get と bigquery.datasets.updateの両方（抽出先データセットに対する権限）
bigquery.transfers.update 権限、bigquery.datasets.update 権限、bigquery.datasets.get 権限は IAM 事前定義ロール bigquery.admin に含まれています。BigQuery Data Transfer Service での IAM ロールの詳細については、アクセス制御をご覧ください。
Google Merchant Center
- 転送構成で使用されている Google Merchant Center アカウントへのアクセス。Google Merchant Center UI の [Users] セクションをクリックすると、アクセス権を確認できます。
- 価格競争力とベストセラーのデータにアクセスするには、まずマーケットインサイトプログラムを有効にする必要があります。

Google Merchant Center の転送を設定する

Google Merchant Center レポートのデータ転送を設定するには、以下が必要です。

販売者 ID またはマルチクライアントアカウント ID: これは、Google Merchant Center UI に表示されている販売者 ID です。

Google Merchant Center レポートのデータ転送を作成するには:

Console

Google Cloud Console の [BigQuery] ページに移動します。

[BigQuery] ページに移動
[転送] をクリックします。
[転送を作成] をクリックします。
[転送の作成] ページで、次の操作を行います。
- [ソースタイプ] セクションの [ソース] で、[Google Merchant Center] を選択します。
- [転送構成名] セクションの [表示名] に、転送名（例: My Transfer）を入力します。転送名には、後で修正が必要になった場合に簡単に識別できる任意の名前を使用できます。
- [スケジュールオプション] セクションの [スケジュール] で、[設定した時間に開始] をクリックします。
  - [繰り返しの頻度] で、転送を実行する頻度のオプションを選択します。
    - 毎日（デフォルト）
    - 毎週
    - 毎月
    - カスタム
    - オンデマンド
  - [開始日と実行時間] に、転送を開始する日付と時刻を入力します。現在の UTC 時刻から 24 時間以上後の値を指定してください。[すぐに開始可能] を選択した場合、このオプションは無効になります。
    
    スケジュールオプションの設定を [今すぐ開始] のままにすると、最初の転送実行が直ちに開始され、No data to transfer found for the Merchant account. If you have just created this transfer, you may need to wait for up to a day before the data of your Merchant account are prepared and available for the transfer. というエラーメッセージで失敗します。スケジュールされている次回の転送は正常に実行されます。販売アカウントのデータが UTC 時間の同じ日に準備されている場合は、当日の実行のためのバックフィルを設定できます。
- [転送先の設定] セクションの [宛先データセット] で、データを保存するために作成したデータセットを選択します。
- [データソースの詳細] セクションの [販売者 ID] に、販売者 ID または MCA ID を入力します。
  
  転送するレポートを選択します。詳細については、サポートされるレポートをご覧ください。
- （省略可）[通知オプション] セクションで、次の操作を行います。
  - 切り替えボタンをクリックしてメール通知を有効にします。このオプションを有効にすると、転送の実行が失敗した場合、転送管理者にメール通知が送信されます。
  - [Pub/Sub トピックを選択してください] で、トピック名を選択するか、[トピックを作成する] をクリックします。このオプションで、Pub/Sub の転送実行通知を構成します。
[保存] をクリックします。

bq

bq mk コマンドを入力して、転送作成フラグ --transfer_config を指定します。次のフラグも必要です。

--data_source
--target_dataset
--display_name
--params

--project_id フラグを指定して、特定のプロジェクトを指定することもできます。--project_id を指定しない場合は、デフォルトのプロジェクトが使用されます。

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

ここで

project_id は、プロジェクト ID です。
dataset は、転送構成の抽出先データセットです。
name は、転送構成の表示名です。転送名には、後で修正が必要になった場合に簡単に識別できる任意の名前を使用できます。
parameters には、作成される転送構成のパラメータを JSON 形式で指定します。例: --params='{"param":"param_value"}'。
- Google Merchant Center では、merchant_id パラメータを指定する必要があります。
- export_products パラメータは、商品と商品問題のデータを転送するかどうかを指定します。export_products パラメータを指定しなくても、このパラメータはデフォルトで含まれています。このパラメータを明示的に含めて、true に設定することをおすすめします。
- export_regional_inventories パラメータは、地域別の在庫データを転送するかどうかを指定します。
- export_local_inventories パラメータは、ローカル在庫データを転送するかどうかを指定します。
- export_price_benchmarks パラメータは、価格ベンチマークデータを転送するかどうかを指定します。
- export_best_sellers パラメータは、ベストセラーデータを転送するかどうかを指定します。
data_source は、データソース（merchant_center）です。

たとえば、次のコマンドは、販売者 ID 1234 とターゲットデータセット mydataset を使用して、My Transfer という名前の Google Merchant Center の転送を作成します。この転送はデフォルトのプロジェクト内に作成されます。

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"merchant_id":"1234","export_products":"true","export_regional_inventories":"true","export_local_inventories":"true","export_price_benchmarks":"true","export_best_sellers":"true"}' \
--data_source=merchant_center

コマンドの初回実行時に、次のようなメッセージが表示されます。

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

メッセージの指示に従って、認証コードをコマンドラインに貼り付けます。

この転送を作成したばかりの場合は、販売アカウントのデータが準備されて転送に使用できるようになるまでに最長で 1 日間かかることがあります。スケジュールされている次回の転送は正常に実行されます。販売アカウントのデータが UTC 時間の同じ日に準備されている場合は、当日の実行のためのバックフィルを設定できます。

API

projects.locations.transferConfigs.create メソッドを使用して、TransferConfig リソースのインスタンスを指定します。

Google Merchant Center の転送設定のトラブルシューティング

転送を設定する際に問題が発生した場合は、BigQuery Data Transfer Service 転送設定のトラブルシューティングの Google Merchant Center の転送に関する問題をご覧ください。

データに対するクエリを実行する

データが BigQuery に転送されると、取り込み時間パーティション分割テーブルにそのデータが書き込まれます。詳細については、パーティション分割テーブルの概要をご覧ください。

Google Merchant Center テーブルのクエリを実行する際は、そのクエリで _PARTITIONTIME または _PARTITIONDATE の疑似列を使用する必要があります。詳細については、パーティション分割テーブルのクエリをご覧ください。

Products_ テーブルにはネストされたフィールドと繰り返しフィールドが含まれています。ネストされたデータと繰り返しデータの処理については、GoogleSQL ドキュメントの繰り返しフィールドの処理の違いをご覧ください。

Google Merchant Center のサンプルクエリ

転送されたデータを分析するには、以下の Google Merchant Center サンプルクエリを使用できます。これらのクエリは、Looker Studio などの可視化ツールでも使用できます。

以下の各クエリでは、dataset をデータセット名で置き換えてください。merchant_id は、販売者 ID に置き換えます。MCA を使用している場合は、merchant_id を MCA ID に置き換えます。

商品と商品問題のサンプルクエリ

商品と商品に関する統計情報

次の SQL サンプルクエリでは、商品の数、問題のある商品の数、日付ごとの問題の数を取得します。

SELECT
  _PARTITIONDATE AS date,
  COUNT(*) AS num_products,
  COUNTIF(ARRAY_LENGTH(issues) > 0) AS num_products_with_issues,
  SUM(ARRAY_LENGTH(issues)) AS num_issues
FROM
  dataset.Products_merchant_id
WHERE
  _PARTITIONDATE >= 'YYYY-MM-DD'
GROUP BY
  date
ORDER BY
  date DESC

ショッピング広告で承認されなかった商品

次の SQL サンプルクエリでは、ショッピング広告での掲載が承認されていない商品の数を国別に取得します。商品が承認されなかった原因として、掲載先が除外対象であったか、商品に問題があることが考えられます。

SELECT
  _PARTITIONDATE AS date,
  disapproved_country,
  COUNT(*) AS num_products
FROM
  dataset.Products_merchant_id,
  UNNEST(destinations) AS destination,
  UNNEST(disapproved_countries) AS disapproved_country
WHERE
  _PARTITIONDATE >= 'YYYY-MM-DD'
GROUP BY
  date, disapproved_country
ORDER BY
  date DESC

問題が承認されなかった商品

次の SQL サンプルクエリでは、問題が承認されなかった商品の数を国別に取得します。

SELECT
  _PARTITIONDATE AS date,
  applicable_country,
  COUNT(DISTINCT CONCAT(CAST(merchant_id AS STRING), ':', product_id))
      AS num_distinct_products
FROM
  dataset.Products_merchant_id,
  UNNEST(issues) AS issue,
  UNNEST(issue.applicable_countries) as applicable_country
WHERE
  _PARTITIONDATE >= 'YYYY-MM-DD' AND
  issue.servability = 'disapproved'
GROUP BY
  date, applicable_country
ORDER BY
  date DESC

価格ベンチマークサンプルクエリ

商品価格をベンチマークと比較する

次の SQL クエリは、Products と Price Benchmarks データを結合し、商品と関連のベンチマークのリストを返します。

WITH products AS
(
  SELECT
    _PARTITIONDATE AS date,
    *
  FROM
    dataset.Products_merchant_id
  WHERE
   _PARTITIONDATE >= 'YYYY-MM-DD'
),
benchmarks AS
(
  SELECT
    _PARTITIONDATE AS date,
    *
  FROM
    dataset.Products_PriceBenchmarks_merchant_id
  WHERE
    _PARTITIONDATE >= 'YYYY-MM-DD'
)
SELECT
  products.date,
  products.product_id,
  products.merchant_id,
  products.aggregator_id,
  products.price,
  products.sale_price,
  benchmarks.price_benchmark_value,
  benchmarks.price_benchmark_currency,
  benchmarks.country_of_sale
FROM
  products
INNER JOIN
  benchmarks
ON products.product_id = benchmarks.product_id AND
   products.merchant_id = benchmarks.merchant_id AND
   products.date = benchmarks.date

ベストセラーのサンプルクエリ

特定のカテゴリと国の上位の商品

次の SQL クエリは、米国のスマートフォンカテゴリの上位の商品を返します。

SELECT
  rank,
  previous_rank,
  relative_demand.bucket,
  (SELECT name FROM top_products.product_title WHERE locale = 'en-US') AS product_title,
  brand,
  price_range
FROM
  dataset.BestSellers_TopProducts_merchant_id AS top_products
WHERE
  _PARTITIONDATE = 'YYYY-MM-DD' AND
  ranking_category = 267 /*Smartphones*/ AND
  ranking_country = 'US'
ORDER BY
  rank

上位の商品の在庫数

次の SQL クエリは、BestSellers_TopProducts_Inventory_ データと BestSellers_TopProducts_ データを結合して、現在在庫にある上位の商品のリストを返します。

WITH latest_top_products AS
(
  SELECT
    *
  FROM
    dataset.BestSellers_TopProducts_merchant_id
  WHERE
    _PARTITIONDATE = 'YYYY-MM-DD'
),
latest_top_products_inventory AS
(
  SELECT
    *
  FROM
    dataset.BestSellers_TopProducts_Inventory_merchant_id
  WHERE
    _PARTITIONDATE = 'YYYY-MM-DD'
)
SELECT
  top_products.rank,
  inventory.product_id,
  (SELECT ANY_VALUE(name) FROM top_products.product_title) AS product_title,
  top_products.brand,
  top_products.gtins
FROM
  latest_top_products AS top_products
INNER JOIN
  latest_top_products_inventory AS inventory
USING (rank_id)

特定のカテゴリと国の上位ブランド

次の SQL クエリは、米国のスマートフォンカテゴリの上位ブランドを返します。

SELECT
  rank,
  previous_rank,
  brand
FROM
  dataset.BestSellers_TopBrands_merchant_id
WHERE
  _PARTITIONDATE = 'YYYY-MM-DD' AND
  ranking_category = 267 /*Smartphones*/ AND
  ranking_country = 'US'
ORDER BY
  rank

上位ブランドの商品の在庫数

次の SQL クエリは、カテゴリと国別の上位ブランドの商品在庫のリストを返します。

  WITH latest_top_brands AS
  (
    SELECT
      *
    FROM
      dataset.BestSellers_TopBrands_merchant_id
    WHERE
      _PARTITIONDATE = 'YYYY-MM-DD'
  ),
  latest_products AS
  (
    SELECT
      product.*,
      product_category_id
    FROM
      dataset.Products_merchant_id AS product,
      UNNEST(product.google_product_category_ids) AS product_category_id,
      UNNEST(destinations) AS destination,
      UNNEST(destination.approved_countries) AS approved_country
    WHERE
      _PARTITIONDATE = 'YYYY-MM-DD'
  )
  SELECT
    top_brands.brand,
    (SELECT name FROM top_brands.ranking_category_path
    WHERE locale = 'en-US') AS ranking_category,
    top_brands.ranking_country,
    top_brands.rank,
    products.product_id,
    products.title
  FROM
    latest_top_brands AS top_brands
  INNER JOIN
    latest_products AS products
  ON top_brands.google_brand_id = products.google_brand_id AND
     top_brands.ranking_category = product_category_id AND
     top_brands.ranking_country = products.approved_country