合計可能な比率指標を使用して貢献度分析モデルからデータ分析情報を取得する

このチュートリアルでは、貢献度分析モデルを使用して、アイオワ州の酒類販売データセットにおける販売費用の貢献度を分析します。このチュートリアルでは、次のタスクの実行について説明します。

  • 一般公開されているアイオワ州の酒類データに基づいて入力テーブルを作成します。
  • 合計可能な比率指標を使用する貢献度分析モデルを作成します。このタイプのモデルは、2 つの数値列の値を要約し、データのセグメントごとにコントロール データセットとテスト データセットの比率の差異を決定します。
  • ML.GET_INSIGHTS 関数を使用して、モデルから指標の分析情報を取得します。

このチュートリアルを始める前に、貢献度分析のユースケースを理解しておく必要があります。

必要な権限

  • データセットを作成するには、bigquery.datasets.create Identity and Access Management（IAM）権限が必要です。

  • モデルを作成するには、次の権限が必要です。

    • bigquery.jobs.create
    • bigquery.models.create
    • bigquery.models.getData
    • bigquery.models.updateData

  • 推論を実行するには、次の権限が必要です。

    • bigquery.models.getData
    • bigquery.jobs.create

費用

このドキュメントでは、課金対象である次の Google Cloudコンポーネントを使用します。

  • BigQuery ML: You incur costs for the data that you process in BigQuery.

料金計算ツールを使うと、予想使用量に基づいて費用の見積もりを生成できます。

新規の Google Cloud ユーザーは無料トライアルをご利用いただける場合があります。

BigQuery の料金の詳細については、BigQuery ドキュメントの BigQuery の料金をご覧ください。

始める前に

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Verify that billing is enabled for your Google Cloud project.

  3. Enable the BigQuery API.

    Enable the API

データセットを作成する

ML モデルを保存する BigQuery データセットを作成します。

コンソール

  1. Google Cloud コンソールで、[BigQuery] ページに移動します。

    [BigQuery] ページに移動

  2. [エクスプローラ] ペインで、プロジェクト名をクリックします。

  3. [アクションを表示] > [データセットを作成] をクリックします。

    [データセットを作成] のメニュー オプション。

  4. [データセットを作成] ページで、次の操作を行います。

    • [データセット ID] に「bqml_tutorial」と入力します。

    • [ロケーション タイプ] で [マルチリージョン] を選択してから、[US（米国の複数のリージョン）] を選択します。

    • 残りのデフォルトの設定は変更せず、[データセットを作成] をクリックします。

bq

新しいデータセットを作成するには、--location フラグを指定した bq mk コマンドを使用します。使用可能なパラメータの一覧については、bq mk --dataset コマンドのリファレンスをご覧ください。

  1. データの場所が US に設定され、BigQuery ML tutorial dataset という説明の付いた、bqml_tutorial という名前のデータセットを作成します。

    bq --location=US mk -d \
 --description "BigQuery ML tutorial dataset." \
 bqml_tutorial

    このコマンドでは、--dataset フラグの代わりに -d ショートカットを使用しています。-d と --dataset を省略した場合、このコマンドはデフォルトでデータセットを作成します。

  2. データセットが作成されたことを確認します。

    bq ls

API

定義済みのデータセット リソースを使用して datasets.insert メソッドを呼び出します。

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

このサンプルを試す前に、BigQuery DataFrames を使用した BigQuery クイックスタートの手順に沿って BigQuery DataFrames を設定してください。詳細については、BigQuery DataFrames のリファレンス ドキュメントをご覧ください。

BigQuery に対する認証を行うには、アプリケーションのデフォルト認証情報を設定します。詳細については、ローカル開発環境の ADC の設定をご覧ください。

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

入力データのテーブルを作成する

分析するテストデータとコントロール データを含むテーブルを作成します。次のクエリは、2021 年の酒類データを含むテストテーブルと 2020 年の酒類データを含むコントロール テーブルの 2 つの中間テーブルを作成し、中間テーブルの結合を実行して、テスト行とコントロール行の両方、および同じ列のセットを含むテーブルを作成します。

  1. Google Cloud コンソールで、[BigQuery] ページに移動します。

    [BigQuery] に移動

  2. クエリエディタで、次のステートメントを実行します。

    CREATE OR REPLACE TABLE bqml_tutorial.iowa_liquor_sales_data AS
(SELECT
  store_name,
  city,
  vendor_name,
  category_name,
  item_description,
  SUM(sale_dollars) AS total_sales,
  SUM(state_bottle_cost) AS total_bottle_cost,
  FALSE AS is_test
FROM `bigquery-public-data.iowa_liquor_sales.sales`
WHERE EXTRACT(YEAR FROM date) = 2020
GROUP BY store_name, city, vendor_name, category_name, item_description, is_test)
UNION ALL
(SELECT
  store_name,
  city,
  vendor_name,
  category_name,
  item_description,
  SUM(sale_dollars) AS total_sales,
  SUM(state_bottle_cost) AS total_bottle_cost,
  TRUE AS is_test
FROM `bigquery-public-data.iowa_liquor_sales.sales`
WHERE EXTRACT(YEAR FROM date) = 2021
GROUP BY store_name, city, vendor_name, category_name, item_description, is_test);

モデルを作成する

貢献度分析モデルを作成します。

  1. Google Cloud コンソールで、[BigQuery] ページに移動します。

    [BigQuery] に移動

  2. クエリエディタで、次のステートメントを実行します。

    CREATE OR REPLACE MODEL bqml_tutorial.liquor_sales_model
OPTIONS(
  model_type = 'CONTRIBUTION_ANALYSIS',
  contribution_metric = 'sum(total_bottle_cost)/sum(total_sales)',
  dimension_id_cols = ['store_name', 'city', 'vendor_name', 'category_name', 'item_description'],
  is_test_col = 'is_test',
  min_apriori_support = 0.05
) AS
SELECT * FROM bqml_tutorial.iowa_liquor_sales_data;

クエリが完了するまでに約 35 秒かかります。完了後、モデル liquor_sales_model が [エクスプローラ] ペインの bqml_tutorial データセットに表示されます。このクエリでは CREATE MODEL ステートメントを使用してモデルを作成するため、クエリの結果はありません。

モデルから分析情報を取得する

ML.GET_INSIGHTS 関数を使用して、貢献度分析モデルによって生成された分析情報を取得します。

  1. Google Cloud コンソールで、[BigQuery] ページに移動します。

    [BigQuery] に移動

  2. クエリエディタで次のステートメントを実行して、合計可能な比率指標の貢献度分析モデルの出力から列を選択します。

    SELECT
contributors,
metric_test,
metric_control,
metric_test_over_metric_control,
metric_test_over_complement,
metric_control_over_complement,
aumann_shapley_attribution,
apriori_support
contribution
FROM
  ML.GET_INSIGHTS(
    MODEL `bqml_tutorial.liquor_sales_model`)
ORDER BY aumann_shapley_attribution DESC;

出力の最初の数行は次のようになります。読みやすくするために、値は切り捨てられています。

contributors metric_test metric_control metric_test_over_metric_control metric_test_over_complement metric_control_over_complement aumann_shapley_attribution apriori_support contribution
すべて 0.069 0.071 0.969 null null -0.00219 1.0 0.00219
city=DES MOINES 0.048 0.054 0.88 0.67 0.747 -0.00108 0.08 0.00108
vendor_name=DIAGEO AMERICAS 0.064 0.068 0.937 0.917 0.956 -0.0009 0.184 0.0009
vendor_name=BACARDI USA INC 0.071 0.082 0.857 1.025 1.167 -0.00054 0.057 0.00054
vendor_name=PERNOD RICARD USA 0.068 0.077 0.89 0.988 1.082 -0.0005 0.061 0.0005

出力で、データ セグメント city=DES MOINES が売上率の変化に最も大きく貢献していることがわかります。この違いは、metric_test 列と metric_control 列でも確認できます。この列は、テストデータとコントロール データの比率を示しています。metric_test_over_metric_control、metric_test_over_complement、metric_control_over_complement などの他の指標は、コントロールとテストの比率の関係と、それらが集団全体とどのように関連しているかを示す追加の統計情報を計算します。詳細については、合計可能な比率指標の貢献度分析モデルの出力をご覧ください。

クリーンアップ

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.