Mendapatkan insight data dari model analisis kontribusi menggunakan metrik rasio yang dapat digabungkan

Dalam tutorial ini, Anda menggunakan model analisis kontribusi untuk menganalisis kontribusi rasio biaya penjualan dalam set data penjualan minuman keras Iowa. Tutorial ini memandu Anda melakukan tugas-tugas berikut:

• Buat tabel input berdasarkan data minuman keras Iowa yang tersedia secara publik.
• Buat model analisis kontribusi yang menggunakan metrik rasio yang dapat dijumlahkan. Jenis model ini merangkum nilai dua kolom numerik dan menentukan perbedaan rasio di seluruh set data kontrol dan pengujian untuk setiap segmen data.
• Dapatkan insight metrik dari model menggunakan fungsi ML.GET_INSIGHTS.

Sebelum memulai tutorial ini, Anda harus memahami kasus penggunaan analisis kontribusi.

Izin yang diperlukan

• Untuk membuat set data, Anda memerlukan izin Identity and Access Management (IAM) bigquery.datasets.create.

• Untuk membuat model, Anda memerlukan izin berikut:

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData

• Untuk menjalankan inferensi, Anda memerlukan izin berikut:

  • bigquery.models.getData
  • bigquery.jobs.create

Biaya

Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:

• BigQuery ML: You incur costs for the data that you process in BigQuery.

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga.

Pengguna Google Cloud baru mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Untuk mengetahui informasi selengkapnya tentang harga BigQuery, lihat harga BigQuery dalam dokumentasi BigQuery.

Sebelum memulai

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Roles required to select or create a project

   • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
   • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.
   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Verify that billing is enabled for your Google Cloud project.

3. Enable the BigQuery API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

Membuat set data

Buat set data BigQuery untuk menyimpan model ML Anda.

Konsol

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka halaman BigQuery

2. Di panel Explorer, klik nama project Anda.

3. Klik View actions > Create dataset.

4. Di halaman Create dataset, lakukan hal berikut:

   • Untuk Dataset ID, masukkan bqml_tutorial.

   • Untuk Location type, pilih Multi-region, lalu pilih US (multiple regions in United States).

   • Jangan ubah setelan default yang tersisa, lalu klik Create dataset.

bq

Untuk membuat set data baru, gunakan perintah bq mk dengan flag --location. Untuk daftar lengkap kemungkinan parameter, lihat referensi perintah bq mk --dataset.

1. Buat set data bernama bqml_tutorial dengan lokasi data yang ditetapkan ke US dan deskripsi BigQuery ML tutorial dataset:

   bq --location=US mk -d \
    --description "BigQuery ML tutorial dataset." \
    bqml_tutorial

   Perintah ini menggunakan pintasan -d, bukan flag --dataset. Jika Anda menghapus -d dan --dataset, perintah defaultnya adalah membuat set data.

2. Pastikan set data telah dibuat:

   bq ls

API

Panggil metode datasets.insert dengan resource set data yang ditentukan.

{
  "datasetReference": {
     "datasetId": "bqml_tutorial"
  }
}

BigQuery DataFrames

Sebelum mencoba contoh ini, ikuti petunjuk penyiapan BigQuery DataFrames di Panduan memulai BigQuery menggunakan BigQuery DataFrames. Untuk mengetahui informasi selengkapnya, lihat dokumentasi referensi BigQuery DataFrames.

Untuk melakukan autentikasi ke BigQuery, siapkan Kredensial Default Aplikasi. Untuk mengetahui informasi selengkapnya, lihat Menyiapkan ADC untuk lingkungan pengembangan lokal.

import google.cloud.bigquery

bqclient = google.cloud.bigquery.Client()
bqclient.create_dataset("bqml_tutorial", exists_ok=True)

Membuat tabel data input

Buat tabel yang berisi data pengujian dan kontrol untuk dianalisis. Kueri berikut membuat dua tabel perantara, tabel pengujian untuk data minuman keras dari tahun 2021 dan tabel kontrol dengan data minuman keras dari tahun 2020, lalu melakukan gabungan tabel perantara untuk membuat tabel dengan baris pengujian dan kontrol serta set kolom yang sama.

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan pernyataan berikut:

   CREATE OR REPLACE TABLE bqml_tutorial.iowa_liquor_sales_data AS
   (SELECT
     store_name,
     city,
     vendor_name,
     category_name,
     item_description,
     SUM(sale_dollars) AS total_sales,
     SUM(state_bottle_cost) AS total_bottle_cost,
     FALSE AS is_test
   FROM `bigquery-public-data.iowa_liquor_sales.sales`
   WHERE EXTRACT(YEAR FROM date) = 2020
   GROUP BY store_name, city, vendor_name, category_name, item_description, is_test)
   UNION ALL
   (SELECT
     store_name,
     city,
     vendor_name,
     category_name,
     item_description,
     SUM(sale_dollars) AS total_sales,
     SUM(state_bottle_cost) AS total_bottle_cost,
     TRUE AS is_test
   FROM `bigquery-public-data.iowa_liquor_sales.sales`
   WHERE EXTRACT(YEAR FROM date) = 2021
   GROUP BY store_name, city, vendor_name, category_name, item_description, is_test);

Buat model

Buat model analisis kontribusi:

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan pernyataan berikut:

   CREATE OR REPLACE MODEL bqml_tutorial.liquor_sales_model
   OPTIONS(
     model_type = 'CONTRIBUTION_ANALYSIS',
     contribution_metric = 'sum(total_bottle_cost)/sum(total_sales)',
     dimension_id_cols = ['store_name', 'city', 'vendor_name', 'category_name', 'item_description'],
     is_test_col = 'is_test',
     min_apriori_support = 0.05
   ) AS
   SELECT * FROM bqml_tutorial.iowa_liquor_sales_data;

Kueri memerlukan waktu sekitar 35 detik untuk diselesaikan, setelah itu model liquor_sales_model akan muncul di set data bqml_tutorial di panel Explorer. Karena kueri menggunakan pernyataan CREATE MODEL untuk membuat model, tidak akan ada hasil kueri.

Mendapatkan insight dari model

Dapatkan insight yang dihasilkan oleh model analisis kontribusi menggunakan fungsi ML.GET_INSIGHTS.

1. Di konsol Google Cloud , buka halaman BigQuery.

   Buka BigQuery

2. Di editor kueri, jalankan pernyataan berikut untuk memilih kolom dari output untuk model analisis kontribusi metrik rasio yang dapat dijumlahkan:

   SELECT
   contributors,
   metric_test,
   metric_control,
   metric_test_over_metric_control,
   metric_test_over_complement,
   metric_control_over_complement,
   aumann_shapley_attribution,
   apriori_support
   contribution
   FROM
     ML.GET_INSIGHTS(
       MODEL `bqml_tutorial.liquor_sales_model`)
   ORDER BY aumann_shapley_attribution DESC;

Beberapa baris pertama output akan terlihat seperti berikut. Nilai dipangkas untuk meningkatkan keterbacaan.

kontributor	metric_test	metric_control	metric_test_over_metric_control	metric_test_over_complement	metric_control_over_complement	aumann_shapley_attribution	apriori_support	kontribusi
semua	0,069	0,071	0,969	null	null	-0,00219	1,0	0.00219
city=DES MOINES	0,048	0,054	0,88	0.67	0,747	-0,00108	0,08	0,00108
vendor_name=DIAGEO AMERICAS	0,064	0,068	0,937	0,917	0,956	-0,0009	0,184	0,0009
vendor_name=BACARDI USA INC	0,071	0,082	0,857	1.025	1.167	-0,00054	0,057	0,00054
vendor_name=PERNOD RICARD USA	0,068	0,077	0,89	0,988	1.082	-0,0005	0,061	0,0005

Dalam output, Anda dapat melihat bahwa segmen data city=DES MOINES memiliki kontribusi perubahan rasio penjualan tertinggi. Anda juga dapat melihat perbedaan ini di kolom metric_test dan metric_control, yang menunjukkan bahwa rasio menurun dalam data pengujian dibandingkan dengan data kontrol. Metrik lainnya, seperti metric_test_over_metric_control, metric_test_over_complement, dan metric_control_over_complement, menghitung statistik tambahan yang menjelaskan hubungan antara rasio kontrol dan pengujian serta hubungannya dengan keseluruhan populasi. Untuk mengetahui informasi selengkapnya, lihat Output untuk model analisis kontribusi metrik rasio yang dapat dijumlahkan.

Pembersihan

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.