Memprediksi Nilai Umur Pelanggan dengan AI Platform: melatih model

Artikel ini adalah bagian kedua dari rangkaian empat bagian yang membahas cara memprediksi nilai umur pelanggan (CLV) menggunakan AI Platform (AI Platform) di Google Cloud.

Artikel dalam rangkaian ini meliputi:

Kode untuk menerapkan sistem ini ada di repositori GitHub. Rangkaian ini membahas kegunaan kode dan cara penggunaannya.

Pengantar

Artikel ini merupakan lanjutan dari Bagian 1, yang mana Anda telah mempelajari dua model berbeda untuk memprediksi nilai umur pelanggan (CLV):

  • Model probabilistik
  • Model jaringan neural dalam (DNN), salah satu jenis model machine learning

Seperti disebutkan di Bagian 1, salah satu tujuan seri ini adalah membandingkan model ini untuk memprediksi CLV. Bagian dari rangkaian ini menjelaskan cara menyiapkan data, membuat serta melatih kedua jenis model untuk memprediksi CLV, dan memberikan beberapa informasi perbandingan.

Menginstal kode

Jika ingin mengikuti proses yang dijelaskan dalam artikel ini, Anda harus menginstal kode contoh dari GitHub.

  1. Jika Anda sudah menginstal gcloud CLI, buka jendela terminal di komputer untuk menjalankan perintah ini. Jika gcloud CLI belum terinstal, buka instance Cloud Shell.

    BUKA Cloud Shell

  2. Clone repositori kode sampel:

    git clone
    https://github.com/GoogleCloudPlatform/tensorflow-lifetime-value
    
  3. Ikuti petunjuk penginstalan di bagian Instal pada file README untuk menyiapkan lingkungan Anda.

Persiapan data

Bagian ini menjelaskan cara mendapatkan dan membersihkan data.

Mendapatkan dan membersihkan {i>dataset<i} sumber

Agar dapat menghitung CLV, Anda harus memastikan bahwa data sumber berisi setidaknya hal berikut:

  • ID pelanggan yang digunakan untuk membedakan masing-masing pelanggan.
  • Jumlah pembelian per pelanggan yang menampilkan jumlah yang dibelanjakan pelanggan pada waktu tertentu.
  • Tanggal untuk setiap pembelian.

Dalam artikel ini, kami membahas cara melatih model menggunakan data penjualan historis dari Set Data Retail Online yang tersedia untuk umum dari Repositori UCI Machine Learning.[1]

Langkah pertama adalah menyalin set data sebagai file CSV ke Cloud Storage. Dengan menggunakan salah satu alat pemuatan untuk BigQuery, Anda kemudian membuat tabel yang bernama data_source. (Nama ini tidak tentu, tetapi kode dalam repositori GitHub menggunakan nama ini.) Set data tersedia di bucket publik yang terkait dengan rangkaian ini dan telah dikonversi ke format CSV.

  1. Di komputer atau di Cloud Shell, jalankan perintah yang didokumentasikan di bagian Penyiapan pada file README di repositori GitHub.

Contoh set data berisi kolom yang tercantum dalam tabel berikut. Untuk pendekatan yang kami jelaskan dalam artikel ini, Anda hanya menggunakan kolom dengan kolom Used yang ditetapkan ke Yes. Beberapa kolom tidak digunakan secara langsung, tetapi membantu membuat kolom baru—misalnya, UnitPrice dan Quantity membuat order_value.

Digunakan Kolom Jenis Deskripsi
Tidak InvoiceNo STRING Nominal. Bilangan integral 6 digit yang ditetapkan secara unik untuk setiap transaksi. Jika kode ini diawali dengan huruf c, kode tersebut menunjukkan pembatalan.
Tidak StockCode STRING Kode produk (item). Nominal, bilangan integral 5 digit yang ditetapkan secara unik untuk setiap produk yang berbeda.
Tidak Description STRING Nama produk (item). Nominal.
Ya Quantity INTEGER Jumlah setiap produk (item) per transaksi. Numerik.
Ya InvoiceDate STRING Tanggal dan waktu Invoice dalam format mm/dd/yy hh.mm. Hari dan waktu saat setiap transaksi dibuat.
Ya UnitPrice FLOAT Harga unit. Numerik. Harga produk per unit dalam sterling.
Ya CustomerID STRING Nomor pelanggan. Nominal. Bilangan integral 5 digit ditetapkan secara unik untuk setiap pelanggan.
Tidak Country STRING Nama negara. Nominal. Nama negara tempat tinggal setiap pelanggan.

Membersihkan data

Apa pun model yang digunakan, Anda harus melakukan serangkaian langkah persiapan dan pembersihan yang umum untuk semua model. Operasi berikut diperlukan untuk mendapatkan kumpulan kolom dan record yang dapat diterapkan:

  1. Kelompokkan pesanan berdasarkan hari, bukan menggunakan InvoiceNo, karena satuan waktu minimum yang digunakan oleh model probabilistik dalam solusi ini adalah hari.
  2. Hanya simpan kolom yang berguna untuk model probabilistik.
  3. Hanya simpan catatan yang memiliki jumlah pesanan dan nilai uang positif, seperti pembelian.
  4. Hanya simpan catatan dengan jumlah pesanan negatif, seperti pengembalian.
  5. Hanya simpan data dengan ID pelanggan.
  6. Hanya mempertahankan pelanggan yang membeli sesuatu dalam 90 hari terakhir.
  7. Hanya mempertahankan pelanggan yang telah membeli setidaknya dua kali dalam jangka waktu yang sedang digunakan untuk membuat fitur.

Anda dapat menjalankan semua operasi ini menggunakan kueri BigQuery berikut. (Seperti perintah sebelumnya, Anda menjalankan kode ini di mana pun Anda meng-clone repositori GitHub.) Karena data sudah lama, tanggal 12 Desember 2011 dianggap sebagai tanggal hari ini untuk tujuan artikel ini.

WHERE
  -- Bought in the past 3 months
  DATE_DIFF(DATE('{{ dag_run.conf['predict_end'] }}'), latest_order, DAY) <= 90
  -- Make sure returns are consistent.
  AND (
    (order_qty_articles > 0 and order_Value > 0) OR
    (order_qty_articles < 0 and order_Value < 0)
  )

Kueri ini melakukan dua tugas. Pertama, jika set data yang berfungsi berukuran besar, kueri akan menyusutkannya. (Set data yang berfungsi untuk solusi ini cukup kecil, tetapi kueri ini dapat memperkecil set data yang sangat besar sebanyak dua urutan besaran dalam beberapa detik.)

Kedua, kueri membuat set data dasar yang akan dikerjakan, yang terlihat seperti berikut:

customer_id order_date order_value order_qty_articles
16915 2011-08-04 173.7 6
15349 2011-07-04 107.7 77
14794 2011-03-30 -33.9 -2

Set data yang dibersihkan juga berisi kolom order_qty_articles. Kolom ini hanya disertakan untuk digunakan oleh jaringan neural dalam (DNN) yang dijelaskan di bagian berikutnya.

Menentukan interval pelatihan dan target

Untuk mempersiapkan pelatihan model, Anda harus memilih tanggal ambang batas. Tanggal tersebut memisahkan pesanan menjadi dua partisi:

  • Pesanan sebelum tanggal nilai minimum digunakan untuk melatih model.
  • Pesanan setelah tanggal nilai minimum digunakan untuk menghitung nilai target.

Histori penjualan untuk 4 pelanggan yang menampilkan tanggal nilai minimum

Library Lifetimes menyertakan metode untuk pra-pemrosesan data. Namun, set data yang Anda gunakan untuk CLV bisa sangat besar, sehingga tidak praktis untuk melakukan pra-pemrosesan data pada satu mesin. Pendekatan yang dijelaskan dalam artikel ini menggunakan kueri yang dijalankan langsung di BigQuery untuk membagi pesanan menjadi dua kumpulan. Model ML dan probabilistik menggunakan kueri yang sama, sehingga memastikan kedua model beroperasi pada data yang sama.

Tanggal ambang batas optimal mungkin berbeda untuk model ML dan model probabilistik. Anda dapat memperbarui nilai tanggal ini secara langsung dalam pernyataan SQL. Anggap tanggal batas optimal sebagai hyperparameter. Anda menemukan nilai yang paling sesuai dengan menjelajahi data dan menjalankan beberapa pelatihan pengujian.

Tanggal minimum digunakan dalam klausa WHERE kueri SQL yang memilih data pelatihan dari tabel data yang dibersihkan, seperti yang ditunjukkan dalam contoh berikut:

order_date <= DATE('{{ dag_run.conf['threshold_date'] }}')

Menggabungkan data

Setelah membagi data menjadi interval pelatihan dan target, Anda akan menggabungkannya untuk membuat fitur dan target aktual bagi setiap pelanggan. Untuk model probabilistik, agregasi dibatasi pada kolom keterkinian, frekuensi, dan moneter (RFM). Untuk model DNN, model tersebut juga menggunakan fitur RFM, tetapi dapat menggunakan fitur tambahan untuk membuat prediksi yang lebih baik.

Kueri berikut menunjukkan cara membuat fitur untuk model DNN dan probabilistik secara bersamaan:

tf.monetary_dnn,
tf.monetary_btyd,
tf.cnt_orders AS frequency_dnn,
tf.cnt_orders - 1 AS frequency_btyd,
tf.recency,
tf.T,
ROUND(tf.recency/cnt_orders, 2) AS time_between,
ROUND(tf.avg_basket_value, 2) AS avg_basket_value,
ROUND(tf.avg_basket_size, 2) AS avg_basket_size,
tf.cnt_returns,
(CASE
    WHEN tf.cnt_returns > 0 THEN 1
    ELSE 0 END) AS has_returned,

-- Used by BTYD mainly, potentially DNN if clipped improve results
(CASE
    WHEN tf.cnt_orders - 1 > 600 THEN 600
    ELSE tf.cnt_orders - 1 END) AS frequency_btyd_clipped,
(CASE
    WHEN tf.monetary_btyd > 100000 THEN 100000
    ELSE ROUND(tf.monetary_btyd, 2) END) AS monetary_btyd_clipped,
(CASE
    WHEN tt.target_monetary > 100000 THEN 100000
    ELSE ROUND(tt.target_monetary, 2) END) AS target_monetary_clipped,

-- Target calculated for overall period
ROUND(tt.target_monetary, 2) as target_monetary

Tabel berikut mencantumkan fitur yang dibuat oleh kueri.

Nama perlengkapan Deskripsi Probabilistik DNN
monetary_dnn Jumlah nilai uang semua pesanan per pelanggan selama periode fitur. x
monetary_btyd Rata-rata nilai uang semua pesanan untuk setiap pelanggan selama periode fitur. Model probabilistik mengasumsikan bahwa nilai urutan pertama adalah 0. Hal ini diberlakukan oleh kueri. x
recency Waktu antara pesanan pertama dan terakhir yang dilakukan oleh pelanggan selama periode fitur. x
frequency_dnn Jumlah pesanan yang dilakukan oleh pelanggan selama periode fitur. x
frequency_btyd Jumlah pesanan yang dilakukan oleh pelanggan selama periode fitur dikurangi pesanan pertama. x
T Waktu antara pesanan pertama yang dilakukan oleh pelanggan hingga akhir periode fitur. x x
time_between Waktu rata-rata di antara pesanan untuk pelanggan selama periode fitur. x
avg_basket_value Nilai uang rata-rata dari keranjang pelanggan selama periode fitur. x
avg_basket_size Jumlah item yang rata-rata dimiliki pelanggan di keranjang mereka selama periode fitur. x
cnt_returns Jumlah pesanan yang dikembalikan pelanggan selama periode fitur. x
has_returned Apakah pelanggan telah menampilkan setidaknya satu pesanan selama periode fitur. x
frequency_btyd_clipped Sama seperti frequency_btyd, tetapi terpotong oleh pencilan batas. x
monetary_btyd_clipped Sama seperti monetary_btyd, tetapi terpotong oleh pencilan batas. x
target_monetary_clipped Sama seperti target_monetary, tetapi terpotong oleh pencilan batas. x
target_monetary Total jumlah pembelanjaan oleh pelanggan, termasuk periode pelatihan dan target. x

Pemilihan kolom ini dilakukan dalam kode. Untuk model probabilistik, pemilihan dilakukan menggunakan DataFrame Pandas:

df_ft = pd.read_csv(ft_file)

# Extracts relevant dataframes for RFM:
# - summary has aggregated values before the threshold date
# - actual_df has values of the overall period.
summary = df_ft[['customer_id', 'frequency_btyd', 'recency', 'T',
                 'monetary_btyd']]

Untuk model DNN, fitur TensorFlow ditentukan dalam file context.py. Untuk model ini, hal berikut diabaikan sebagai fitur:

  • customer_id. Ini adalah nilai unik yang tidak berguna sebagai fitur.
  • target_monetary. Ini adalah target yang harus diprediksi oleh model, sehingga tidak digunakan sebagai input.

Membuat set pelatihan, evaluasi, dan pengujian untuk DNN

Bagian ini hanya berlaku untuk model DNN. Untuk melatih model ML, Anda harus menggunakan tiga set data yang tidak tumpang-tindih:

  • Set data pelatihan (70–80%) digunakan untuk mempelajari bobot guna mengurangi fungsi kerugian. Pelatihan berlanjut sampai fungsi loss tidak lagi menurun.

  • Set data evaluasi (10–15%) digunakan selama fase pelatihan untuk mencegah overfit, yaitu saat model berperforma baik pada data pelatihan tetapi tidak digeneralisasi dengan baik.

  • Set data pengujian (10–15%) hanya boleh digunakan sekali, setelah semua pelatihan dan evaluasi selesai, untuk melakukan ukuran akhir performa model. Set data ini adalah salah satu yang belum pernah dilihat model selama proses pelatihan, sehingga memberikan ukuran akurasi model yang valid secara statistik.

Kueri berikut membuat set pelatihan dengan sekitar 70% data. Kueri tersebut memisahkan data menggunakan teknik berikut:

  • Hash ID pelanggan dihitung, yang menghasilkan bilangan bulat.
  • Operasi modulo digunakan untuk memilih nilai hash yang berada di bawah batas tertentu.
SELECT
  *
FROM
  `{{ dag_run.conf['project'] }}.{{ dag_run.conf['dataset'] }}.features_n_target`
WHERE
  -- TRAIN
  MOD(ABS(FARM_FINGERPRINT(CAST(customer_id AS STRING))), 100000) <= 70000

Konsep yang sama digunakan untuk set evaluasi dan pengujian, tempat data yang berada di atas ambang batas disimpan.

Pelatihan

Seperti yang terlihat di bagian sebelumnya, Anda dapat menggunakan model yang berbeda untuk mencoba memprediksi CLV. Kode yang digunakan dalam artikel ini dirancang untuk memungkinkan Anda memutuskan model mana yang akan digunakan. Anda memilih model menggunakan parameter model_type yang Anda teruskan ke skrip shell pelatihan berikut. Kode tersebut akan menangani sisanya.

estimator = get_estimator(estimator_name=args.model_type,
                          config=config,
                          params=params,
                          model_dir=model_dir)

Tujuan pertama pelatihan ini adalah agar kedua model dapat mengalahkan tolok ukur yang naif, yang kami tentukan di bawah ini. Jika kedua jenis model dapat mengalahkannya (dan seharusnya), Anda dapat membandingkan performa setiap jenis dengan yang lain.

Membuat tolok ukur model

Untuk tujuan rangkaian ini, benchmark sederhana ditentukan menggunakan parameter berikut:

  • Nilai keranjang rata-rata. Hal ini dihitung pada semua pesanan yang dilakukan sebelum tanggal nilai minimum.
  • Jumlah pesanan. Nilai ini dihitung untuk interval pelatihan pada semua pesanan yang dilakukan sebelum tanggal nilai minimum.
  • Pengganda jumlah. Hal ini dihitung berdasarkan rasio jumlah hari sebelum tanggal nilai minimum dan jumlah hari antara tanggal nilai minimum dan saat ini.

Benchmark secara naif mengasumsikan bahwa tingkat pembelian yang dilakukan oleh pelanggan selama interval pelatihan tetap konstan selama interval target. Jadi, jika pelanggan membeli 6 kali selama 40 hari, asumsinya adalah mereka akan membeli 9 kali selama 60 hari (60/40 * 6 = 9). Mengalikan pengganda jumlah, jumlah pesanan, dan nilai keranjang rata-rata untuk setiap pelanggan akan memberikan prediksi nilai target yang naif untuk pelanggan tersebut.

Error benchmark adalah root mean square error (RMSE): rata-rata di semua pelanggan dari perbedaan absolut antara nilai target yang diprediksi dan nilai target sebenarnya. RMSE dihitung menggunakan kueri berikut di BigQuery:

SELECT
  ROUND(SQRT( SUM(POW(predicted_monetary - target_monetary, 2)) / COUNT(1) ), 2) as rmse
FROM (
  SELECT
    tf.customer_id,
    avg_basket_value * ( cnt_orders * (1 + target_days/feature_days) ) AS predicted_monetary,
    ROUND(tt.target_monetary, 2) AS target_monetary

Benchmark menampilkan RMSE 3760, seperti yang ditunjukkan dalam hasil menjalankan benchmark berikut. Model harus melampaui nilai tersebut.

Hasil benchmark

Model probabilistik

Seperti yang disebutkan di Bagian 1 dalam seri ini, seri ini menggunakan library Python yang disebut Lifetimes yang mendukung berbagai model, termasuk model distribusi binomial Pareto/negatif (NBD) dan BG/NBD beta-geometrik. Kode contoh berikut menunjukkan cara menggunakan library Lifetime untuk melakukan prediksi nilai umur dengan model probabilistik.

paretof = ParetoNBDFitter(penalizer_coef=PENALIZER_COEF)
paretof.fit(summary['frequency'], summary['recency'], summary['T'])
return paretof

Untuk membuat hasil CLV dengan menggunakan model probabilistik di lingkungan lokal, Anda dapat menjalankan skrip mltrain.sh berikut. Anda memberikan parameter untuk tanggal mulai dan akhir pembagian pelatihan dan untuk akhir periode prediksi.

./mltrain.sh local data --model_type paretonbd_model --threshold_date [YOUR_THRESHOLD_DATE] --predict_end [YOUR_END_DATE]

Model DNN

Kode contoh menyertakan implementasi di TensorFlow DNN menggunakan class DNNRegressor Estimator yang sudah dibuat sebelumnya, serta model Estimator khusus. DNNRegressor dan Estimator khusus menggunakan jumlah lapisan dan jumlah neuron yang sama di setiap lapisan. Nilai tersebut adalah hyperparameter yang perlu disesuaikan. Dalam file task.py berikut, Anda dapat menemukan daftar beberapa hyperparameter yang ditetapkan ke nilai yang diuji secara manual dan memberikan hasil yang baik.

TRAIN_SIZE = 100000
NUM_EPOCHS = 70
BATCH_SIZE = 5
NUM_EVAL = 20

LEARNING_DECAY_RATE = 0.7
HIDDEN_UNITS = '128 64 32 16'
LEARNING_RATE = 0.00135
L1_REGULARIZATION = 0.0216647
L2_REGULARIZATION = 0.0673949
DROPOUT = 0.899732
SHUFFLE_BUFFER_SIZE = 10000

Jika menggunakan AI Platform, Anda dapat menggunakan fitur penyesuaian hyperparameter, yang akan melakukan pengujian di berbagai parameter yang Anda tentukan dalam file yaml. AI Platform menggunakan pengoptimalan Bayesian untuk menelusuri ruang hyperparameter.

Hasil perbandingan model

Tabel berikut menunjukkan nilai RMSE untuk setiap model, seperti yang dilatih di set data sampel. Semua model dilatih menggunakan data RFM. Nilai RMSE sedikit berbeda di antara proses, karena inisialisasi parameter acak. Model DNN memanfaatkan fitur tambahan seperti nilai keranjang rata-rata dan jumlah pengembalian.

Model RMSE
DNN 947.9
BG/NBD 1557
Pareto/NBD 1558

Hasil penelitian menunjukkan bahwa pada set data ini, model DNN mengungguli model probabilistik saat memprediksi nilai uang. Namun, ukuran set data UCI yang relatif kecil membatasi validitas statistik hasil ini. Anda harus mencoba setiap teknik di set data Anda untuk melihat mana yang memberikan hasil terbaik. Semua model dilatih menggunakan data asli yang sama (termasuk ID pelanggan, tanggal pesanan, dan nilai pesanan) pada nilai RFM yang diekstrak dari data tersebut. Data pelatihan DNN mencakup beberapa fitur tambahan seperti ukuran keranjang rata-rata dan jumlah pengembalian.

Model DNN hanya menghasilkan nilai uang pelanggan secara keseluruhan. Jika ingin memprediksi frekuensi atau churn, Anda harus melakukan beberapa tugas tambahan:

  • Siapkan data secara berbeda untuk mengubah target dan mungkin tanggal batas.
  • Latih ulang model regresi untuk memprediksi target yang Anda minati.
  • Sesuaikan hyperparameter.

Intentnya di sini adalah untuk melakukan perbandingan fitur input yang sama antara kedua jenis model. Salah satu keuntungan menggunakan DNN adalah Anda dapat meningkatkan hasil dengan menambahkan lebih banyak fitur daripada yang digunakan dalam contoh ini. Dengan DNN, Anda dapat memanfaatkan data dari sumber seperti peristiwa clickstream, profil pengguna, atau fitur produk.

Ucapan terima kasih

Dua, D. dan Karra Taniskidou, E. (2017). Repositori UCI Machine Learning http://archive.ics.uci.edu/ml. Irvine, CA: University of California, School of Information and Computer Science.

Langkah selanjutnya