Prapemrosesan fitur otomatis

BigQuery ML melakukan prapemrosesan otomatis selama pelatihan menggunakan pernyataan CREATE MODEL. Pra-pemrosesan otomatis terdiri dari imputasi nilai yang tidak ada dan transformasi fitur.

Untuk mengetahui informasi tentang dukungan prapemrosesan fitur di BigQuery ML, lihat Ringkasan prapemrosesan fitur.

Untuk mengetahui informasi tentang fungsi dan pernyataan SQL yang didukung untuk setiap jenis model, lihat Perjalanan pengguna menyeluruh untuk setiap model.

Komputasi data tidak ada

Dalam statistik, imputasi digunakan untuk mengganti data yang hilang dengan nilai yang diganti. Saat Anda melatih model di BigQuery ML, nilai NULL dianggap sebagai data yang hilang. Saat Anda memprediksi hasil di BigQuery ML, nilai yang hilang dapat terjadi ketika BigQuery ML menemukan nilai NULL atau nilai yang sebelumnya tidak terlihat. BigQuery ML menangani data yang hilang secara berbeda, berdasarkan jenis data di kolom.

Jenis kolom	Metode imutasi
Angka	Pada pelatihan dan prediksi, nilai `NULL` dalam kolom numerik diganti dengan nilai rata-rata kolom tertentu, seperti yang dihitung oleh kolom fitur dalam data input asli.
Dienkode one-hot/Multi-hot	Dalam pelatihan dan prediksi, nilai `NULL` dalam kolom yang dienkode dipetakan ke kategori tambahan yang ditambahkan ke data. Data yang sebelumnya tidak terlihat diberi bobot 0 selama prediksi.
`TIMESTAMP`	Kolom `TIMESTAMP` menggunakan campuran metode imputasi dari kolom standar dan kolom berenkode one-hot. Untuk kolom waktu Unix yang dihasilkan, BigQuery ML mengganti nilai dengan waktu Unix rata-rata di seluruh kolom asli. Untuk nilai lain yang dihasilkan, BigQuery ML menetapkannya ke kategori `NULL` masing-masing untuk setiap fitur yang diekstrak.
`STRUCT`	Dalam pelatihan dan prediksi, setiap kolom `STRUCT` akan dihitung sesuai dengan jenisnya.

Transformasi fitur

Secara default, BigQuery ML mengubah fitur input sebagai berikut:

Jenis data input	Metode transformasi	Detail
`INT64` `NUMERIC` `BIGNUMERIC` `FLOAT64`	Standardisasi	Untuk sebagian besar model, BigQuery ML menstandarkan dan memusatkan kolom numerik pada nol sebelum meneruskannya ke dalam pelatihan. Pengecualiannya adalah model pohon boost dan model hutan acak, tanpa standardisasi yang terjadi, dan model k-means, dengan opsi `STANDARDIZE_FEATURES` mengontrol apakah fitur numerik distandardisasi atau tidak.
`BOOL` `STRING` `BYTES` `DATE` `DATETIME` `TIME`	Dienkode one-hot	Untuk semua kolom non-numerik dan non-array selain `TIMESTAMP`, BigQuery ML melakukan transformasi encode one-hot untuk semua model selain model pohon yang di-boost dan model hutan acak. Transformasi ini menghasilkan fitur terpisah untuk setiap nilai unik dalam kolom. Transformasi encoding label diterapkan untuk melatih model hutan acak dan pohon yang di-boost untuk mengonversi setiap nilai unik menjadi nilai numerik.
`ARRAY`	Multi-hot dienkode	Untuk semua kolom `ARRAY` non-numerik, BigQuery ML melakukan transformasi encode multi-hot. Transformasi ini menghasilkan fitur terpisah untuk setiap elemen unik dalam `ARRAY`.
`TIMESTAMP`	Transformasi stempel waktu	Saat model regresi linear atau logistik menemukan kolom `TIMESTAMP`, model tersebut akan mengekstrak sekumpulan komponen dari `TIMESTAMP` dan melakukan campuran standardisasi dan encode one-hot pada komponen yang diekstraksi. Untuk komponen waktu Unix dalam detik, BigQuery ML menggunakan standardisasi. Untuk semua komponen lainnya, menggunakan encode one-hot. Untuk mengetahui informasi selengkapnya, lihat tabel transformasi fitur stempel waktu di bawah.
`STRUCT`	Perluasan struktur	Saat menemukan kolom `STRUCT`, BigQuery ML akan memperluas kolom di dalam `STRUCT` untuk membuat satu kolom. Semua kolom `STRUCT` harus diberi nama. `STRUCT` bertingkat tidak diizinkan. Nama kolom setelah perluasan memiliki format `{struct_name}_{field_name}`.
`ARRAY` dari `STRUCT`	Tidak ada transformasi
`ARRAY` dari `NUMERIC`	Tidak ada transformasi

Transformasi fitur `TIMESTAMP`

Tabel berikut menunjukkan komponen yang diekstrak dari kolom TIMESTAMP dan metode transformasi yang sesuai.

`TIMESTAMP` komponen	`processed_input` hasil	Metode transformasi
Waktu Unix dalam detik	`[COLUMN_NAME]`	Standardisasi
Tanggal	`_TS_DOM_[COLUMN_NAME]`	Enkode one-hot
Hari	`_TS_DOW_[COLUMN_NAME]`	Enkode one-hot
Bulan	`_TS_MOY_[COLUMN_NAME]`	Enkode one-hot
Jam	`_TS_HOD_[COLUMN_NAME]`	Enkode one-hot
Menit	`_TS_MOH_[COLUMN_NAME]`	Enkode one-hot
Pekan (pekan dimulai pada hari Minggu)	`_TS_WOY_[COLUMN_NAME]`	Enkode one-hot
Year	`_TS_YEAR_[COLUMN_NAME]`	Enkode one-hot

Encoding fitur kategori

Untuk fitur yang dienkode dengan one-hot, Anda dapat menentukan metode encoding default yang berbeda menggunakan opsi model CATEGORY_ENCODING_METHOD. Untuk model linear tergeneralisasi (GLM), Anda dapat menetapkan CATEGORY_ENCODING_METHOD ke salah satu nilai berikut:

ONE_HOT_ENCODING
DUMMY_ENCODING
LABEL_ENCODING
TARGET_ENCODING

Enkode one-hot

Encode satu kali memetakan setiap kategori yang dimiliki suatu fitur ke fitur binernya sendiri, dengan 0 mewakili tidak adanya fitur dan 1 mewakili kehadiran (dikenal sebagai dummy variabel). Pemetaan ini membuat kolom fitur baru N, dengan N adalah jumlah kategori unik untuk fitur di seluruh tabel pelatihan.

Misalnya, tabel pelatihan Anda memiliki kolom fitur yang disebut fruit dengan kategori Apple, Banana, dan Cranberry, seperti berikut:

Baris	buah
1	Apple
2	Pisang
3	Cranberi

Dalam hal ini, opsi CATEGORY_ENCODING_METHOD='ONE_HOT_ENCODING' akan mengubah tabel ke representasi internal berikut:

Baris	fruit_Apple	fruit_Banana	fruit_Cranberry
1	1	0	0
2	0	1	0
3	0	0	1

Enkode one-hot didukung oleh regresi linear dan logistik serta model pohon yang ditingkatkan.

Contoh encoding

Encoding contoh serupa dengan encode one-hot, yang memungkinkan fitur kategoris diubah menjadi set variabel placeholder. Encoding contoh menggunakan variabel placeholder N-1, bukan variabel placeholder N, untuk mewakili kategori N untuk fitur. Misalnya, jika Anda menetapkan CATEGORY_ENCODING_METHOD ke 'DUMMY_ENCODING' untuk kolom fitur fruit yang sama dengan yang ditampilkan dalam contoh encode one-hot sebelumnya, tabel akan diubah menjadi representasi internal berikut .

Baris	fruit_Apple	fruit_Banana
1	1	0
2	0	1
3	0	0

Kategori dengan kejadian terbanyak dalam set data pelatihan dihapus. Jika beberapa kategori memiliki kemunculan terbanyak, kategori acak dalam kumpulan tersebut akan dihapus.

Set bobot akhir dari ML.WEIGHTS masih menyertakan kategori yang diturunkan, tetapi bobotnya selalu 0.0. Untuk ML.ADVANCED_WEIGHTS, error standar dan nilai p untuk variabel yang dilepas adalah NaN.

Jika warm_start digunakan pada model yang awalnya dilatih dengan 'DUMMY_ENCODING', variabel placeholder yang sama akan dihapus dari jalan pelatihan pertama. Model tidak dapat mengubah metode encoding di antara sesi pelatihan.

Encoding contoh didukung oleh model regresi logistik dan linear.

Encoding label

Encoding label mengubah nilai fitur kategoris menjadi nilai INT64 dalam [0, <number of categories>].

Misalnya, jika Anda memiliki set data buku seperti berikut:

Title	Genre
Buku 1	Fantasi
Buku 2	Memasak
Buku 3	History
Buku 4	Memasak

Nilai yang dienkode pada label mungkin terlihat mirip dengan berikut ini:

Judul	Genre (teks)	Genre (numerik)
Buku 1	Fantasi	1
Buku 2	Memasak	2
Buku 3	History	3
Buku 4	Memasak	2

Kosakata encoding diurutkan sesuai abjad. Nilai dan kategori NULL yang tidak ada dalam kosakata dienkode ke 0.

Encoding label didukung oleh model pohon yang ditingkatkan.

Encoding target

Encoding target menggantikan nilai fitur kategori dengan probabilitas target untuk model klasifikasi, atau dengan nilai target yang diharapkan untuk model regresi.

Fitur yang telah dienkode target mungkin terlihat mirip dengan contoh berikut:

# Classification model
+------------------------+----------------------+
| original value         | target encoded value |
+------------------------+----------------------+
| (category_1, target_1) |     0.5              |
| (category_1, target_2) |     0.5              |
| (category_2, target_1) |     0.0              |
+------------------------+----------------------+

# Regression model
+------------------------+----------------------+
| original value         | target encoded value |
+------------------------+----------------------+
| (category_1, 2)        |     2.5              |
| (category_1, 3)        |     2.5              |
| (category_2, 1)        |     1.5              |
| (category_2, 2)        |     1.5              |
+------------------------+----------------------+

Encoding target didukung oleh model pohon yang ditingkatkan.