Pra-pemrosesan fitur manual

Anda dapat menggunakan klausa TRANSFORM dari pernyataan CREATE MODEL bersama dengan fungsi pra-pemrosesan manual untuk menentukan pra-pemrosesan data kustom. Anda juga dapat menggunakan fungsi pra-pemrosesan manual ini di luar klausa TRANSFORM.

Jika ingin memisahkan prapemrosesan data dari pelatihan model, Anda dapat membuat model khusus transformasi yang hanya melakukan transformasi data menggunakan klausa TRANSFORM.

Anda dapat menggunakan fungsi ML.TRANSFORM untuk meningkatkan transparansi pra-pemrosesan fitur. Fungsi ini memungkinkan Anda menampilkan data yang telah diproses sebelumnya dari klausa TRANSFORM model, sehingga Anda dapat melihat data pelatihan sebenarnya yang masuk ke pelatihan model, serta data prediksi sebenarnya yang masuk ke penayangan model.

Untuk mengetahui informasi tentang dukungan pra-pemrosesan fitur di BigQuery ML, lihat Ringkasan pra-pemrosesan fitur.

Untuk mengetahui informasi tentang pernyataan dan fungsi SQL yang didukung untuk setiap jenis model, lihat Perjalanan pengguna menyeluruh untuk setiap model.

Jenis fungsi pra-pemrosesan

Ada beberapa jenis fungsi pra-pemrosesan manual:

• Fungsi skalar beroperasi pada satu baris. Contohnya, ML.BUCKETIZE.
• Fungsi bernilai tabel beroperasi di semua baris dan menghasilkan tabel. Contohnya, ML.FEATURES_AT_TIME.

• Fungsi analisis beroperasi di semua baris, dan menampilkan hasilnya untuk setiap baris berdasarkan statistik yang dikumpulkan di semua baris. Contohnya, ML.QUANTILE_BUCKETIZE.

  Anda harus selalu menggunakan klausa OVER() kosong dengan fungsi analisis ML.

  Saat Anda menggunakan fungsi analisis ML di dalam klausa TRANSFORM selama pelatihan, statistik yang sama akan otomatis diterapkan pada input dalam prediksi.

Bagian berikut menjelaskan fungsi pra-pemrosesan yang tersedia.

Fungsi umum

Gunakan fungsi berikut pada string atau ekspresi numerik untuk membersihkan data:

• ML.IMPUTER

Fungsi numerik

Gunakan fungsi berikut pada ekspresi numerik untuk regularisasi data:

• ML.BUCKETIZE
• ML.MAX_ABS_SCALER
• ML.MIN_MAX_SCALER
• ML.NORMALIZER
• ML.POLYNOMIAL_EXPAND
• ML.QUANTILE_BUCKETIZE
• ML.ROBUST_SCALER
• ML.STANDARD_SCALER

Fungsi kategoris

Gunakan fungsi berikut pada data kategori:

• ML.FEATURE_CROSS
• ML.HASH_BUCKETIZE
• ML.LABEL_ENCODER
• ML.MULTI_HOT_ENCODER
• ML.ONE_HOT_ENCODER

Fungsi teks

Gunakan fungsi berikut pada ekspresi string teks:

• ML.NGRAMS
• ML.BAG_OF_WORDS
• ML.TF_IDF

Fungsi gambar

Gunakan fungsi berikut pada data gambar:

• ML.CONVERT_COLOR_SPACE
• ML.CONVERT_IMAGE_TYPE
• ML.DECODE_IMAGE
• ML.RESIZE_IMAGE

Batasan umum

• BigQuery ML mendukung pra-pemrosesan otomatis dan pra-pemrosesan manual di ekspor model. Lihat jenis data yang didukung dan fungsi untuk mengekspor model yang dilatih dengan klausa TRANSFORM BigQuery ML.