ML.ONE_HOT_ENCODER 函数

本文档介绍了 ML.ONE_HOT_ENCODER 函数,该函数可让您使用独热虚拟编码方案对字符串表达式进行编码。

编码词汇表按字母顺序排列。NULL 值和词汇表中不包含的类别均使用 index0 编码。如果您使用虚拟编码,则舍弃的类别使用为 0value 编码。

TRANSFORM 子句中使用时,训练期间计算的词汇表和舍弃类别值,以及您指定的前 k 值和频率阈值将自动用于预测。

语法

ML.ONE_HOT_ENCODER(string_expression [, drop] [, top_k] [, frequency_threshold]) OVER()

参数

ML.ONE_HOT_ENCODER 采用以下参数:

  • string_expression:要编码的 STRING 表达式。
  • drop:指定函数是否舍弃类别的 STRING 值。有效值如下所示:
    • none:保留所有类别。此设置为默认值。
    • most_frequent:舍弃字符串表达式中最常见的类别。选择此值会使函数使用虚拟编码。
  • top_k:指定编码词汇表中包含的类别数量的 INT64 值。函数选择数据中 top_k 个最常见的类别,并使用这些类别;此阈值以下的类别编码为 0。此值必须小于 1,000,000,以避免因维度过高而导致问题。默认值为 32,000
  • frequency_threshold:根据类别频率限制编码词汇表中包含的类别的 INT64 值。函数使用频率大于或等于 frequency_threshold 的类别;低于此阈值的类别编码为 0。默认值为 5

输出

ML.ONE_HOT_ENCODERARRAY<STRUCT<INT64, FLOAT64>> 格式返回一个结构体值数组。结构体中的第一个元素提供编码字符串表达式的索引,第二个元素提供编码字符串表达式的值。

示例

以下示例对一组字符串表达式执行虚拟编码。它将编码词汇表限制为数据中出现次数最多的十个类别,以及出现零次或更多次的类别。

SELECT f, ML.ONE_HOT_ENCODER(f, 'most_frequent', 10, 0) OVER () AS output
FROM UNNEST([NULL, 'a', 'b', 'b', 'c', 'c', 'c', 'd', 'd']) AS f
ORDER BY f;

输出