Procesamiento previo manual de atributos

Puedes usar la cláusula TRANSFORM de la declaración CREATE MODEL en combinación con las funciones de procesamiento previo manual para definir el procesamiento previo de los datos personalizados. También puedes usar estas funciones de procesamiento previo manual fuera de la cláusula TRANSFORM.

Si deseas separar el procesamiento previo de datos de entrenamiento de modelos, puedes crear un modelo de solo transformación que solo realice transformaciones de datos mediante la cláusula TRANSFORM.

Puedes usar la función ML.TRANSFORM para aumentar la transparencia del procesamiento previo de atributos. Esta función te permite mostrar los datos procesados previamente desde la cláusula TRANSFORM de un modelo para que puedas ver los datos de entrenamiento reales que se incluyen en el entrenamiento del modelo, así como los datos de predicción reales que en la entrega del modelo.

Para obtener información sobre la compatibilidad de procesamiento previo de atributos en BigQuery ML, consulta Descripción general del procesamiento previo de atributos.

A fin de obtener información sobre las instrucciones y funciones de SQL compatibles para cada tipo de modelo, consulta Recorrido del usuario de extremo a extremo para cada modelo.

Tipos de funciones de procesamiento previo

Existen varios tipos de funciones de procesamiento previo manual:

• Las funciones escalares operan en una sola fila. Por ejemplo, ML.BUCKETIZE.
• Las funciones con valores de tabla operan en todas las filas y generan una tabla. Por ejemplo, ML.FEATURES_AT_TIME.

• Las funciones analíticas operan en todas las filas y generan el resultado para cada fila según las estadísticas recopiladas en todas las filas. Por ejemplo, ML.QUANTILE_BUCKETIZE.

  Siempre debes usar una cláusula OVER() vacía con funciones analíticas de AA.

  Cuando usas funciones analíticas de AA dentro de la cláusula TRANSFORM durante el entrenamiento, las mismas estadísticas se aplican de forma automática a la entrada en la predicción.

En las siguientes secciones, se describen las funciones de procesamiento previo disponibles.

Funciones generales

Usa la siguiente función en expresiones numéricas o de cadena para realizar una limpieza de datos:

• ML.IMPUTER

Funciones numéricas

Usa las siguientes funciones en expresiones numéricas para regular datos:

• ML.BUCKETIZE
• ML.MAX_ABS_SCALER
• ML.MIN_MAX_SCALER
• ML.NORMALIZER
• ML.POLYNOMIAL_EXPAND
• ML.QUANTILE_BUCKETIZE
• ML.ROBUST_SCALER
• ML.STANDARD_SCALER

Funciones categóricas

Usa las siguientes funciones para categorizar datos:

• ML.FEATURE_CROSS
• ML.HASH_BUCKETIZE
• ML.LABEL_ENCODER
• ML.MULTI_HOT_ENCODER
• ML.ONE_HOT_ENCODER

Funciones de texto

Usa las siguientes funciones en las expresiones de cadena de texto:

• ML.NGRAMS
• ML.BAG_OF_WORDS
• ML.TF_IDF

Funciones de imágenes

Usa las siguientes funciones en datos de imágenes:

• ML.CONVERT_COLOR_SPACE
• ML.CONVERT_IMAGE_TYPE
• ML.DECODE_IMAGE
• ML.RESIZE_IMAGE

Limitaciones conocidas

• BigQuery ML admite el procesamiento previo automático y el manual en la exportación del modelo. Consulta los tipos de datos compatibles y las funciones para exportar modelos entrenados con la cláusula TRANSFORM de BigQuery ML.