Procesamiento previo manual de atributos
Puedes usar la cláusula TRANSFORM
de la declaración CREATE MODEL
en combinación con las funciones de procesamiento previo manual para definir el procesamiento previo de los datos personalizados. También puedes usar estas funciones de procesamiento previo manual fuera de la cláusula TRANSFORM
.
Si deseas separar el procesamiento previo de datos de entrenamiento de modelos, puedes crear un modelo de solo transformación que solo realice transformaciones de datos mediante la cláusula TRANSFORM
.
Puedes usar la función ML.TRANSFORM
para aumentar la transparencia del procesamiento previo de atributos. Esta función te permite mostrar los datos procesados previamente desde la cláusula TRANSFORM
de un modelo para que puedas ver los datos de entrenamiento reales que se incluyen en el entrenamiento del modelo, así como los datos de predicción reales que en la entrega del modelo.
Para obtener información sobre la compatibilidad de procesamiento previo de atributos en BigQuery ML, consulta Descripción general del procesamiento previo de atributos.
A fin de obtener información sobre las instrucciones y funciones de SQL compatibles para cada tipo de modelo, consulta Recorrido del usuario de extremo a extremo para cada modelo.
Tipos de funciones de procesamiento previo
Existen varios tipos de funciones de procesamiento previo manual:
- Las funciones escalares operan en una sola fila. Por ejemplo,
ML.BUCKETIZE
. - Las funciones con valores de tabla operan en todas las filas y generan una tabla. Por ejemplo,
ML.FEATURES_AT_TIME
. Las funciones analíticas operan en todas las filas y generan el resultado para cada fila según las estadísticas recopiladas en todas las filas. Por ejemplo,
ML.QUANTILE_BUCKETIZE
.Siempre debes usar una cláusula
OVER()
vacía con funciones analíticas de AA.Cuando usas funciones analíticas de AA dentro de la cláusula
TRANSFORM
durante el entrenamiento, las mismas estadísticas se aplican de forma automática a la entrada en la predicción.
En las siguientes secciones, se describen las funciones de procesamiento previo disponibles.
Funciones generales
Usa la siguiente función en expresiones numéricas o de cadena para realizar una limpieza de datos:
Funciones numéricas
Usa las siguientes funciones en expresiones numéricas para regular datos:
ML.BUCKETIZE
ML.MAX_ABS_SCALER
ML.MIN_MAX_SCALER
ML.NORMALIZER
ML.POLYNOMIAL_EXPAND
ML.QUANTILE_BUCKETIZE
ML.ROBUST_SCALER
ML.STANDARD_SCALER
Funciones categóricas
Usa las siguientes funciones para categorizar datos:
Funciones de texto
Usa las siguientes funciones en las expresiones de cadena de texto:
Funciones de imágenes
Usa las siguientes funciones en datos de imágenes:
Limitaciones conocidas
- BigQuery ML admite el procesamiento previo automático y el manual
en la exportación del modelo. Consulta
los tipos de datos compatibles
y las funciones
para exportar modelos entrenados con la
cláusula
TRANSFORM
de BigQuery ML.