Usa la cláusula TRANSFORM de BigQuery ML en la ingeniería de atributos

Organiza tus páginas con colecciones Guarda y categoriza el contenido según tus preferencias.

En este instructivo, se presenta BigQuery ML a los analistas de datos. BigQuery ML permite a los usuarios crear y ejecutar modelos de aprendizaje automático en BigQuery mediante consultas de SQL. También se presenta la ingeniería de atributos mediante el uso de la cláusula TRANSFORM. Con la cláusula TRANSFORM, puedes especificar todo el procesamiento previo durante la creación del modelo. El procesamiento previo se aplica automáticamente durante las fases de predicción y evaluación del aprendizaje automático.

En este instructivo, utilizarás la tabla de muestra de natality para crear un modelo que predice el peso al nacer de un niño según el género, la duración del embarazo y la información demográfica de la madre. La tabla de muestra natality contiene información sobre cada nacimiento en los Estados Unidos durante un período de 40 años.

Objetivos

En este instructivo, usarás las siguientes funciones:

  • BigQuery ML para crear un modelo de regresión lineal con la declaración CREATE MODEL con la cláusula TRANSFORM
  • Las funciones de procesamiento previo ML.FEATURE_CROSS y ML.QUANTILE_BUCKETIZE
  • La función ML.EVALUATE para evaluar el modelo de AA
  • La función ML.PREDICT para hacer predicciones con el modelo de AA

Costos

En este instructivo, se usan los siguientes componentes facturables de Google Cloud:

  • BigQuery
  • BigQuery ML

Para obtener más información sobre los costos de BigQuery, consulta la página de precios de BigQuery.

Antes de comenzar

  1. Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
  2. En la página del selector de proyectos de Google Cloud Console, selecciona o crea un proyecto de Google Cloud.

    Ir al selector de proyectos

  3. Asegúrate de que la facturación esté habilitada para tu proyecto de Cloud. Obtén información sobre cómo verificar si la facturación está habilitada en un proyecto.

  4. En la página del selector de proyectos de Google Cloud Console, selecciona o crea un proyecto de Google Cloud.

    Ir al selector de proyectos

  5. Asegúrate de que la facturación esté habilitada para tu proyecto de Cloud. Obtén información sobre cómo verificar si la facturación está habilitada en un proyecto.

  6. BigQuery se habilita de forma automática en proyectos nuevos. Para activar BigQuery en un proyecto existente, ve a

    Habilita la API de BigQuery.

    Habilita la API

Paso uno: Crea el conjunto de datos

El primer paso es crear un conjunto de datos de BigQuery donde se almacenará tu modelo de AA. Para crear el conjunto de datos, haga lo siguiente:

  1. En la consola de Google Cloud, ve a la página de BigQuery.

    Ir a la página de BigQuery

  2. En el panel de navegación, en la sección Recursos, haz clic en el nombre de tu proyecto.

  3. En el panel de detalles a la derecha, haz clic en Crear conjunto de datos (Create dataset).

    Crea un conjunto de datos.

  4. En la página Crear conjunto de datos, sigue estos pasos:

    • En ID del conjunto de datos, ingresa bqml_tutorial.
    • En Ubicación de los datos, elige Estados Unidos (EE.UU.). Actualmente, los conjuntos de datos públicos se almacenan en la ubicación multirregional US. Para que sea más simple, debes colocar tu conjunto de datos en la misma ubicación.

      Crea la página de conjunto de datos.

  5. Usa los valores predeterminados para el resto de la configuración y haz clic en Crear conjunto de datos.

Paso dos: Crea tu modelo

A continuación, debes crear un modelo de regresión lineal con la tabla de muestra de natalidad para BigQuery. Con la siguiente consulta de SQL estándar se crea el modelo que debes usar para predecir el peso de un recién nacido.

#standardSQL
CREATE MODEL `bqml_tutorial.natality_model`
TRANSFORM(weight_pounds,
    is_male,
    gestation_weeks,
    ML.QUANTILE_BUCKETIZE(mother_age,
      5) OVER() AS bucketized_mother_age,
    CAST(mother_race AS string) AS mother_race,
    ML.FEATURE_CROSS(STRUCT(is_male,
        CAST(mother_race AS STRING) AS mother_race)) is_male_mother_race)
OPTIONS
  (model_type='linear_reg',
    input_label_cols=['weight_pounds']) AS
SELECT
  *
FROM
  `bigquery-public-data.samples.natality`
WHERE
  weight_pounds IS NOT NULL
  AND RAND() < 0.001

Además de crear el modelo, ejecutar el comando CREATE MODEL entrena el modelo que creas.

Detalles de la consulta

La cláusula CREATE MODEL se usa para crear y entrenar el modelo llamado bqml_tutorial.natality_model.

La cláusula OPTIONS(model_type='linear_reg', input_label_cols=['weight_pounds']) indica que estás creando un modelo de regresión lineal. Una regresión lineal es un tipo de modelo de regresión que genera un valor continuo a partir de una combinación lineal de atributos de entrada. La columna weight_pounds es la columna de la etiqueta de entrada. Para los modelos de regresión lineal, la columna de la etiqueta debe tener un valor real (es decir, los valores de la columna deben ser números reales).

La cláusula TRANSFORM de esta consulta utiliza las siguientes columnas de la declaración SELECT:

  • weight_pounds: es el peso, en libras, del niño (FLOAT64).
  • is_male: es el sexo del niño. VERDADERO si el niño es hombre, FALSO si es mujer (BOOL).
  • gestation_weeks: es la cantidad de semanas de embarazo (INT64).
  • mother_age: es la edad de la madre al dar a luz (INT64).
  • mother_race: es el origen étnico de la madre (INT64). Este número entero es el mismo que el valor child_race en el esquema de la tabla. Para obligar a BigQuery ML a tratar mother_race como un atributo no numérico, con cada valor distinto que representa una categoría diferente, la consulta convierte mother_race en una STRING. Esto es importante porque es más probable que el origen étnico tenga más significado como categoría que un número entero, que tiene orden y escala.

Mediante la cláusula TRANSFORM, los atributos originales se procesan antes para alimentar en el entrenamiento. Estas son las columnas generadas:

  • weight_pounds: se aplicó como está, sin ningún cambio.
  • is_male: se aplicó al feed en el entrenamiento.
  • gestation_weeks: se aplicó al feed en el entrenamiento.
  • bucketized_mother_age: se genera a partir de mother_age mediante el agrupamiento mother_age basado en cuantiles con la función analítica ML.QUANTILE_BUCKETIZE().
  • mother_race: formato de string del mother_race original.
  • is_male_mother_race: generado al cruzar is_male y mother_race mediante el uso de la función ML.FEATURE_CROSS.

La declaración SELECT de la consulta proporciona las columnas que puedes usar en la cláusula TRANSFORM. Sin embargo, no necesitas usar todas las columnas en la cláusula TRANSFORM. Como resultado, puedes hacer tanto la selección de atributos como el preprocesamiento dentro de la cláusula TRANSFORM.

La cláusula FROM (bigquery-public-data.samples.natality) indica que estás consultando la tabla de muestra de natalidad en el conjunto de datos de muestras. Este conjunto de datos está en el proyecto bigquery-public-data.

La WHERE (WHERE weight_pounds IS NOT NULL AND RAND() < 0.001) excluye las filas donde el peso es NULL y usa la función RAND para dibujar una muestra aleatoria de los datos.

Ejecuta la consulta CREATE MODEL

A fin de ejecutar la consulta CREATE MODEL para crear y entrenar tu modelo, sigue estos pasos:

  1. En la consola de Google Cloud, haz clic en el botón Redactar consulta nueva.

  2. Ingrese la siguiente consulta en SQL estándar en el área de texto del Editor de consultas.

    #standardSQL
    CREATE MODEL `bqml_tutorial.natality_model`
    TRANSFORM(weight_pounds,
        is_male,
        gestation_weeks,
        ML.QUANTILE_BUCKETIZE(mother_age,
          5) OVER() AS bucketized_mother_age,
        CAST(mother_race AS string) AS mother_race,
        ML.FEATURE_CROSS(STRUCT(is_male,
            CAST(mother_race AS STRING) AS mother_race)) is_male_mother_race)
    OPTIONS
      (model_type='linear_reg',
        input_label_cols=['weight_pounds']) AS
    SELECT
      *
    FROM
      `bigquery-public-data.samples.natality`
    WHERE
      weight_pounds IS NOT NULL
      AND RAND() < 0.001
    
  3. Haga clic en Ejecutar.

    La consulta toma unos 30 segundos en completarse, después de lo cual tu modelo (natality_model) aparece en el panel de navegación. Debido a que la consulta usa una declaración CREATE MODEL para crear una tabla, no se muestran los resultados.

Paso tres: obtén estadísticas de entrenamiento (opcional)

Para ver los resultados del entrenamiento de modelos, puedes usar la función ML.TRAINING_INFO o puedes ver las estadísticas en la consola de Google Cloud En este instructivo, usarás la consola de Google Cloud.

Un algoritmo de aprendizaje automático examina muchos ejemplos y trata de encontrar un modelo que minimice la pérdida. Este proceso se llama minimización del riesgo empírico.

La pérdida es la penalización de una mala predicción, un número que indica qué tan mala fue la predicción del modelo en un ejemplo individual. Si la predicción del modelo es perfecta, la pérdida es cero; de lo contrario, es mayor. El objetivo de entrenar a un modelo es encontrar un conjunto de pesos y ordenadas al origen que tengan, en promedio, una pérdida baja en todos los ejemplos.

Para ver las estadísticas de entrenamiento de modelos que se generaron cuando ejecutaste la consulta CREATE MODEL, sigue estos pasos:

  1. En el panel de navegación de la consola de Google Cloud, en la sección Recursos, expande project-name > bqml_tutorial y, luego, haz clic en natality_model{/1.

  2. Haz clic en la pestaña Entrenamiento y en Ver como, selecciona la opción Tabla. Los resultados deberían verse de la siguiente manera:

    Resultado de ML.TRAINING_INFO

    La columna Training Data Loss (Pérdida de datos de entrenamiento) representa la métrica de pérdida calculada después de que se entrena el modelo en el conjunto de datos de entrenamiento. Debido a que realizaste una regresión lineal, esta columna es el error cuadrático medio.

    La columna Pérdida de datos de evaluación (Evaluation Data Loss) es la misma métrica de pérdida calculada en el conjunto de datos de exclusión (datos que se usan a fin de validar el modelo y, por lo tanto, no se incluyen en el entrenamiento). La estrategia de optimización predeterminada utilizada para el entrenamiento es "normal_equation", por lo que solo se requiere una iteración con el fin de converger al modelo final.

    Para obtener más información sobre la opción optimize_strategy, consulta la declaración CREATE MODEL.

    Para obtener más información sobre la función ML.TRAINING_INFO y la opción de entrenamiento "optimize_strategy", consulta la referencia de sintaxis de BigQuery ML.

Paso cuatro: Evalúa tu modelo

Después de crear tu modelo, evalúa el rendimiento del clasificador mediante la función ML.EVALUATE. La función ML.EVALUATE evalúa los valores previstos frente a los datos reales.

La consulta que se usa para evaluar el modelo es la siguiente:

#standardSQL
SELECT
  *
FROM
  ML.EVALUATE(MODEL `bqml_tutorial.natality_model`,
    (
    SELECT
      *
    FROM
      `bigquery-public-data.samples.natality`
    WHERE
      weight_pounds IS NOT NULL))

Detalles de la consulta

La declaración SELECT superior recupera las columnas de su modelo.

La cláusula FROM usa la función ML.EVALUATE en tu modelo: bqml_tutorial.natality_model.

La declaración SELECT anidada de esta consulta y la cláusula FROM son las mismas que las de la consulta CREATE MODEL. Debido a que la cláusula TRANSFORM se usa en el entrenamiento, no es necesario especificar las transformaciones ni las columnas específicas. Se restablecen automáticamente.

La cláusula WHERE (WHERE weight_pounds IS NOT NULL) excluye las filas en las que peso es NULL.

#standardSQL
SELECT
  *
FROM
  ML.EVALUATE(MODEL `bqml_tutorial.natality_model`)

Ejecuta la consulta ML.EVALUATE

Para ejecutar la consulta ML.EVALUATE que evalúa el modelo, completa los siguientes pasos:

  1. En la consola de Google Cloud, haz clic en el botón Redactar consulta nueva.

  2. Ingrese la siguiente consulta en SQL estándar en el área de texto del Editor de consultas.

    #standardSQL
    SELECT
      *
    FROM
      ML.EVALUATE(MODEL `bqml_tutorial.natality_model`,
        (
        SELECT
          *
        FROM
          `bigquery-public-data.samples.natality`
        WHERE
          weight_pounds IS NOT NULL))
    
  3. Para establecer la ubicación de procesamiento, en la lista desplegable More (Más), haz clic en Query settings (Configuración de consulta) (opcional). En Processing location (Ubicación de procesamiento), selecciona United States (US) (Estados Unidos [EE.UU]). Este paso es opcional porque la ubicación de procesamiento se detecta automáticamente en función de la ubicación del conjunto de datos.

    Configuración de consulta

  4. Haga clic en Ejecutar.

  5. Cuando la consulta finalice, haz clic en la pestaña Results (Resultados) debajo del área de texto de la consulta. Los resultados deberían verse de la siguiente manera:

    Resultado de ML.EVALUATE

    Debido a que realizaste una regresión lineal, los resultados incluyen las siguientes columnas:

    • mean_absolute_error
    • mean_squared_error
    • mean_squared_log_error
    • median_absolute_error
    • r2_score
    • explained_variance

Una métrica importante en los resultados de la evaluación es la puntuación R2. La puntuación R2 es una medida estadística que determina si las predicciones de regresión lineal se aproximan a los datos reales. Un valor 0 indica que el modelo no explica nada de la variabilidad de los datos de respuesta alrededor de la media. Un valor 1 indica que el modelo explica toda la variabilidad de los datos de respuesta alrededor de la media.

Paso cinco: Usa tu modelo para predecir resultados

Ahora que ya evaluaste tu modelo, el siguiente paso es usarlo para predecir un resultado. Puedes usar tu modelo para predecir el peso al nacer de todos los bebés nacidos en Wyoming.

Esta es la consulta usada para predecir el resultado:

#standardSQL
SELECT
  predicted_weight_pounds
FROM
  ML.PREDICT(MODEL `bqml_tutorial.natality_model`,
    (
    SELECT
      *
    FROM
      `bigquery-public-data.samples.natality`
    WHERE
      state = "WY"))

Detalles de la consulta

La primera declaración SELECT recupera la columna predicted_weight_pounds. Esta columna se genera mediante la función ML.PREDICT. Cuando se usa la función ML.PREDICT, el nombre de la columna de salida para el modelo es predicted_label_column_name. Para los modelos de regresión lineal, predicted_label es el valor estimado de label. Para los modelos de regresión logística, predicted_label es una de las dos etiquetas de entrada, según la etiqueta que tenga la mayor probabilidad prevista.

La función ML.PREDICT se usa para predecir resultados con tu modelo: bqml_tutorial.natality_model.

La declaración SELECT anidada de esta consulta y la cláusula FROM son las mismas que las de la consulta CREATE MODEL. Ten en cuenta que no necesariamente debes pasar todas las columnas como en el entrenamiento, y solo se requieren las que se usan en la cláusula TRANSFORM. De manera similar a ML.EVALUATE, las transformaciones dentro de TRANSFORM se restablecen automáticamente.

La cláusula WHERE (WHERE state = "WY") indica que estás limitando la predicción al estado de Wyoming.

Ejecuta la consulta ML.PREDICT

Para ejecutar la consulta que usa el modelo a fin de predecir un resultado, haga lo siguiente:

  1. En la consola de Google Cloud, haz clic en el botón Redactar consulta nueva.

  2. Ingrese la siguiente consulta en SQL estándar en el área de texto del Editor de consultas.

    #standardSQL
    SELECT
      predicted_weight_pounds
    FROM
      ML.PREDICT(MODEL `bqml_tutorial.natality_model`,
        (
        SELECT
          *
        FROM
          `bigquery-public-data.samples.natality`
        WHERE
          state = "WY"))
    
  3. Para establecer la ubicación de procesamiento, en la lista desplegable More (Más), haz clic en Query settings (Configuración de consulta) (opcional). En Processing location (Ubicación de procesamiento), selecciona United States (US) (Estados Unidos [EE.UU]). Este paso es opcional porque la ubicación de procesamiento se detecta automáticamente en función de la ubicación del conjunto de datos.

    Configuración de consulta

  4. Haga clic en Ejecutar.

  5. Cuando la consulta finalice, haz clic en la pestaña Results (Resultados) debajo del área de texto de la consulta. Los resultados deberían verse de la siguiente manera:

    Resultado de ML.PREDICT

Realiza una limpieza

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

  • Puedes borrar el proyecto que creaste.
  • De lo contrario, puede mantener el proyecto y borrar el conjunto de datos.

Borre el conjunto de datos

Borrar tu proyecto quita todos sus conjuntos de datos y tablas. Si prefieres volver a usar el proyecto, puedes borrar el conjunto de datos que creaste en este instructivo:

  1. Si es necesario, abre la página de BigQuery en la consola de Google Cloud.

    Ir a la página de BigQuery

  2. En el panel de navegación, haz clic en el conjunto de datos bqml_tutorial que creaste.

  3. En el lado derecho de la ventana, haz clic en Borrar conjunto de datos. Esta acción borra el conjunto de datos, la tabla y todos los datos.

  4. En el cuadro de diálogo Borrar conjunto de datos, ingresa el nombre del conjunto de datos (bqml_tutorial) y, luego, haz clic en Borrar para confirmar el comando de borrado.

Borra tu proyecto

Para borrar el proyecto, haz lo siguiente:

  1. En la consola de Google Cloud, ve a la página Administrar recursos.

    Ir a Administrar recursos

  2. En la lista de proyectos, elige el proyecto que quieres borrar y haz clic en Borrar.
  3. En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrar el proyecto.

¿Qué sigue?