Obtén estadísticas de datos a partir de un modelo de análisis de contribuciones con una métrica sumatoria

Vista previa

Este producto o función está sujeto a las "Condiciones de las Ofertas de Fase Previa a la DG" de la sección Condiciones Generales del Servicio de las Condiciones específicas del Servicio. Los productos y las funciones que se encuentran en la fase previa a la DG están disponibles “tal cual” y podrían tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Nota: Para enviar comentarios o solicitar asistencia sobre esta función, comunícate con [e-mail].

En este instructivo, usarás un modelo de análisis de contribución para analizar los cambios en las tarifas de los taxis entre 2011 y 2012 en la ciudad de Nueva York. En este instructivo, se te guiará por las siguientes tareas:

• Crear una tabla de entrada basada en datos de taxis disponibles públicamente.
• Crear un modelo de análisis de contribución que use una métrica sumatoria. Este tipo de modelo resume una métrica determinada para una combinación de una o más dimensiones en los datos, para determinar cómo esas dimensiones contribuyen al valor de la métrica.
• Obtén las estadísticas de las métricas del modelo con la función ML.GET_INSIGHTS.

Antes de comenzar este instructivo, debes familiarizarte con el caso de uso de análisis de contribuciones.

Permisos necesarios

• Para crear el conjunto de datos, necesitas el permiso bigquery.datasets.create de Identity and Access Management (IAM).

• Para crear el modelo, necesitas los siguientes permisos:

  • bigquery.jobs.create
  • bigquery.models.create
  • bigquery.models.getData
  • bigquery.models.updateData

• Para ejecutar inferencias, necesitas los siguientes permisos:

  • bigquery.models.getData
  • bigquery.jobs.create

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

• BigQuery ML: You incur costs for the data that you process in BigQuery.

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Para obtener más información sobre los precios de BigQuery, consulta Precios de BigQuery en la documentación de BigQuery.

Antes de comenzar

1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

2. Make sure that billing is enabled for your Google Cloud project.

3. Enable the BigQuery API.

   Enable the API

Crea un conjunto de datos

Crea un conjunto de datos de BigQuery para almacenar tu modelo de AA:

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Ir a la página de BigQuery

2. En el panel Explorador, haz clic en el nombre de tu proyecto.

3. Haz clic en Ver acciones > Crear conjunto de datos.

   

4. En la página Crear conjunto de datos, haz lo siguiente:

   • En ID del conjunto de datos, ingresa bqml_tutorial.

   • En Tipo de ubicación, selecciona Multirregión y, luego, EE.UU. (varias regiones en Estados Unidos).

     Los conjuntos de datos públicos se almacenan en la multirregión US. Para que sea más simple, almacena tu conjunto de datos en la misma ubicación.

   • Deja la configuración predeterminada restante como está y haz clic en Crear conjunto de datos.

     

Crea una tabla de datos de entrada

Crea una tabla que contenga datos de prueba y control para analizar. La siguiente consulta crea dos tablas intermedias, una tabla de prueba con datos de taxis de 2012 y una tabla de control con datos de taxis de 2011, y luego realiza una unión de las tablas intermedias para crear una tabla con filas de prueba y de control, y el mismo conjunto de columnas.

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Ir a BigQuery

2. En el editor de consultas, ejecuta la siguiente declaración:

   CREATE OR REPLACE TABLE bqml_tutorial.taxi_control_and_test
   AS (
     SELECT
       vendor_id,
       passenger_count,
       payment_type,
       pickup_location_id,
       EXTRACT(MONTH FROM pickup_datetime) AS month,
       AVG(total_amount) AS avg_total_fare,
       FALSE AS is_test
     FROM `bigquery-public-data.new_york_taxi_trips.tlc_yellow_trips_2011`
     WHERE total_amount > 0
     GROUP BY vendor_id, passenger_count, payment_type, pickup_location_id, month, is_test
   )
   UNION ALL
   (
     SELECT
       vendor_id,
       passenger_count,
       payment_type,
       pickup_location_id,
       EXTRACT(MONTH FROM pickup_datetime) AS month,
       AVG(total_amount) AS avg_total_fare,
       TRUE AS is_test
     FROM `bigquery-public-data.new_york_taxi_trips.tlc_yellow_trips_2012`
     WHERE total_amount > 0
     GROUP BY vendor_id, passenger_count, payment_type, pickup_location_id, month, is_test
   );

Crea el modelo

Crea un modelo de análisis de contribuciones:

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Ir a BigQuery

2. En el editor de consultas, ejecuta la siguiente declaración:

   CREATE OR REPLACE MODEL `bqml_tutorial.taxi_contribution_analysis_model`
     OPTIONS (
       MODEL_TYPE = 'CONTRIBUTION_ANALYSIS',
       CONTRIBUTION_METRIC = 'SUM(avg_total_fare)',
       DIMENSION_ID_COLS =
         ['vendor_id', 'passenger_count', 'pickup_location_id', 'payment_type', 'month'],
       IS_TEST_COL = 'is_test',
       MIN_APRIORI_SUPPORT = 0.05)
   AS
   SELECT * FROM bqml_tutorial.taxi_control_and_test;

La consulta tarda 20 segundos en completarse, después de eso, el modelo taxi_contribution_analysis_model aparece en el conjunto de datos bqml_tutorial en el panel Explorador. Debido a que la consulta usa una declaración CREATE MODEL para crear un modelo, no hay resultados de consultas.

Obtén estadísticas del modelo

Obtén estadísticas generadas por el modelo de análisis de contribuciones con la función ML.GET_INSIGHTS.

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Ir a BigQuery

2. En el editor de consultas, ejecuta la siguiente declaración:

   SELECT
     *
   FROM
     ML.GET_INSIGHTS(
       MODEL `bqml_tutorial.taxi_contribution_analysis_model`)
   ORDER BY unexpected_difference DESC;

   Las primeras filas del resultado deberían ser similares a las siguientes:

   +----------------------------------+-----------+-----------------+--------------+--------------------+-------+-------------------+------------------+------------------+---------------------+-----------------------+--------------------------------+-----------------+
   |           contributors           | vendor_id | passenger_count | payment_type | pickup_location_id | month |    metric_test    |  metric_control  |    difference    | relative_difference | unexpected_difference | relative_unexpected_difference | apriori_support |
   +----------------------------------+-----------+-----------------+--------------+--------------------+-------+-------------------+------------------+------------------+---------------------+-----------------------+--------------------------------+-----------------+
   | ["all"]                          | NULL      |            NULL | NULL         | NULL               |  NULL | 1305121.630946658 | 983978.603443601 | 321143.027503057 |         0.326371962 |      321143.027503057 |                    0.326371962 |               1 |
   | ["payment_type=5","vendor_id=2"] | 2         |            NULL | 5            | NULL               |  NULL |    82996.99307095 |                0 |   82996.99307095 |                NULL |        82996.99307095 |                           NULL |     0.063593301 |
   | ["payment_type=5"]               | NULL      |            NULL | 5            | NULL               |  NULL |    82996.99307095 |           138.26 |   82858.73307095 |       599.296492629 |       82825.246757081 |                  482.253417818 |     0.063593301 |
   | ["payment_type=3","vendor_id=1"] | 1         |            NULL | 3            | NULL               |  NULL |   82167.169133767 |                0 |  82167.169133767 |                NULL |       82167.169133767 |                           NULL |      0.06295748 |
   | ["payment_type=3"]               | NULL      |            NULL | 3            | NULL               |  NULL |   82167.169133767 |                0 |  82167.169133767 |                NULL |       82167.169133767 |                           NULL |      0.06295748 |
   | ["payment_type=4","vendor_id=1"] | 1         |            NULL | 4            | NULL               |  NULL |   67418.589902631 |                0 |  67418.589902631 |                NULL |       67418.589902631 |                           NULL |      0.05165694 |
   +----------------------------------+-----------+-----------------+--------------+--------------------+-------+-------------------+------------------+------------------+---------------------+-----------------------+--------------------------------+-----------------+
   

   Debido a que realizaste un análisis de contribución en una métrica sumatoria, los resultados contienen las columnas de resultados de la métrica sumatoria.

Realiza una limpieza

Precaución: Borrar un proyecto tiene las siguientes consecuencias:

• Se borra todo en el proyecto. Si usaste un proyecto existente para las tareas de este documento, cuando lo borres, también se borrará cualquier otro trabajo que hayas realizado en el proyecto.
• Se pierden los ID personalizados de proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID del proyecto personalizado que desees utilizar en el futuro. Para conservar las URL que utilizan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto en lugar de borrar todo el proyecto.

Si planeas explorar varias infraestructuras, instructivos y guías de inicio rápido la reutilización de proyectos puede ayudarte a evitar exceder los límites de las cuotas del proyecto.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.