Genera estadísticas de datos en BigQuery

Información valiosa es una forma automatizada de explorar, comprender y organizar tus datos. Con las estadísticas de datos, Gemini en BigQuery genera preguntas en lenguaje natural y las consultas de SQL para responderlas, basándose en los metadatos de las tablas. Estas estadísticas te ayudan a descubrir patrones, evaluar la calidad de los datos y realizar análisis estadísticos.

También puede usar las estadísticas de datos para generar descripciones de tablas y columnas basadas en los metadatos de las tablas. Esta función te ayuda a documentar tus datos para que los análisis sean más significativos y mejora la visibilidad de los conjuntos de datos.

En esta página se describen las funciones clave de las estadísticas de datos y el proceso para automatizar la generación de consultas con el fin de explorar los datos de forma valiosa.

Antes de empezar

Las estadísticas de datos se generan con Gemini en BigQuery. Para empezar a generar estadísticas, primero debes configurar Gemini en BigQuery.

Roles obligatorios

Para crear, gestionar y recuperar estadísticas de datos, pide a tu administrador que te conceda los siguientes roles de gestión de identidades y accesos:

Para obtener acceso de solo lectura a las estadísticas generadas, pide a tu administrador que te conceda el siguiente rol de gestión de identidades y accesos:

Para obtener más información sobre cómo conceder roles, consulta el artículo Gestionar el acceso a proyectos, carpetas y organizaciones.

También puedes conseguir los permisos necesarios a través de roles personalizados u otros roles predefinidos. Para ver los permisos exactos que se necesitan para generar estadísticas, despliega la sección Permisos necesarios:

Permisos obligatorios

  • bigquery.jobs.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • dataplex.datascans.create
  • dataplex.datascans.get
  • dataplex.datascans.getData
  • dataplex.datascans.run

Habilitar APIs

Para usar las estadísticas de datos, habilite las siguientes APIs en su proyecto: API Dataplex, API BigQuery y API Gemini para Google Cloud.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the APIs

Para obtener más información sobre cómo habilitar la API de Gemini para Google Cloud, consulta el artículo sobre cómo habilitar la API de Gemini para Google Cloud en un Google Cloud proyecto.

Acerca de las estadísticas

Cuando exploran una tabla nueva y desconocida, los analistas de datos suelen enfrentarse al problema del arranque en frío. A menudo, el problema implica incertidumbres sobre la estructura de los datos, los patrones de claves y las estadísticas relevantes de los datos, lo que dificulta empezar a escribir consultas.

Estadísticas de datos aborda el problema del arranque en frío generando automáticamente consultas en lenguaje natural y sus equivalentes en SQL en función de los metadatos de una tabla. En lugar de empezar con un editor de consultas vacío, puedes empezar rápidamente a explorar los datos con consultas significativas que te proporcionen información valiosa. Para investigar más a fondo, puedes hacer preguntas relacionadas en el lienzo de datos.

Ejemplo de una ejecución de estadísticas

Supongamos que tenemos una tabla llamada telco_churn con los siguientes metadatos:

Nombre del campo Tipo
CustomerID STRING
Sexo STRING
Antigüedad INT64
InternetService STRING
StreamingTV STRING
OnlineBackup STRING
Contrato STRING
TechSupport STRING
PaymentMethod STRING
MonthlyCharges FLOAT
Churn BOOLEAN

A continuación, se muestran algunas de las consultas de ejemplo que genera Estadísticas de datos para esta tabla:

  • Identifica a los clientes que se han suscrito a todos los servicios premium y que llevan más de 50 meses siendo clientes.

    SELECT
  CustomerID,
  Contract,
  Tenure
FROM
  agentville_datasets.telco_churn
WHERE
  OnlineBackup = 'Yes'
  AND TechSupport = 'Yes'
  AND StreamingTV = 'Yes'
  AND Tenure > 50;

  • Identifica qué servicio de Internet tiene la mayor tasa de abandono de clientes.

    SELECT
  InternetService,
  COUNT(DISTINCT CustomerID) AS total_customers
FROM
  agentville_datasets.telco_churn
WHERE
  Churn = TRUE
GROUP BY
  InternetService
ORDER BY
  total_customers DESC
LIMIT 1;

  • Identifica las tasas de abandono por segmento entre los clientes de alto valor.

    SELECT
  Contract,
  InternetService,
  Gender,
  PaymentMethod,
  COUNT(DISTINCT CustomerID) AS total_customers,
  SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) AS churned_customers,
  (SUM(CASE WHEN Churn = TRUE THEN 1 ELSE 0 END) / COUNT(DISTINCT CustomerID))
  * 100 AS churn_rate
FROM
  agentville_datasets.telco_churn
WHERE
  MonthlyCharges > 100
GROUP BY
  Contract,
  InternetService,
  Gender,
  PaymentMethod;

Prácticas recomendadas para mejorar las estadísticas generadas

Para mejorar la precisión de las estadísticas generadas, siga estas prácticas recomendadas:

Basar las estadísticas en los resultados de la creación de perfiles de datos

En la IA generativa, la fundamentación es la capacidad de conectar la salida de un modelo con fuentes de información verificables. Puedes basar las estadísticas generadas en los resultados de la creación de perfiles de datos. Perfilado de datos: analiza las columnas de tus tablas de BigQuery e identifica características estadísticas comunes, como los valores de datos típicos y la distribución de los datos. Cuando crea un análisis de perfil de datos de una tabla, puede publicar los resultados del análisis en las páginas Catálogo universal de BigQuery y Catálogo universal de Dataplex de la Google Cloud consola. BigQuery usa los resultados de la creación de perfiles de datos para crear consultas más precisas y relevantes. Para ello, hace lo siguiente:

  1. Analiza los resultados de la creación de perfiles de datos para identificar patrones, tendencias o valores atípicos interesantes en los datos.
  2. Genera consultas centradas en estos patrones, tendencias o valores atípicos para descubrir información valiosa.
  3. Valida las consultas generadas con los resultados de la creación de perfiles de datos para asegurarse de que las consultas devuelven resultados significativos.

Si no se realizan análisis de elaboración de perfiles de datos, ocurre lo siguiente:

  • Es más probable que las consultas generadas incluyan cláusulas imprecisas o produzcan resultados sin sentido.
  • Las descripciones de las columnas generadas se basan únicamente en el nombre de la columna.

Asegúrate de que el análisis de perfil de datos de tu tabla esté actualizado y de que los resultados se publiquen en BigQuery.

Puedes ajustar la configuración de creación de perfiles de datos para aumentar el tamaño de la muestra y filtrar filas y columnas. Después de ejecutar un nuevo análisis de perfil de datos, vuelve a generar las estadísticas.

Añadir una descripción de la tabla

Las descripciones detalladas de las tablas que describen lo que quieres analizar en ellas pueden ayudar a Gemini en BigQuery a generar estadísticas más relevantes. Después de añadir una descripción a la tabla, vuelve a generar las estadísticas.

Por ejemplo, puede añadir la siguiente descripción a la telco_churntabla: "Esta tabla registra los datos de abandono de clientes, incluidos los detalles de la suscripción, la antigüedad y el uso del servicio, para predecir el comportamiento de abandono de los clientes".

Si guardas la descripción de la tabla que genera Gemini, se usará para generar estadísticas en el futuro.

Añadir descripciones de columnas

Las descripciones de las columnas que explican qué es cada columna o cómo se relaciona una con otra pueden mejorar la calidad de las estadísticas. Después de actualizar las descripciones de las columnas de la tabla, vuelve a generar las estadísticas.

Por ejemplo, puede añadir las siguientes descripciones a columnas específicas de la tabla telco_churn:

  • Tenure: "Número de meses que el cliente ha utilizado el servicio".
  • Churn: "Si el cliente ha dejado de usar el servicio. TRUE indica que el cliente ya no usa el servicio, mientras que FALSE indica que el cliente está activo."

Si guardas las descripciones de las columnas que genera Gemini, se usarán para generar estadísticas en el futuro.

Generar estadísticas de una tabla de BigQuery

Para generar estadísticas de una tabla de BigQuery, debes acceder a la entrada de la tabla en BigQuery mediante BigQuery Studio.

  1. En la Google Cloud consola, ve a BigQuery Studio.

    Ir a BigQuery Studio

  2. En el panel Explorador, seleccione la tabla de la que quiera generar estadísticas.

  3. Haz clic en la pestaña Estadísticas. Si la pestaña está vacía, significa que aún no se han generado las estadísticas de esta tabla.

  4. Para activar la canalización de estadísticas, haz clic en Generar estadísticas.

    Las estadísticas tardarán unos minutos en aparecer.

    Si hay resultados de perfilado de datos publicados para la tabla, se utilizan para generar estadísticas. De lo contrario, las estadísticas se generan en función de los nombres y las descripciones de las columnas.

  5. En la pestaña Estadísticas, consulta las preguntas generadas en lenguaje natural.

  6. Para ver la consulta SQL que responde a una pregunta, haz clic en la pregunta.

  7. Para abrir una consulta en BigQuery, haz clic en Copiar en consulta.

  8. Para hacer preguntas complementarias, sigue estos pasos:

    1. Haz clic en Hacer una pregunta de seguimiento. La consulta se abre en un nuevo lienzo de datos.

    2. Haz clic en Ejecutar y, a continuación, en Consultar estos resultados.

    3. Para hacer una pregunta de seguimiento, introduce una petición en el campo de petición Lenguaje natural o edita el SQL en el editor de consultas.

  9. Para generar un nuevo conjunto de consultas, haz clic en Generar estadísticas y vuelve a activar la canalización.

Una vez que hayas generado estadísticas de una tabla, cualquier usuario que tenga el permiso dataplex.datascans.getData y acceso a la tabla podrá verlas.

Generar estadísticas de una tabla externa de BigQuery

La función Estadísticas de datos de BigQuery permite generar estadísticas de tablas externas de BigQuery con datos en Cloud Storage. Tanto tú como la cuenta de servicio de Dataplex Universal Catalog del proyecto actual debéis tener el rol Lector de objetos de almacenamiento (roles/storage.objectViewer) en el segmento de Cloud Storage que contiene los datos. Para obtener más información, consulta Añadir un principal a una política a nivel de segmento.

Para generar estadísticas de una tabla externa de BigQuery, sigue las instrucciones que se describen en la sección Generar estadísticas de una tabla de BigQuery de este documento.

Generar estadísticas de una tabla de BigLake

Para generar estadísticas de una tabla de BigLake, sigue estos pasos:

  1. Habilita la API de conexión de BigQuery en tu proyecto.

    Habilita la API de conexión de BigQuery

  2. Crea una conexión de BigQuery. Para obtener más información, consulta Gestionar conexiones.

  3. Concede el rol de gestión de identidades y accesos Lector de objetos de almacenamiento (roles/storage.objectViewer) a la cuenta de servicio correspondiente a la conexión de BigQuery que has creado.

    Puedes obtener el ID de la cuenta de servicio en los detalles de la conexión.

  4. Para generar estadísticas, sigue las instrucciones que se describen en la sección Generar estadísticas de una tabla de BigQuery de este documento.

Generar descripciones de tablas y columnas

Gemini en BigQuery genera automáticamente descripciones de tablas y columnas cuando generas estadísticas de datos. Puedes editar estas descripciones según sea necesario y, a continuación, guardarlas en los metadatos de la tabla. Las descripciones guardadas se usan para generar estadísticas en el futuro.

Para generar descripciones de tablas y columnas, sigue estos pasos:

  1. Para generar estadísticas, sigue las instrucciones descritas en la sección correspondiente de este documento:

  2. Haz clic en la pestaña Esquema.

  3. Haz clic en Ver descripciones de las columnas.

    Se muestran la descripción de la tabla y las descripciones de las columnas que se han generado.

  4. Para editar y guardar la descripción de la tabla generada, siga estos pasos:

    1. En la sección Descripción de la tabla, haz clic en Guardar en detalles.

    2. Para sustituir la descripción actual por la generada, haz clic en Copiar descripción sugerida.

    3. Edite la descripción de la tabla según sea necesario y, a continuación, haga clic en Guardar en detalles.

      La descripción de la tabla se actualiza inmediatamente.

  5. Para editar y guardar las descripciones de las columnas generadas, siga estos pasos:

    1. En la sección Column descriptions (Descripciones de las columnas), haga clic en Save to schema (Guardar en el esquema).

      Las descripciones de las columnas que se han generado se rellenan en el campo Nueva descripción de cada columna.

    2. Edite las descripciones de las columnas según sea necesario y, a continuación, haga clic en Guardar.

      Las descripciones de las columnas se actualizan al instante.

  6. Para cerrar el panel de vista previa, haz clic en Cerrar.

Precios

Para obtener más información sobre los precios de esta función, consulta el resumen de precios de Gemini en BigQuery.

Cuotas y límites

Para obtener información sobre las cuotas y los límites de esta función, consulta Cuotas de Gemini en BigQuery.

Limitaciones

  • La función Estadísticas de datos está disponible para tablas de BigQuery, tablas de BigLake, tablas externas y vistas.
  • En el caso de los clientes multicloud, los datos de otras nubes no están disponibles.
  • La función Estadísticas de datos no admite los tipos de columna Geo ni JSON.
  • Las ejecuciones de estadísticas no garantizan que se presenten consultas cada vez. Para aumentar las probabilidades de generar consultas más atractivas, vuelve a iniciar el flujo de procesamiento de estadísticas.
  • En las tablas con control de acceso a nivel de columna (LCAs) y permisos de usuario restringidos, puedes generar estadísticas si tienes acceso de lectura a todas las columnas de la tabla. Para ejecutar las consultas generadas, debes tener los permisos suficientes.
  • Las descripciones de las columnas se generan para un máximo de 350 columnas por tabla.

Ubicaciones

Puedes usar las estadísticas de datos en todas las ubicaciones de BigQuery. Gemini en BigQuery opera a nivel mundial, por lo que no puedes restringir el tratamiento de datos a una región específica. Para obtener más información sobre las ubicaciones en las que Gemini en BigQuery procesa datos, consulta Ubicaciones de servicio de Gemini.

Siguientes pasos