Acerca de la generación de perfiles de datos

La generación de perfiles de datos de Dataplex te permite identificar características estadísticas comunes de las columnas en tus tablas de BigQuery. Esta información te ayuda a comprender y analizar tus datos de manera más eficaz.

La información como los valores de datos típicos, la distribución de datos y los recuentos nulos puede acelerar el análisis. Cuando se combina con la clasificación de datos, la generación de perfiles de datos puede detectar clases de datos o información sensible que, a su vez, pueden habilitar las políticas de control de acceso.

Dataplex también usa esta información a fin de recomendar reglas para los controles de calidad de los datos.

Modelo conceptual

Dataplex te permite comprender mejor el perfil de tus datos mediante la creación de un análisis de generación de perfiles de datos.

En el siguiente diagrama, se muestra cómo Dataplex analiza los datos para generar informes sobre características estadísticas.

Un análisis de generación de perfiles de datos se asocia con una tabla de BigQuery y analiza la tabla para generar los resultados de la generación de perfiles. Un análisis de generación de perfiles de datos admite varias opciones de configuración.

Nota: Dataplex ejecuta análisis en los recursos de un proyecto de usuario de Google, por lo que no necesitas configurar tu propia infraestructura.

Opciones de configuración

En esta sección, se describen las opciones de configuración disponibles para ejecutar análisis de generación de perfiles de datos.

Opciones de programación

Puedes programar un análisis de generación de perfiles de datos con una frecuencia definida o a pedido a través de la API o la consola de Google Cloud.

Permiso

Como parte de la especificación de un análisis de generación de perfiles de datos, puedes especificar el alcance de un trabajo como una de las siguientes opciones:

• Tabla completa: Se analiza toda la tabla en el análisis de generación de perfiles de datos. El muestreo, los filtros de filas y los filtros de columnas se aplican en toda la tabla antes de calcular las estadísticas de generación de perfiles.

• Incremental: Los datos incrementales que especificas se analizan en el análisis de perfil de datos. Especifica una columna Date o Timestamp en la tabla para que se use como incremento. Por lo general, esta es la columna en la que se particiona la tabla. El muestreo, los filtros de filas y los filtros de columnas se aplican a los datos incrementales antes de calcular las estadísticas de generación de perfiles.

Filtra datos

Puedes filtrar los datos que se analizarán para la generación de perfiles mediante filtros de filas y filtros de columnas. El uso de filtros te ayuda a reducir el tiempo y el costo de ejecución, así como a excluir datos sensibles y poco útiles.

• Filtros de fila: Los filtros de fila te permiten enfocarte en los datos dentro de un período específico o de un segmento específico, como una región. Por ejemplo, puedes filtrar datos con una marca de tiempo antes de una fecha determinada.

• Filtros de columnas: Los filtros de columna te permiten incluir o excluir columnas específicas de tu tabla para ejecutar el análisis de generación de perfiles de datos.

Datos de muestra

Dataplex te permite especificar un porcentaje de los registros de tus datos para muestrear a fin de ejecutar un análisis de generación de perfiles de datos. La creación de análisis de perfiles de datos en una muestra más pequeña puede reducir el tiempo de ejecución y el costo de consultar todo el conjunto de datos.

Varios análisis de perfiles de datos

Dataplex te permite crear varios análisis de perfiles de datos a la vez con la consola de Google Cloud. Puedes seleccionar hasta 100 tablas de un conjunto de datos y crear un análisis de generación de perfiles de datos para cada conjunto de datos. Más información

Exporta los resultados del análisis a una tabla de BigQuery

Puedes exportar los resultados del análisis de generación de perfiles de datos a una tabla de BigQuery para su posterior análisis. Para personalizar los informes, puedes conectar los datos de la tabla de BigQuery a un panel de Looker. Puedes crear un informe agregado con la misma tabla de resultados en varios análisis.

Resultados de la generación de perfiles

Los resultados de la generación de perfiles de datos incluyen los siguientes valores:

Tipo de columna	Resultados de la generación de perfiles
Columna numérica	Porcentaje de valores nulos. Porcentaje de valores únicos (distintos) aproximados. Los 10 valores más comunes de la columna Puede ser inferior a 10 si el número de valores únicos en la columna es inferior a 10 (no se incluyen los valores nulos). Para cada uno de estos valores más comunes, se muestra el porcentaje de casos en los datos analizados en el análisis actual. Desviación promedio, estándar, mínima, cuartil inferior aproximado, mediana aproximada, cuartil superior aproximado y valores máximos.
Columna de strings	Porcentaje de valores nulos. Porcentaje de valores únicos (distintos) aproximados. Los 10 valores más comunes de la columna, que pueden ser menos de 10 si la cantidad de valores únicos en la columna es menor que 10 Longitud promedio, mínima y máxima de la string
Otras columnas no anidadas (fecha, hora, marca de tiempo, objeto binario, etcétera)	Porcentaje de valores nulos. Porcentaje de valores únicos (distintos) aproximados. Los 10 valores más comunes de la columna, que pueden ser menos de 10 si la cantidad de valores únicos en la columna es menor que 10
Todas las demás columnas de tipo de datos anidadas o complejas (como Registro, Arreglo, JSON) o cualquier columna con modo repetido.	Porcentaje de valores nulos.

Los resultados incluyen la cantidad de registros analizados en cada ejecución.

Generación de informes y supervisión

Puedes supervisar y analizar los resultados de la generación de perfiles de datos mediante los siguientes informes y métodos:

• Informes publicados con la tabla de origen en las páginas de BigQuery y Data Catalog

  Si configuraste un análisis de generación de perfiles de datos para publicar los resultados en las páginas de BigQuery y Data Catalog en Google Cloud Console, puedes ver los resultados más recientes de análisis de perfiles de datos en estas páginas en la pestaña Perfil de datos desde cualquier proyecto.

  

• Historial y informe por trabajo en Dataplex

  En la página Perfil de Dataplex, puedes ver los informes detallados de los trabajos históricos más recientes. Esto incluye la información del perfil a nivel de la columna y la configuración que se usó.

  

• Pestaña Análisis

  En la página Perfil de Dataplex, puedes usar la pestaña Análisis a fin de ver las tendencias para una estadística determinada de una columna en varios trabajos de perfil. Por ejemplo, si tienes un análisis incremental, puedes ver la tendencia del valor de un valor a lo largo del tiempo.

  

• Crea tu propio panel o estadísticas

  Si configuraste un análisis de generación de perfiles de datos para exportar o guardar resultados en una tabla de BigQuery, puedes compilar tus propios paneles con herramientas, como Looker Studio.

Limitaciones

• Los resultados de la generación de perfiles de datos no se publican en Data Catalog como etiquetas.
• La creación de perfiles de datos es compatible con las tablas de BigQuery con todos los tipos de columna, excepto BIGNUMERIC. Un análisis creado para una tabla con una columna BIGNUMERIC genera un error de validación y no se crea de forma correcta.
• Las tablas de BigQuery que se analizarán deben tener 300 columnas o menos.

Precios

• Dataplex usa el SKU de procesamiento premium para cobrar por la generación de perfiles de datos. Para obtener más información, consulta Precios.

• Aún no está disponible la publicación de resultados de la generación de perfiles de datos en Data Catalog. Cuando esté disponible, se cobrará la misma tarifa que los precios de almacenamiento de metadatos del catálogo. Para obtener más información, consulta Precios.

• El procesamiento premium de Dataplex para la generación de perfiles de datos se factura por segundo con un mínimo de un minuto.

• No se te cobra por los análisis de perfiles con errores.

• El cargo depende de la cantidad de filas, la cantidad de columnas, la cantidad de datos analizados, la configuración de partición y agrupamiento en clústeres en la tabla y la frecuencia del análisis.

• Existen varias opciones para reducir el costo de los análisis de generación de perfiles de datos:

  • Muestreo
  • Análisis incrementales
  • Filtrado de columnas
  • Filtrado de filas

• Para separar los cargos de la generación de perfiles de datos de otros cargos en el SKU de procesamiento premium de Dataplex, usa la etiqueta goog-dataplex-workload-type con el valor DATA_PROFILE.

• Para filtrar los cargos agregados, usa las siguientes etiquetas:

  • goog-dataplex-datascan-data-source-dataplex-entity
  • goog-dataplex-datascan-data-source-dataplex-lake
  • goog-dataplex-datascan-data-source-dataplex-zone
  • goog-dataplex-datascan-data-source-project
  • goog-dataplex-datascan-data-source-region
  • goog-dataplex-datascan-id
  • goog-dataplex-datascan-job-id

Próximos pasos

• Aprende a usar la generación de perfiles de datos.
• Obtén más información sobre la calidad de datos automática.
• Obtén más información para usar la calidad de datos automática.