Información acerca de la generación de perfiles de datos

La creación de perfiles de datos de Dataplex te permite identificar estadísticas de las columnas en tu tablas. Esta información te ayuda a comprender y analizar tus datos de manera más eficaz.

La información, como los valores de datos típicos, la distribución de los datos y los recuentos nulos, puede y acelerar el análisis. Cuando se combina con la clasificación de datos, la creación de perfiles de datos puede detectar clases de datos o información sensible que, a su vez, pueden habilitar el acceso de políticas de control de calidad.

Dataplex también usa esta información para recomendar reglas para las verificaciones de calidad de los datos.

Modelo conceptual

Dataplex te permite comprender mejor el perfil de tus datos la creación de un análisis de creación de perfiles de datos.

En el siguiente diagrama, se muestra cómo Dataplex analiza los datos para generar informes y datos estadísticos.

Un análisis de creación de perfiles de datos se asocia con una tabla de BigQuery y analiza la tabla para generar los resultados de la creación de perfiles de datos. La creación de perfiles de datos admite varias opciones de configuración.

Nota: Dataplex ejecuta análisis en recursos de un proyecto de usuario de Google. por lo que no necesitas configurar tu propia infraestructura.

Opciones de configuración

En esta sección, se describen las opciones de configuración disponibles para ejecutar análisis de creación de perfiles de datos.

Opciones de programación

Puedes programar un análisis de creación de perfiles de datos con una frecuencia definida o a pedido a través de la API o la consola de Google Cloud.

Alcance

Como parte de la especificación de un análisis de creación de perfiles de datos, puedes especificar el alcance de un trabajo como una de las siguientes opciones:

• Tabla completa: Se analiza la tabla completa en el análisis de generación de perfiles de datos. El muestreo, los filtros de fila y los filtros de columna se aplican a toda la tabla. antes de calcular las estadísticas de creación de perfiles.

• Incremental: Los datos incrementales que especifiques se analizan en los datos. análisis de perfil. Especifica una columna Date o Timestamp en la tabla que se debe como un incremento. Por lo general, esta es la columna en la que se particionado. El muestreo, los filtros de fila y los filtros de columna se aplican al los datos incrementales antes de calcular las estadísticas de generación de perfiles.

Filtra datos

Puedes filtrar los datos que se analizarán para la generación de perfiles usando filtros de filas y filtros de columna. Usar filtros ayuda a reducir el tiempo y el costo de ejecución, y excluir los datos sensibles y que no sean útiles.

• Filtros de filas: Los filtros de filas te permiten enfocarte en los datos de un período específico período o de un segmento específico, como la región. Por ejemplo, puedes filtrar salida de datos con una marca de tiempo anterior a una fecha determinada.

• Filtros de columnas: Los filtros de columnas te permiten incluir y excluir columnas de tu tabla para ejecutar el análisis de creación de perfiles de datos.

Datos de muestra

Dataplex te permite especificar un porcentaje de registros de tus datos de muestra para ejecutar un análisis de creación de perfiles de datos. Creando los análisis de creación de perfiles de datos en una muestra más pequeña de datos puede reducir el el tiempo de ejecución y el costo de consultar todo el conjunto de datos.

Varios análisis de la creación de perfiles de datos

Dataplex te permite crear varios análisis de generación de perfiles de datos a la vez con la consola de Google Cloud. Puedes seleccionar hasta 100 tablas de un conjunto de datos y crear un análisis de perfilado de datos para cada conjunto de datos. Más información

Exporta los resultados del análisis a una tabla de BigQuery

Puedes exportar los resultados del análisis de creación de perfiles de datos a una tabla de BigQuery para un análisis más detallado. Para personalizar los informes, puedes conectar el datos de la tabla de BigQuery en un panel de Looker. Puedes crear un informe agregado usando la misma tabla de resultados en varios análisis.

Resultados de la creación de perfiles de datos

Los resultados de la creación de perfiles de datos incluyen los siguientes valores:

Tipo de columna	Resultados de la creación de perfiles de datos
Columna numérica	Porcentaje de valores nulos. Porcentaje de valores únicos aproximados (distintos). Los 10 valores más comunes de la columna. Puede ser inferior a 10 si el número de valores únicos en la columna es menor que 10 (los valores nulos no incluidas). Para cada uno de estos valores más comunes, el porcentaje del los datos analizados en el análisis actual. Promedio, desviación estándar, mínimo, cuartil inferior aproximado, la mediana aproximada, el cuartil superior aproximado y los valores máximos.
Columna de cadenas	Porcentaje de valores nulos. Porcentaje de valores únicos aproximados (distintos). Los 10 valores más comunes de la columna, que pueden ser menores que 10 si el número de valores únicos en la columna sea menor que 10. Longitud promedio, mínima y máxima de la cadena
Otras columnas no anidadas (fecha, hora, marca de tiempo, objeto binario, etcétera)	Porcentaje de valores nulos. Porcentaje de valores únicos aproximados (distintos). Los 10 valores más comunes de la columna, que pueden ser menores que 10 si el número de valores únicos en la columna sea menor que 10.
Todas las demás columnas anidadas o complejas de tipos de datos (como Record, Array, JSON) o cualquier columna con el modo repetido.	Porcentaje de valores nulos.

Los resultados incluyen la cantidad de registros analizados en cada ejecución.

Nota: Los valores aproximados pueden diferir de los valores reales entre un 1% y un 2% para mejorar el rendimiento.

Generación de informes y supervisión

Puedes supervisar y analizar los resultados de la creación de perfiles de datos con las siguientes opciones: informes y métodos:

• Informes publicados con la tabla de origen en las páginas de BigQuery y Data Catalog

  Si configuraste un análisis de perfilado de datos para publicar los resultados en las páginas de BigQuery y Data Catalog del la consola de Google Cloud, puedes ver el análisis más reciente de la creación de perfiles los resultados en estas páginas de la pestaña Perfil de datos de cualquier proyecto.

  

• Histórico, por informe de trabajo en Dataplex

  En la página Perfil de Dataplex, puedes ver los detalles y acceder a informes sobre los trabajos históricos y más recientes. Esto incluye el perfil a nivel de columna información y la configuración que se usó.

  

• Pestaña Análisis

  En la página Perfil de Dataplex, puedes usar el panel Análisis. pestaña para ver las tendencias de una estadística determinada de una columna durante varios trabajos de perfil. Por ejemplo, si tienes un análisis incremental, puedes ver el promedio de un valor ha tenido una tendencia a lo largo del tiempo.

  

• Crea tus propios paneles o estadísticas

  Si configuraste un análisis de creación de perfiles de datos para exportar o guardar resultados en un en una tabla de BigQuery, puedes crear tus propios paneles herramientas, como Looker Studio.

Limitaciones

• Los resultados de la creación de perfiles de datos no se publican en Data Catalog como rótulos nuevos rápidamente.
• La creación de perfiles de datos es compatible con las tablas de BigQuery con todas las columnas excepto BIGNUMERIC. Un análisis creado para una tabla con un BIGNUMERIC genera un error de validación y no se crea correctamente.
• Las tablas de BigQuery que se analizarán deben tener 300 columnas o menos.

Precios

• Dataplex usa el SKU de procesamiento premium para cobrar por los datos la generación de perfiles. Para obtener más información, consulta Precios.

• Aún no se puede publicar los resultados de la creación de perfiles de datos en Data Catalog disponibles. Cuando esté disponible, se le cobrará la misma tarifa que Precios de almacenamiento de metadatos del catálogo. Para obtener más información, consulta Precios.

• El procesamiento premium de Dataplex para la generación de perfiles de datos se factura por segundo, con un mínimo de un minuto.

• No se te cobrará por los análisis de generación de perfiles con errores.

• El cargo depende del número de filas, de columnas, de de análisis de datos, la partición y el agrupamiento en clústeres en la tabla, y la frecuencia de la búsqueda.

• Existen varias opciones para reducir el costo de los análisis de creación de perfiles de datos:

  • Muestreo
  • Análisis incrementales
  • Filtrado de columnas
  • Filtrado de filas

• Para separar los cargos de la generación de perfiles de datos de otros cargos en Dataplex SKU de procesamiento premium, en la Informe de Facturación de Cloud, usa la etiqueta goog-dataplex-workload-type con el valor DATA_PROFILE.

• Para filtrar los cargos agregados, usa las siguientes etiquetas:

  • goog-dataplex-datascan-data-source-dataplex-entity
  • goog-dataplex-datascan-data-source-dataplex-lake
  • goog-dataplex-datascan-data-source-dataplex-zone
  • goog-dataplex-datascan-data-source-project
  • goog-dataplex-datascan-data-source-region
  • goog-dataplex-datascan-id
  • goog-dataplex-datascan-job-id

Próximos pasos

• Aprende a usar la generación de perfiles de datos.
• Obtén más información sobre la calidad automática de los datos.
• Obtén más información para usar la calidad automática de los datos.