En esta página, se muestra cómo crear un análisis de perfil de datos con el La consola de Google Cloud, Google Cloud CLI o la API de REST.
Para obtener más información sobre los análisis de perfiles de datos de Dataplex, consulta Acerca de la generación de perfiles de datos.
Antes de comenzar
En la consola de Google Cloud, habilita la API de Dataplex.
Permisos
Para generar perfiles de las tablas de BigQuery, necesitas los siguientes permisos:
Para ejecutar un análisis de perfil de datos en una tabla de BigQuery, necesitas permiso para leer la tabla de BigQuery y permiso para crear un trabajo de BigQuery en el proyecto que se usa para analizar la tabla.
Si la tabla de BigQuery y el análisis del perfil de datos están en proyectos diferentes, debes otorgar a la cuenta de servicio de Dataplex permiso de lectura en la tabla de BigQuery correspondiente.
Si los datos de BigQuery están organizados en un lago de Dataplex, para crear un análisis de perfil de datos, necesitas los roles de Dataplex
roles/dataplex.metadataReaderyroles/dataplex.viewer. Esto otorga los siguientes permisos:dataplex.lakes.listdataplex.lakes.getdataplex.zones.listdataplex.zones.getdataplex.entities.listdataplex.entities.getdataplex.operations.get
Si analizas una tabla externa de BigQuery desde Cloud Storage, asigna a la cuenta de servicio de Dataplex el rol de Visualizador de objetos de Cloud Storage (
roles/storage.objectViewer) o los siguientes permisos para el bucket:storage.buckets.getstorage.objects.get
Si deseas publicar los resultados del análisis de perfil de datos en las páginas de BigQuery y Data Catalog en la consola de Google Cloud para las tablas de origen, debes tener el rol de IAM Editor de datos de BigQuery (
roles/bigquery.dataEditor) o el permisobigquery.tables.updateen la tabla.Para exportar los resultados del análisis a una tabla de BigQuery, tu La cuenta de servicio de Dataplex necesita BigQuery Editor de datos (
roles/bigquery.dataEditor). Esto otorga los siguientes permisos:bigquery.datasets.getbigquery.tables.createbigquery.tables.getbigquery.tables.getDatabigquery.tables.updatebigquery.tables.updateData
Si necesitas acceder a columnas protegidas por políticas de acceso a nivel de columnas de BigQuery, asigna los permisos de la cuenta de servicio de Dataplex para esas columnas. El usuario que crea o actualiza un análisis de datos también necesita permisos para las columnas.
Si una tabla tiene habilitadas las políticas de acceso a nivel de fila de BigQuery, solo puedes analizar las filas visibles para la cuenta de servicio de Dataplex. Ten en cuenta que los privilegios de acceso del usuario individual no se evalúan para las políticas a nivel de la fila.
Roles y permisos del análisis de datos
Para usar el perfilado de datos, un administrador del proyecto asigna un rol predefinido con permisos ya otorgados o otorga permisos individuales. Los roles son los siguientes:
roles/dataplex.dataScanAdmin: Acceso completo aDataScanrecursos.roles/dataplex.dataScanEditor: Acceso de escritura a los recursosDataScan.roles/dataplex.dataScanViewer: Acceso de lectura a los recursos deDataScan, excepto los resultados.roles/dataplex.dataScanDataViewer: acceso de lectura a los recursos deDataScan, incluidos los resultados.
En la siguiente tabla, se enumeran los permisos de análisis de datos:
| Nombre del permiso | Otorga permiso para hacer lo siguiente: |
|---|---|
dataplex.datascans.create |
Crea una DataScan |
dataplex.datascans.delete |
Borra una DataScan |
dataplex.datascans.get |
Ver detalles de DataScan sin resultados |
dataplex.datascans.getData |
Ver los detalles de DataScan, incluidos los resultados |
dataplex.datascans.list |
Lista de DataScan |
dataplex.datascans.run |
Ejecuta una DataScan |
dataplex.datascans.update |
Se actualizó la descripción de un DataScan |
dataplex.datascans.getIamPolicy |
Consulta los permisos de IAM actuales en el análisis |
dataplex.datascans.setIamPolicy |
Establece permisos de IAM en el análisis |
Crea un análisis de perfil de datos
Console
En la consola de Google Cloud, ve a la página Perfil.
Haz clic en Create data profile scan.
Ingresa un Nombre visible.
Para cambiar el ID de análisis generado automáticamente, proporciona el tuyo. Consulta Convención de nomenclatura de recursos.
Ingresa una Descripción (opcional).
En el campo Tabla, haz clic en Explorar.
Selecciona una tabla y haz clic en Seleccionar.
En el campo Alcance, elige Incrementales o Datos completos.
- Si eliges Datos incrementales, en el campo Columna de marca de tiempo, haz lo siguiente:
selecciona una columna de tipo
DATEoTIMESTAMPde tu de BigQuery que aumenta monótonamente y se puede que se usan para identificar registros nuevos. Para las tablas particionadas en una columna de tipoDATEoTIMESTAMP, recomendamos usar la columna de partición como el campo de marca de tiempo.
- Si eliges Datos incrementales, en el campo Columna de marca de tiempo, haz lo siguiente:
selecciona una columna de tipo
Para aplicar el muestreo a tu análisis de perfil de datos, en la lista Tamaño de muestreo, selecciona un porcentaje de muestreo.
- Elige un valor de porcentaje que oscile entre el 0.0% y el 100.0% con hasta 3 dígitos decimales.
- Para conjuntos de datos más grandes, elige un porcentaje de muestreo más bajo. Por ejemplo: para una tabla de ~1 PB, si ingresas un valor entre 0.1% y 1.0%, Dataplex muestra entre 1 y 10 TB de datos.
- Necesitas al menos 100 registros en los datos muestreados para que se muestre un resultado.
- Para los análisis de datos incrementales, Dataplex aplica el muestreo a el último incremento.
Para filtrar por fila, haz clic en Filtros y selecciona Filtrar filas.
Ingresa una expresión de SQL válida que se pueda usar en una cláusula
WHEREen la sintaxis de SQL estándar de BigQuery. Por ejemplo:col1 >= 0.El filtro puede ser una combinación de condiciones de SQL en varias columnas. Por ejemplo:
col1 >= 0 AND col2 < 10.
Opcional: Haz clic en Filtros. Selecciona la casilla de verificación Filtrar columnas.
a. En el campo Incluir columnas, haz clic en Explorar.
- Especifica las columnas que se deben incluir en el análisis de perfiles. Para seleccionar las columnas que quieras, marca las casillas y haz clic en Seleccionar.
b. En el campo Excluir columnas, haz clic en Explorar.
- Especifica las columnas que deseas excluir del análisis de perfiles. Selecciona el para las columnas que elijas, marca las casillas y haz clic en Seleccionar.
Opcional: Publica los resultados del análisis del perfil de datos en la las páginas de BigQuery y Data Catalog del consola de Google Cloud para la tabla de origen. Haz clic en la casilla de verificación Publicar los resultados en la IU de BigQuery y Dataplex Catalog.
Puedes ver los resultados del análisis más reciente en la pestaña Data Profile de la Páginas de BigQuery y Data Catalog de la fuente desde una tabla de particiones. Para permitir que los usuarios accedan a los resultados del análisis publicado, consulta Comparte los resultados publicados.
Es posible que la opción de publicación no esté disponible en los siguientes casos:
- No tienes los permisos necesarios en la tabla.
- Otro análisis de calidad de los datos está configurado para publicar resultados.
Si deseas obtener más información sobre los permisos necesarios para ver el resultados publicados, consulta Permisos.
Opcional: Exporta los resultados del análisis a un estándar de BigQuery desde una tabla de particiones. Haz clic en Explorar para seleccionar un BigQuery existente. para almacenar los resultados del análisis del perfil de datos.
Si la tabla especificada no existe, Dataplex la crea para ti. Si usas una tabla existente, asegúrate de que sea compatible con el esquema de la tabla que se describe más adelante en esta sección.
Opcional: Agrega etiquetas. Las etiquetas son pares
key:valueque te permiten agrupar juntos o con otros recursos de Google Cloud.En Opciones de programación, elige una de las siguientes opciones:
Repetir: Ejecuta el trabajo de análisis del perfil de datos según un programa: diariamente, semanal, mensual o personalizada. Especifica la frecuencia con la que se debe ejecutar el análisis y en qué momento. Si eliges una opción personalizada, cron para especificar la de un proyecto.
Según demanda: Crea el análisis de perfil de datos y ejecútalo en cualquier momento con la acción Ejecutar ahora.
Haz clic en Crear.
gcloud
Para crear un análisis de perfil de datos, ejecuta el siguiente comando:
gcloud dataplex datascans create data-profile DATASCAN \ --location=LOCATION \ --data-source-entity=DATA_SOURCE_ENTITY | --data-source-resource=DATA_SOURCE_RESOURCE
Reemplaza las siguientes variables:
DATASCAN: Es el nombre del análisis del perfil de datos.LOCATION: Es la región de Google Cloud en la que se creará. el análisis del perfil de datos.DATA_SOURCE_ENTITY: Es la entidad de Dataplex que contiene los datos del análisis de perfiles de datos. Por ejemplo,projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entityDATA_SOURCE_RESOURCE: Es el nombre del recurso que contiene los datos para el análisis de perfiles de datos. Por ejemplo,//bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table
Para ver los argumentos opcionales, consulta la referencia de la CLI de gcloud.
REST
Usa el Explorador de APIs para crear un análisis de perfil de datos.
Crea varios análisis de perfiles de datos
Console
En la consola de Google Cloud, ve a la página Perfil.
Haz clic en Crear varios análisis de perfiles.
Ingresa un prefijo de ID. Dataplex genera automáticamente los IDs de análisis con el prefijo y los sufijos únicos proporcionados.
Ingresa una Descripción para todos los análisis de perfil de datos.
En el campo Conjunto de datos, haz clic en Explorar. Selecciona un conjunto de datos para elegir las tablas. Haz clic en Seleccionar.
Si el conjunto de datos es multirregional, selecciona una región en la que crear los análisis de perfiles de datos.
Selecciona Opciones de configuración comunes:
En el campo Alcance, elige Incrementales o Datos completos.
Para aplicar el muestreo a los análisis de tu perfil de datos, en Tamaño de muestreo lista, selecciona un porcentaje de muestreo.
Elige un valor de porcentaje entre 0.0% y 100.0% con hasta 3 dígitos decimales.
Para mostrar los resultados de todos los análisis, selecciona Publicación. Puedes ver los resultados en la pestaña Perfil de BigQuery o Detalles de la tabla de Data Catalog. Asegúrate de tener los permisos
bigquery.tables.updateen las tablas de origen.En Opciones de programación, elige una de las siguientes opciones:
Repetir: Ejecuta tus trabajos de análisis de perfiles de datos según un programa. Especifica la frecuencia con la que se debe ejecutar el análisis (diariamente, semanalmente, mensualmente o personalizado) y a qué hora. Si eliges el modo personalizado, usa cron. para especificar el programa.
On-demand: Crea tus trabajos de análisis de perfil de los datos y ejecútalos en cualquier momento haciendo clic en Run.
En la opción Elegir tablas, haz clic en Explorar. Elige una o más de las tablas que se analizarán. Haz clic en Seleccionar.
Selecciona Configuración adicional:
Para guardar los resultados de los análisis de tu perfil de datos en una de BigQuery que elijas, elige una tabla Exporta los resultados del análisis a la tabla de BigQuery. Dataplex copia y guarda automáticamente los resultados en esta tabla para cada tarea de análisis.
Haz clic en Explorar para seleccionar un conjunto de datos.
Ingresa la tabla de BigQuery en la que se guardarán los resultados. Esto puede ser una tabla existente, usada por otros datos de Dataplex análisis de perfiles para guardar los resultados. Si no existe tal tabla con el nombre especificado, Dataplex crea la tabla.
Agrega Etiquetas para anotar el análisis del perfil de datos.
Haz clic en Ejecutar análisis para crear y ejecutar todos los análisis. Esta opción es solo disponibles para análisis a pedido.
Haz clic en Crear para crear todos los análisis.
gcloud
No compatible.
REST
No compatible.
Exportar esquema de tabla
Si quieres exportar los resultados del análisis del perfil de datos a un de BigQuery, asegúrate de que sea compatible con el siguiente esquema de tabla:
| Nombre de la columna | Tipo de datos de la columna | Nombre del subcampo (si corresponde) |
Tipo de datos del subcampo | Modo | Ejemplo |
|---|---|---|---|---|---|
| data_profile_scan | struct/record |
resource_name |
string |
nullable | //dataplex.googleapis.com/projects/test-project/locations/europe-west2/datascans/test-datascan |
project_id |
string |
nullable | test-project |
||
location |
string |
nullable | us-central1 |
||
data_scan_id |
string |
anulable | test-datascan |
||
| data_source | struct/record |
resource_name |
string |
nullable | Caso de entidad://dataplex.googleapis.com/projects/test-project/locations/europe-west2/lakes/test-lake/zones/test-zone/entities/test-entity
Caso de tabla: //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table
|
dataplex_entity_project_id |
string |
nullable | test-project |
||
dataplex_entity_project_number |
integer |
nullable | 123456789012 |
||
dataplex_lake_id |
string |
anulable | (Válido solo si la fuente es una entidad)test-lake
|
||
dataplex_zone_id |
string |
nullable | (Solo es válido si la fuente es una entidad)test-zone |
||
dataplex_entity_id |
string |
nullable | (Válido solo si la fuente es una entidad)test-entity |
||
table_project_id |
string |
anulable | dataplex-table |
||
table_project_number |
int64 |
nullable | 345678901234 |
||
dataset_id |
string |
anulable | (Solo es válido si la fuente es una tabla)test-dataset |
||
table_id |
string |
anulable | (Válido solo si el origen es una tabla)test-table |
||
| data_profile_job_id | string |
anulable | caeba234-cfde-4fca-9e5b-fe02a9812e38 |
||
| data_profile_job_configuration | json |
trigger |
string |
anulable | ondemand/schedule |
incremental |
boolean |
nullable | true/false |
||
sampling_percent |
float |
nullable | (0-100)20.0 (indica un 20%) |
||
row_filter |
string |
nullable | col1 >= 0 AND col2 < 10 |
||
column_filter |
json |
anulable | {"include_fields":["col1","col2"], "exclude_fields":["col3"]} |
||
| job_labels | json |
anulable | {"key1":value1} |
||
| job_start_time | timestamp |
anulable | 2023-01-01 00:00:00 UTC |
||
| job_end_time | timestamp |
nullable | 2023-01-01 00:00:00 UTC |
||
| job_rows_scanned | integer |
nullable | 7500 |
||
| column_name | string |
anulable | column-1 |
||
| column_type | string |
nullable | string |
||
| column_mode | string |
nullable | repeated |
||
| percent_null | float |
anulable | (de 0.0 a 100.0)20.0 (indica un 20%) |
||
| percent_unique | float |
nullable | (0.0-100.0)92.5 |
||
| min_string_length | integer |
anulable | (Solo es válido si el tipo de columna es una cadena)10 |
||
| max_string_length | integer |
anulable | (Solo es válido si el tipo de columna es una cadena)4 |
||
| average_string_length | float |
anulable | (Solo es válido si el tipo de columna es una cadena)7.2 |
||
| min_value | float |
nullable | (Solo es válido si el tipo de columna es numérico: número entero o decimal). | ||
| max_value | float |
anulable | (Válido solo si el tipo de columna es numérico: entero/flotante) | ||
| average_value | float |
nullable | (Solo es válido si el tipo de columna es numérico: número entero o decimal). | ||
| standard_deviation | float |
nullable | (Solo es válido si el tipo de columna es numérico: número entero o decimal). | ||
| quartile_lower | integer |
nullable | (Solo es válido si el tipo de columna es numérico: número entero o decimal). | ||
| quartile_median | integer |
nullable | (Válido solo si el tipo de columna es numérico: entero/flotante) | ||
| quartile_upper | integer |
nullable | (Solo es válido si el tipo de columna es numérico: número entero o decimal). | ||
| top_n | struct/record - repeated |
value |
string |
anulable | "4009" |
count |
integer |
nullable | 20 |
||
percent |
float |
anulable | 10 (indica un 10%) |
Exportar la configuración de la tabla
Cuando exportes a tablas de BigQueryExport, sigue estos lineamientos:
- Para el campo
resultsTable, usa el formato//bigquery.googleapis.com/projects/{project-id}/datasets/{dataset-id}/tables/{table-id}. - Usa una tabla estándar de BigQuery.
- Si la tabla no existe cuando se crea o actualiza el análisis, Dataplex crea la tabla por ti.
- De forma predeterminada, la tabla se particiona en la columna
job_start_timea diario. - Si deseas que la tabla se particione en otras configuraciones o si no quieres la partición, vuelve a crear la tabla con el esquema y las configuraciones requeridos y, luego, proporciona la tabla creada previamente como la tabla de resultados.
- Asegúrate de que la tabla de resultados se encuentre en la misma ubicación que la tabla de origen.
- Si se configura VPC-SC en el proyecto, la tabla de resultados debe estar en mismo perímetro de VPC-SC que la tabla de origen.
- Si la tabla se modifica durante la etapa de ejecución del análisis, el trabajo en ejecución actual se exporta a la tabla de resultados anterior y el cambio de la tabla se aplica a partir del siguiente trabajo de análisis.
- No modifiques el esquema de la tabla. Si necesitas columnas personalizadas, crea una vista sobre la tabla.
- Para reducir costos, configura un vencimiento para la partición según tu caso de uso. Para obtener más información, consulta cómo configurar el vencimiento de la partición.
Ejecuta un análisis de perfil de datos
Console
- En la consola de Google Cloud, ve a la página Perfil de Dataplex. Ir al perfil
- Haz clic en el análisis del perfil de datos para ejecutarlo.
- Haz clic en Ejecutar ahora.
gcloud
Para ejecutar un análisis de perfil de datos, ejecuta el siguiente comando:
gcloud dataplex datascans run DATASCAN \ --location=LOCATION
Reemplaza las siguientes variables:
DATASCAN: Es el nombre del análisis del perfil de datos.LOCATION: Es la región de Google Cloud en la que se Se creó el análisis de perfil de datos.
Para ver los argumentos opcionales, consulta la referencia de la CLI de gcloud.
REST
Usa el Explorador de APIs para ejecutar tu análisis de perfil de datos.
Consulta los resultados del trabajo de análisis de perfiles de datos
Console
Todos los análisis de perfil de los datos que crees aparecerán en la página Perfil.
Para ver los resultados detallados de un análisis, haz clic en su nombre.
En la sección Descripción general, se muestran las ejecuciones del análisis, la hora de cada ejecución, la cantidad de registros de tablas analizados y el estado del trabajo.
La sección Configuración de análisis de perfil contiene detalles sobre el análisis.
gcloud
Para ver los resultados de un trabajo de análisis de perfil de datos, ejecuta el siguiente comando:
gcloud dataplex datascans jobs describe JOB \ --location=LOCATION \ --datascan=DATASCAN \ --view=FULL
Reemplaza las siguientes variables:
JOB: Es el ID del trabajo de análisis de perfiles de datos.LOCATION: Es la región de Google Cloud en la que se Se creó el análisis de perfil de datos.DATASCAN: Es el nombre del perfil de datos que analiza el al que pertenece el trabajo.--view=FULL: Para ver el resultado de la tarea de análisis, especificaFULL.
Para conocer los argumentos opcionales, consulta la referencia de la CLI de gcloud.
REST
Usa el Explorador de APIs para ver los resultados de un análisis de perfil de datos.
Ver el trabajo de análisis del perfil de datos más reciente
Console
La pestaña Resultados del trabajo más reciente, cuando hay al menos una ejecución completada correctamente, proporciona información sobre el trabajo más reciente. En ella, se enumeran las columnas de la tabla analizada y las estadísticas sobre las columnas que se encontraron en el análisis.
gcloud
Para ver el análisis de perfil de datos exitoso más reciente, ejecuta el siguiente comando:
gcloud dataplex datascans describe DATASCAN \ --location=LOCATION \ --view=FULL
Reemplaza las siguientes variables:
DATASCAN: Es el nombre del análisis de perfil de datos para ver el trabajo más reciente.LOCATION: Es la región de Google Cloud en la que se encuentran se creó el análisis de perfil.--view=FULL: Para ver el resultado de la tarea de análisis, especificaFULL.
Para ver los argumentos opcionales, consulta la referencia de la CLI de gcloud.
REST
Usa el Explorador de APIs para ver el trabajo de análisis más reciente.
Ver todos los trabajos de análisis del perfil de datos
Dataplex guarda el historial de análisis del perfil de datos de los últimos 300 o durante el último año, lo que ocurra primero.
Console
En la pestaña Historial de trabajos, se proporciona información sobre los trabajos anteriores. Enumera todos los trabajos, la cantidad de registros analizados en cada trabajo, el estado, el tiempo de ejecución del trabajo y mucho más.
Para ver la información detallada de un trabajo, haz clic en ID de trabajo.
gcloud
Para ver todos los trabajos de un análisis de perfil de datos, ejecuta el siguiente comando:
gcloud dataplex datascans jobs list \ --location=LOCATION \ --datascan=DATASCAN
Reemplaza las siguientes variables:
LOCATION: Es la región de Google Cloud en la que se creó el análisis de perfiles de datos.DATASCAN: Es el nombre del análisis de perfil de datos que se mostrará. para todos los trabajos.
Para ver los argumentos opcionales, consulta la referencia de la CLI de gcloud.
REST
Usa el Explorador de APIs para ver todas las tareas de análisis.
Comparte los resultados publicados
Cuando crees un análisis de perfil de datos, si eliges publicar los resultados del análisis en las páginas de BigQuery y Data Catalog de la consola de Google Cloud, los resultados más recientes del análisis estarán disponibles en la pestaña Data profile de esas páginas.
Puedes permitir que los usuarios de tu organización accedan a los resultados de la búsqueda publicados. Para otorgar acceso a los resultados del análisis, sigue estos pasos:
En la consola de Google Cloud, ve a la página Perfil.
Haz clic en el análisis del perfil de datos del que deseas compartir los resultados.
Ve a la pestaña Permisos.
Haz clic en Otorgar acceso.
En el campo Principales nuevos, agrega la principal a la que deseas otorgar acceso.
En el campo Selecciona un rol, selecciona Dataplex DataScan DataViewer.
Haz clic en Guardar.
Para quitar el acceso a los resultados del análisis publicados de un principal, sigue estos pasos:
En la consola de Google Cloud, ve a la página Perfil.
Haz clic en el análisis de perfiles de datos cuyos resultados deseas compartir.
Ve a la pestaña Permisos.
Selecciona el principal para el que deseas quitar el rol de Visualizador de datos de DataScan de Dataplex.
Haga clic en Quitar acceso.
Haz clic en Confirmar.
Actualiza un análisis de perfil de datos
Console
En la consola de Google Cloud, ve a la página Perfil.
En la fila del análisis que quieras editar, haz clic > Editar.
Edite los valores.
Haz clic en Guardar.
gcloud
Para actualizar un análisis de perfil de datos, ejecuta el siguiente comando:
gcloud dataplex datascans update data-profile DATASCAN \ --location=LOCATION \ --description=DESCRIPTION
Reemplaza las siguientes variables:
DATASCAN: Es el nombre del perfil de datos que se analizará para el análisis del perfil de datos. actualización.LOCATION: Es la región de Google Cloud en la que se encuentran se creó el análisis de perfil.DESCRIPTION: Es la descripción nueva del análisis de perfiles de datos.
Para actualizar los campos de especificación, consulta la referencia de la CLI de gcloud.
REST
Usa el Explorador de APIs para editar un análisis de perfil de datos.
Borrar un análisis de perfil de datos
Console
En la consola de Google Cloud, ve a la página Perfil. Ve a Perfil de Dataplex.
Haz clic en el análisis que quieres borrar.
Haz clic en Borrar.
gcloud
Para borrar un análisis de perfil de datos, ejecuta el siguiente comando:
gcloud dataplex datascans delete \ DATASCAN --location=LOCATION \ --async
Reemplaza las siguientes variables:
DATASCAN: Es el nombre del perfil de datos que se analizará para el análisis del perfil de datos. borrar.LOCATION: Es la región de Google Cloud en la que se creó el análisis de perfiles de datos.
Para ver los argumentos opcionales, consulta la referencia de la CLI de gcloud.
REST
Usa el Explorador de APIs para borrar el análisis del perfil de datos.
Próximos pasos
- Obtén más información sobre la generación de perfiles de datos.
- Obtén más información sobre la calidad automática de los datos.
- Obtén más información para usar la calidad de los datos automáticos.