Buscar problemas de calidad de los datos

En este documento se explica cómo usar BigQuery y el catálogo universal de Dataplex juntos para asegurarse de que los datos cumplen sus expectativas de calidad. La función de calidad de los datos automática de Dataplex Universal Catalog le permite definir y medir la calidad de los datos de sus tablas de BigQuery. Puedes automatizar el análisis de datos, validar los datos con respecto a las reglas definidas y registrar alertas si los datos no cumplen los requisitos de calidad.

Para obtener más información sobre la calidad de los datos automática, consulte el artículo Descripción general de la calidad de los datos automática.

Nota: En este documento se explica cómo gestionar los análisis de calidad de los datos en tu proyecto. También puedes crear y gestionar análisis de calidad de los datos cuando trabajes con una tabla específica. Para obtener más información, consulta la sección Gestionar análisis de calidad de los datos de una tabla específica de este documento.

Antes de empezar

1. Enable the Dataplex API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

2. Opcional: Si quieres que Dataplex Universal Catalog genere recomendaciones de reglas de calidad de los datos basadas en los resultados de un análisis de perfil de datos, crea y ejecuta el análisis de perfil de datos.

Roles obligatorios

• Para ejecutar un análisis de calidad de los datos en una tabla de BigQuery, necesitas permiso para leer la tabla de BigQuery y para crear un trabajo de BigQuery en el proyecto usado para analizar la tabla.

  Nota: Dataplex Universal Catalog no crea un trabajo de BigQuery en tu proyecto. Sin embargo, necesitas este permiso para crear una tarea DryRun y comprobar los permisos de la tabla.

• Si la tabla de BigQuery y el análisis de calidad de los datos están en proyectos diferentes, debes dar permiso de lectura a la cuenta de servicio de Dataplex Universal Catalog del proyecto que contiene el análisis de calidad de los datos para la tabla de BigQuery correspondiente.

  Nota: Si no has creado ningún análisis de calidad de los datos o de perfil de datos, o bien no tienes ningún lake de Universal Catalog de Dataplex en este proyecto, crea un identificador de servicio ejecutando el siguiente comando: gcloud beta services identity create --service=dataplex.googleapis.com. Este comando devuelve un identificador de servicio de Dataplex Universal Catalog si existe.

• Si las reglas de calidad de los datos hacen referencia a otras tablas, la cuenta de servicio del proyecto de análisis debe tener permisos de lectura en esas tablas.

• Para obtener los permisos que necesitas para exportar los resultados del análisis a una tabla de BigQuery, pide a tu administrador que asigne a la cuenta de servicio del catálogo universal de Dataplex el rol de gestión de identidades y accesos Editor de datos de BigQuery (roles/bigquery.dataEditor) en el conjunto de datos y la tabla de resultados. Esto concede los siguientes permisos:

  • bigquery.datasets.get
  • bigquery.tables.create
  • bigquery.tables.get
  • bigquery.tables.getData
  • bigquery.tables.update
  • bigquery.tables.updateData

• Si los datos de BigQuery están organizados en un lake de Dataplex Universal Catalog, concede a la cuenta de servicio de Dataplex Universal Catalog los roles de gestión de identidades y accesos Lector de metadatos de Dataplex (roles/dataplex.metadataReader) y Lector de Dataplex (roles/dataplex.viewer). También puede tener todos los permisos siguientes:

  • dataplex.lakes.list
  • dataplex.lakes.get
  • dataplex.zones.list
  • dataplex.zones.get
  • dataplex.entities.list
  • dataplex.entities.get
  • dataplex.operations.get

• Si vas a analizar una tabla externa de BigQuery desde Cloud Storage, asigna a la cuenta de servicio de Universal Catalog de Dataplex el rol Lector de objetos de Storage (roles/storage.objectViewer) en el bucket. También puede asignar a la cuenta de servicio de Dataplex Universal Catalog los siguientes permisos:

  • storage.buckets.get
  • storage.objects.get

• Si quieres publicar los resultados del análisis de calidad de los datos como metadatos de Dataplex Universal Catalog, debes tener asignado el rol Editor de datos de BigQuery (roles/bigquery.dataEditor) de IAM en la tabla y el permiso dataplex.entryGroups.useDataQualityScorecardAspect en el grupo de entradas @bigquery de la misma ubicación que la tabla. También puede tener asignado el rol Editor de catálogo de Dataplex (roles/dataplex.catalogEditor) en el grupo de entradas @bigquery de la misma ubicación que la tabla.

  También puede tener todos los permisos siguientes:

  • bigquery.tables.update - on the table
  • dataplex.entryGroups.useDataQualityScorecardAspect: en el @bigquery grupo de entradas

  También puedes tener todos los permisos siguientes:

  • dataplex.entries.update: en el grupo de entradas @bigquery
  • dataplex.entryGroups.useDataQualityScorecardAspect: en el @bigquery grupo de entradas

• Si necesitas acceder a columnas protegidas por políticas de acceso a nivel de columna de BigQuery, asigna permisos a la cuenta de servicio de Universal Catalog de Dataplex para esas columnas. El usuario que cree o actualice un análisis de datos también necesita permisos para las columnas.

• Si una tabla tiene habilitadas las políticas de acceso a nivel de fila de BigQuery, solo puedes analizar las filas visibles para la cuenta de servicio de Universal Catalog de Dataplex. Ten en cuenta que los privilegios de acceso de cada usuario no se evalúan en las políticas a nivel de fila.

Roles obligatorios para analizar datos

Para usar la calidad de los datos automática, pide a tu administrador que te conceda uno de los siguientes roles de gestión de identidades y accesos:

• Acceso completo a los recursos de DataScan: administrador de Dataplex DataScan (roles/dataplex.dataScanAdmin)
• Para crear recursos de DataScan, se necesita el rol Creador de análisis de datos de Dataplex (roles/dataplex.dataScanCreator) en el proyecto.
• Acceso de escritura a los recursos de DataScan: editor de análisis de datos de Dataplex (roles/dataplex.dataScanEditor)
• Acceso de lectura a los recursos de DataScan, excepto las reglas y los resultados: Visor de DataScan de Dataplex (roles/dataplex.dataScanViewer)
• Acceso de lectura a los recursos de DataScan, incluidas las reglas y los resultados: Dataplex DataScan DataViewer (roles/dataplex.dataScanDataViewer)

En la siguiente tabla se enumeran los permisos de DataScan:

Nombre del permiso	Concede permiso para hacer lo siguiente:
dataplex.datascans.create	Crear un DataScan
dataplex.datascans.delete	Eliminar un DataScan
dataplex.datascans.get	Ver metadatos operativos, como el ID o la programación, pero no los resultados ni las reglas
dataplex.datascans.getData	Ver los detalles de DataScan, incluidas las reglas y los resultados
dataplex.datascans.list	Listar DataScans
dataplex.datascans.run	Ejecutar DataScan
dataplex.datascans.update	Actualizar la descripción de un DataScan
dataplex.datascans.getIamPolicy	Ver los permisos de gestión de identidades y accesos actuales de la exploración
dataplex.datascans.setIamPolicy	Definir permisos de gestión de identidades y accesos en la búsqueda

Crear un análisis de calidad de los datos

Consola

1. En la Google Cloud consola, en la página de BigQuery Curación de metadatos, ve a la pestaña Elaboración de perfiles y calidad de los datos.

   Ir a Perfil y calidad de los datos

2. Haga clic en Crear análisis de calidad de los datos.

3. En la ventana Define scan (Definir análisis), rellena los siguientes campos:

   1. Opcional: Introduce un Nombre visible.

   2. Introduce un ID. Consulta las convenciones para asignar nombres de recursos.

   3. Opcional: Introduce una Descripción.

   4. En el campo Tabla, haz clic en Buscar. Elige la tabla que quieras escanear y, a continuación, haz clic en Seleccionar. Solo se admiten tablas estándar de BigQuery.

      En el caso de las tablas de conjuntos de datos multirregionales, elige una región en la que crear el análisis de datos.

      Para consultar las tablas organizadas en los lagos de Dataplex Universal Catalog, haz clic en Consultar en lagos de Dataplex.

   5. En el campo Ámbito, elija Incremental o Todos los datos.

      • Si eliges Incremental (Incremental): en el campo Timestamp column (Columna de marca de tiempo), selecciona una columna de tipo DATE o TIMESTAMP de tu tabla de BigQuery que aumente a medida que se añadan registros y que se pueda usar para identificar registros nuevos. Puede ser una columna que cree particiones en la tabla.

   6. Para filtrar los datos, marca la casilla Filtrar filas. Proporciona un filtro de filas que consista en una expresión SQL válida que se pueda usar como parte de una cláusula WHERE en la sintaxis de GoogleSQL. Por ejemplo, col1 >= 0. El filtro puede ser una combinación de varias condiciones de columna. Por ejemplo, col1 >= 0 AND col2 < 10.

   7. Para tomar una muestra de los datos, en la lista Tamaño de la muestra, seleccione un porcentaje de muestreo. Elige un valor porcentual entre 0,0% y 100,0% con un máximo de 3 decimales. En el caso de conjuntos de datos más grandes, elija un porcentaje de muestreo más bajo. Por ejemplo, en una tabla de 1 PB, si introduces un valor entre el 0,1% y el 1,0%, el análisis de calidad de los datos toma una muestra de entre 1 y 10 TB de datos. En el caso de los análisis de datos incrementales, el análisis de calidad de los datos aplica el muestreo al incremento más reciente.

   8. Para publicar los resultados del análisis de calidad de los datos como metadatos de Dataplex Universal Catalog, marca la casilla Publicar resultados en BigQuery y Dataplex Catalog.

      Puede ver los resultados del análisis más reciente en la pestaña Calidad de los datos de las páginas Catálogo universal de BigQuery y Dataplex de la tabla de origen. Para permitir que los usuarios accedan a los resultados de los análisis publicados, consulta la sección Conceder acceso a los resultados de los análisis de perfil de datos de este documento.

   9. En la sección Programación, elija una de las siguientes opciones:

      • Repetir: ejecuta el análisis de calidad de los datos de forma programada: cada hora, cada día, cada semana, cada mes o de forma personalizada. Especifica con qué frecuencia se ejecuta el análisis y a qué hora. Si eliges la opción personalizada, usa el formato cron para especificar la programación.

      • Bajo demanda: ejecuta el análisis de calidad de los datos bajo demanda.

   10. Haz clic en Continuar.

4. En la ventana Reglas de calidad de los datos, defina las reglas que quiera configurar para este análisis de calidad de los datos.

   1. Haz clic en Añadir reglas y, a continuación, elige una de las siguientes opciones.

      • Recomendaciones basadas en perfiles: crea reglas a partir de las recomendaciones basadas en un análisis de perfilado de datos.

        1. Elegir columnas: selecciona las columnas de las que quieras obtener reglas recomendadas.

        2. Elegir proyecto de análisis: si el análisis de elaboración de perfiles de datos se encuentra en un proyecto distinto del proyecto en el que estás creando el análisis de calidad de los datos, selecciona el proyecto del que quieras extraer los análisis de perfil.

        3. Elegir resultados del perfil: selecciona uno o varios resultados del perfil y, a continuación, haz clic en Aceptar. De esta forma, se rellena una lista de reglas sugeridas que puedes usar como punto de partida.

        4. Marque la casilla de las reglas que quiera añadir y, a continuación, haga clic en Seleccionar. Una vez seleccionadas, las reglas se añadirán a la lista de reglas actual. Después, puedes editar las reglas.

      • Tipos de reglas integradas: crea reglas a partir de reglas predefinidas. Consulta la lista de reglas predefinidas.

        1. Elegir columnas: selecciona las columnas para las que quieras elegir reglas.

        2. Elegir tipos de reglas: selecciona los tipos de reglas que quieras elegir y, a continuación, haz clic en Aceptar. Los tipos de reglas que aparecen dependen de las columnas que haya seleccionado.

        3. Marque la casilla de las reglas que quiera añadir y, a continuación, haga clic en Seleccionar. Una vez seleccionadas, las reglas se añadirán a tu lista de reglas actual. Después, puedes editar las reglas.

      • Regla de comprobación de filas de SQL: crea una regla de SQL personalizada para aplicarla a cada fila.

        1. En Dimensión, elija una dimensión.

        2. En Umbral de superación, elige el porcentaje de registros que deben superar la comprobación.

        3. En Nombre de columna, elija una columna.

        4. En el campo Proporciona una expresión SQL, introduce una expresión SQL que dé como resultado un valor booleano true (correcto) o false (incorrecto). Para obtener más información, consulta Tipos de reglas SQL personalizadas admitidos y los ejemplos de Definir reglas de calidad de los datos.

        5. Haz clic en Añadir.

      • Regla de comprobación de agregación de SQL: crea una regla de condición de tabla SQL personalizada.

        1. En Dimensión, elija una dimensión.

        2. En Nombre de columna, elija una columna.

        3. En el campo Proporciona una expresión SQL, introduce una expresión SQL que dé como resultado un valor booleano true (correcto) o false (incorrecto). Para obtener más información, consulta Tipos de reglas SQL personalizadas admitidos y los ejemplos de Definir reglas de calidad de los datos.

        4. Haz clic en Añadir.

      • Regla de aserción de SQL: crea una regla de aserción de SQL personalizada para comprobar si los datos tienen un estado no válido.

        1. En Dimensión, elija una dimensión.

        2. Opcional: En Nombre de columna, elija una columna.

        3. En el campo Provide a SQL statement (Proporciona una instrucción SQL), introduce una instrucción SQL que devuelva las filas que coincidan con el estado no válido. Si se devuelve alguna fila, esta regla falla. Omite el punto y coma final de la instrucción SQL. Para obtener más información, consulta los tipos de reglas SQL personalizadas admitidos y los ejemplos de Definir reglas de calidad de los datos.

        4. Haz clic en Añadir.

   2. Opcional: En cualquier regla de calidad de los datos, puede asignar un nombre de regla personalizado para usarlo en la monitorización y las alertas, así como una descripción. Para ello, edita una regla y especifica los siguientes detalles:

      • Nombre de la regla: introduce un nombre personalizado para la regla (máximo 63 caracteres). El nombre de la regla puede incluir letras (a-z, A-Z), números (0-9) y guiones (-), y debe empezar por una letra y terminar por un número o una letra.
      • Descripción: introduce una descripción de la regla con una longitud máxima de 1024 caracteres.

   3. Repite los pasos anteriores para añadir más reglas al análisis de calidad de los datos. Cuando hayas terminado, haz clic en Continuar.

5. Opcional: Exporta los resultados del análisis a una tabla estándar de BigQuery. En la sección Export scan results to BigQuery table (Exportar resultados del análisis a una tabla de BigQuery), haz lo siguiente:

   1. En el campo Seleccionar conjunto de datos de BigQuery, haga clic en Buscar. Selecciona un conjunto de datos de BigQuery para almacenar los resultados del análisis de calidad de los datos.

   2. En el campo Tabla de BigQuery, especifica la tabla en la que se deben almacenar los resultados del análisis de calidad de los datos. Si usas una tabla que ya tienes, asegúrate de que sea compatible con el esquema de la tabla de exportación. Si la tabla especificada no existe, Dataplex Universal Catalog la crea por ti.

      Nota: Puedes usar la misma tabla de resultados para varias comprobaciones de calidad de los datos.

6. Opcional: añade etiquetas. Las etiquetas son pares clave-valor que te permiten agrupar objetos relacionados entre sí o con otros Google Cloud recursos.

7. Opcional: Configura informes de notificaciones por correo para alertar a los usuarios sobre el estado y los resultados de un trabajo de análisis de calidad de los datos. En la sección Informe de notificaciones, haz clic en Añadir ID de correo e introduce hasta cinco direcciones de correo. A continuación, selecciona los escenarios de los que quieras recibir informes:

   • Nivel de calidad (≤): envía un informe cuando un trabajo se completa correctamente con un nivel de calidad de los datos inferior al objetivo especificado. Introduce una puntuación de calidad objetivo entre 0 y 100.
   • Errores de tareas: envía un informe cuando la tarea falla, independientemente de los resultados de calidad de los datos.
   • Finalización del trabajo (correcta o incorrecta): envía un informe cuando finaliza el trabajo, independientemente de los resultados de calidad de los datos.

8. Haz clic en Crear.

   Una vez creado el análisis, puede ejecutarlo en cualquier momento haciendo clic en Ejecutar ahora.

gcloud

Para crear un análisis de calidad de los datos, usa el comando gcloud dataplex datascans create data-quality.

Si los datos de origen están organizados en un lago de Dataplex Universal Catalog, incluya la marca --data-source-entity:

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-entity=DATA_SOURCE_ENTITY

Si los datos de origen no están organizados en un lago de Dataplex Universal Catalog, incluya la marca --data-source-resource:

gcloud dataplex datascans create data-quality DATASCAN \
    --location=LOCATION \
    --data-quality-spec-file=DATA_QUALITY_SPEC_FILE \
    --data-source-resource=DATA_SOURCE_RESOURCE

Sustituye las siguientes variables:

• DATASCAN: nombre del análisis de calidad de los datos.
• LOCATION: región en la que se va a crear el análisis de calidad de los datos. Google Cloud
• DATA_QUALITY_SPEC_FILE: ruta al archivo JSON o YAML que contiene las especificaciones del análisis de calidad de los datos. El archivo puede ser un archivo local o una ruta de Cloud Storage con el prefijo gs://. Utilice este archivo para especificar las reglas de calidad de los datos del análisis. También puede especificar detalles adicionales en este archivo, como filtros, porcentaje de muestreo y acciones posteriores al análisis, como exportar a BigQuery o enviar informes de notificaciones por correo electrónico. Consulta la documentación sobre la representación JSON y la representación YAML de ejemplo.
• DATA_SOURCE_ENTITY: entidad de Dataplex Universal Catalog que contiene los datos del análisis de calidad de los datos. Por ejemplo, projects/test-project/locations/test-location/lakes/test-lake/zones/test-zone/entities/test-entity.
• DATA_SOURCE_RESOURCE: nombre del recurso que contiene los datos del análisis de calidad de los datos. Por ejemplo, //bigquery.googleapis.com/projects/test-project/datasets/test-dataset/tables/test-table.

REST

Para crear un análisis de calidad de los datos, usa el método dataScans.create.

Si quiere crear reglas para el análisis de calidad de los datos mediante recomendaciones de reglas basadas en los resultados de un análisis de perfilado de datos, obtenga las recomendaciones llamando al método dataScans.jobs.generateDataQualityRules en el análisis de perfilado de datos.

Nota: Si la tabla de BigQuery tiene la opción Requerir filtro de partición activada (true), use la columna de partición de BigQuery como filtro de filas o columna de marca de tiempo del análisis de calidad de los datos.

Realizar un análisis de calidad de los datos

Consola

1. En la Google Cloud consola, en la página de BigQuery Curación de metadatos, ve a la pestaña Elaboración de perfiles y calidad de los datos.

   Ir a Perfil y calidad de los datos

2. Haga clic en el análisis de calidad de los datos para ejecutarlo.

3. Haz clic en Ejecutar ahora.

gcloud

Para ejecutar un análisis de calidad de los datos, usa el comando gcloud dataplex datascans run:

gcloud dataplex datascans run DATASCAN \
--location=LOCATION \

Sustituye las siguientes variables:

• LOCATION: la región en la que se creó el análisis de calidad de los datos. Google Cloud
• DATASCAN: nombre del análisis de calidad de los datos.

REST

Para ejecutar un análisis de calidad de los datos, usa el método dataScans.run.

Ver los resultados de los análisis de calidad de los datos

Consola

1. En la Google Cloud consola, en la página de BigQuery Curación de metadatos, ve a la pestaña Elaboración de perfiles y calidad de los datos.

   Ir a Perfil y calidad de los datos

2. Haga clic en el nombre de un análisis de calidad de los datos.

   • En la sección Resumen se muestra información sobre los trabajos más recientes, como cuándo se ejecutó el análisis, el número de registros analizados en cada trabajo, si se superaron todas las comprobaciones de calidad de los datos y, en caso de que se produjeran errores, el número de comprobaciones de calidad de los datos que no se superaron.

   • En la sección Configuración de la comprobación de calidad de los datos se muestran detalles sobre la comprobación.

3. Para ver información detallada sobre un trabajo, como las puntuaciones de calidad de los datos que indican el porcentaje de reglas que se han cumplido, las reglas que no se han cumplido y los registros del trabajo, haga clic en la pestaña Historial de trabajos. A continuación, haz clic en un ID de tarea.

Nota: Si ha exportado los resultados del análisis a una tabla de BigQuery, también puede acceder a ellos desde la tabla. Las puntuaciones de calidad de los datos están disponibles si has publicado los resultados del análisis como metadatos de Dataplex Universal Catalog.

gcloud

Para ver los resultados de un trabajo de análisis de calidad de los datos, usa el comando gcloud dataplex datascans jobs describe:

gcloud dataplex datascans jobs describe JOB \
--location=LOCATION \
--datascan=DATASCAN \
--view=FULL

Sustituye las siguientes variables:

• JOB: el ID del trabajo de análisis de calidad de los datos.
• LOCATION: la Google Cloud región en la que se creó el análisis de calidad de los datos.
• DATASCAN: nombre del análisis de calidad de los datos al que pertenece el trabajo.
• --view=FULL: Para ver el resultado del trabajo de análisis, especifica FULL.

REST

Para ver los resultados de un análisis de calidad de los datos, usa el método dataScans.get.

Ver los resultados publicados

Si los resultados del análisis de calidad de los datos se publican como metadatos de Dataplex Universal Catalog, puede ver los resultados más recientes en las páginas de BigQuery y Dataplex Universal Catalog de laGoogle Cloud consola, en la pestaña Calidad de los datos de la tabla de origen.

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

2. En el panel Explorador, seleccione la tabla cuyos resultados del análisis de calidad de los datos quiera ver.

3. Haga clic en la pestaña Calidad de los datos.

   Se muestran los últimos resultados publicados.

   Nota: Es posible que los resultados publicados no estén disponibles si se está ejecutando un análisis por primera vez.

Ver el historial de resultados de análisis

Dataplex Universal Catalog guarda el historial de análisis de calidad de los datos de los últimos 300 trabajos o del último año, lo que ocurra primero.

Consola

1. En la Google Cloud consola, en la página de BigQuery Curación de metadatos, ve a la pestaña Elaboración de perfiles y calidad de los datos.

   Ir a Perfil y calidad de los datos

2. Haga clic en el nombre de un análisis de calidad de los datos.

3. Haz clic en la pestaña Historial de trabajos.

   La pestaña Historial de trabajos proporciona información sobre los trabajos anteriores, como el número de registros analizados en cada trabajo, el estado del trabajo, la hora en la que se ejecutó y si se ha superado o no cada regla.

4. Para ver información detallada sobre un trabajo, haz clic en cualquiera de los trabajos de la columna ID de trabajo.

gcloud

Para ver el historial de trabajos de análisis de calidad de los datos, usa el comando gcloud dataplex datascans jobs list:

gcloud dataplex datascans jobs list \
--location=LOCATION \
--datascan=DATASCAN \

Sustituye las siguientes variables:

• LOCATION: la Google Cloud región en la que se creó el análisis de calidad de los datos.
• DATASCAN: nombre del análisis de calidad de los datos del que quieres ver el historial de trabajos.

REST

Para ver el historial de tareas de análisis de calidad de los datos, usa el método dataScans.jobs.list.

Conceder acceso a los resultados de análisis de calidad de los datos

Para que los usuarios de tu organización puedan ver los resultados del análisis, haz lo siguiente:

1. En la Google Cloud consola, en la página de BigQuery Curación de metadatos, ve a la pestaña Elaboración de perfiles y calidad de los datos.

   Ir a Perfil y calidad de los datos

2. Haz clic en el análisis de calidad de los datos cuyos resultados quieras compartir.

3. Haz clic en la pestaña Permisos.

4. Sigue estos pasos:

   • Para conceder acceso a un principal, haz clic en Conceder acceso. Asigna el rol Dataplex DataScan DataViewer al principal asociado.
   • Para quitar el acceso a un principal, selecciona el principal al que quieras quitarle el rol Dataplex DataScan DataViewer. Haz clic en Quitar acceso y, a continuación, confirma la acción cuando se te pida.

Solucionar problemas de calidad de los datos

Puedes configurar alertas para los fallos de calidad de los datos mediante los registros de Cloud Logging. Para obtener más información, incluidas consultas de ejemplo, consulta el artículo Definir alertas en Cloud Logging.

En cada tarea con reglas a nivel de fila que falle, Dataplex Universal Catalog proporciona una consulta para obtener los registros fallidos. Ejecuta esta consulta para ver los registros que no coinciden con tu regla.

Nota: La consulta devuelve todas las columnas de la tabla, no solo la columna con errores.

Consola

1. En la Google Cloud consola, en la página de BigQuery Curación de metadatos, ve a la pestaña Elaboración de perfiles y calidad de los datos.

   Ir a Perfil y calidad de los datos

2. Haga clic en el nombre del análisis de calidad de los datos cuyos registros quiera solucionar.

3. Haz clic en la pestaña Historial de trabajos.

4. Haga clic en el ID de la tarea que ha identificado los fallos de calidad de los datos.

5. En la ventana de resultados del trabajo que se abre, en la sección Reglas, busca la columna Consulta para obtener registros fallidos. Haga clic en Copiar consulta en el portapapeles de la regla que ha fallado.

6. Ejecuta la consulta en BigQuery para ver los registros que han provocado que la tarea falle.

gcloud

No es compatible.

REST

1. Para obtener el trabajo que ha identificado los fallos de calidad de los datos, usa el método dataScans.get.

   En el objeto de respuesta, el campo failingRowsQuery muestra la consulta.

2. Ejecuta la consulta en BigQuery para ver los registros que han provocado que la tarea falle.

Gestionar análisis de calidad de datos de una tabla específica

En este documento se explica cómo gestionar los análisis de calidad de los datos de tu proyecto mediante la página Curación de metadatos > Elaboración de perfiles y calidad de los datos de BigQuery en la consolaGoogle Cloud .

También puede crear y gestionar análisis de calidad de los datos cuando trabaje con una tabla específica. En la Google Cloud consola, en la página de BigQuery de la tabla, usa la pestaña Calidad de los datos. Sigue estos pasos:

1. En la Google Cloud consola, ve a la página BigQuery.

   Ir a BigQuery

   En el panel Explorador, seleccione la tabla.

2. Haga clic en la pestaña Calidad de los datos.

3. En función de si la tabla tiene un análisis de calidad de los datos cuyos resultados se publican como metadatos de Dataplex Universal Catalog, puedes trabajar con los análisis de calidad de los datos de la tabla de las siguientes formas:

   • Se publican los resultados del análisis de calidad de los datos: los resultados del análisis más reciente se muestran en la página.

     Para gestionar los análisis de calidad de los datos de esta tabla, haga clic en Análisis de calidad de los datos y, a continuación, elija una de las siguientes opciones:

     • Crear análisis: crea un análisis de calidad de los datos. Para obtener más información, consulta la sección Crear un análisis de calidad de los datos de este documento. Cuando creas un análisis desde la página de detalles de una tabla, esta se selecciona automáticamente.

     • Ejecutar ahora: ejecuta el análisis.

     • Editar configuración de análisis: edita los ajustes, como el nombre visible, los filtros y la programación.

       Para editar las reglas de calidad de los datos, vaya a la pestaña Calidad de los datos y haga clic en la pestaña Reglas. Haz clic en Modificar reglas. Actualiza las reglas y haz clic en Guardar.

     • Gestionar permisos de análisis: controla quién puede acceder a los resultados de los análisis. Para obtener más información, consulta la sección Conceder acceso a los resultados del análisis de calidad de los datos de este documento.

     • Ver resultados históricos: consulta información detallada sobre los trabajos de análisis de calidad de datos anteriores. Para obtener más información, consulta las secciones Ver los resultados de un análisis de calidad de los datos y Ver el historial de resultados de los análisis de este documento.

     • Ver todos los análisis: consulta una lista de los análisis de calidad de los datos que se aplican a esta tabla.

   • Los resultados del análisis de calidad de los datos no se publican: elija una de las siguientes opciones:

     • Crear análisis de calidad de los datos: crea un análisis de calidad de los datos. Para obtener más información, consulta la sección Crear un análisis de calidad de los datos de este documento. Cuando creas un análisis desde la página de detalles de una tabla, esta se selecciona automáticamente.

     • Ver análisis: consulta una lista de análisis de calidad de los datos que se aplican a esta tabla.

Ver los análisis de calidad de los datos de una tabla

Para ver los análisis de calidad de los datos que se aplican a una tabla específica, sigue estos pasos:

1. En la Google Cloud consola, en la página Curación de metadatos de BigQuery, ve a la pestaña Elaboración de perfiles y calidad de los datos.

   Ir a Perfil y calidad de los datos

2. Filtra la lista por nombre de tabla y tipo de análisis.

Actualizar un análisis de calidad de los datos

Puedes editar varios ajustes de un análisis de calidad de datos, como el nombre visible, los filtros, la programación y las reglas de calidad de datos.

Nota: Si una comprobación de calidad de los datos publica los resultados en las páginas Catálogo universal de BigQuery y Catálogo universal de Dataplex de la consolaGoogle Cloud y quieres publicar los resultados de futuras comprobaciones como metadatos del catálogo universal de Dataplex, debes editar la comprobación y volver a habilitar la publicación. Es posible que necesites permisos adicionales para habilitar la publicación de catálogos.

Consola

1. En la Google Cloud consola, en la página de BigQuery Curación de metadatos, ve a la pestaña Elaboración de perfiles y calidad de los datos.

   Ir a Perfil y calidad de los datos

2. Haga clic en el nombre de un análisis de calidad de los datos.

3. Para editar la configuración, como el nombre visible, los filtros y la programación, haz clic en Editar. Edite los valores y haga clic en Guardar.

4. Para editar las reglas de calidad de los datos, en la página de detalles del análisis, haga clic en la pestaña Reglas actuales. Haz clic en Modificar reglas. Actualiza las reglas y, a continuación, haz clic en Guardar.

gcloud

Para actualizar la descripción de un análisis de calidad de los datos, usa el comando gcloud dataplex datascans update data-quality:

gcloud dataplex datascans update data-quality DATASCAN \
--location=LOCATION \
--description=DESCRIPTION

Haz los cambios siguientes:

• DATASCAN: nombre del análisis de calidad de los datos que se va a actualizar.
• LOCATION: la Google Cloud región en la que se creó el análisis de calidad de los datos.
• DESCRIPTION: la nueva descripción del análisis de calidad de los datos.

Nota: Puede actualizar los campos de especificación, como rules, rowFilter o samplingPercent, en el archivo de especificación de calidad de los datos. Consulta las representaciones JSON y YAML.

REST

Para editar un análisis de calidad de los datos, usa el método dataScans.patch.

Eliminar un análisis de calidad de los datos

Consola

1. En la Google Cloud consola, en la página de BigQuery Curación de metadatos, ve a la pestaña Elaboración de perfiles y calidad de los datos.

   Ir a Perfil y calidad de los datos

2. Haz clic en el análisis que quieras eliminar.

3. Haz clic en Eliminar y, a continuación, confirma la acción cuando se te pida.

gcloud

Para eliminar un análisis de calidad de los datos, usa el comando gcloud dataplex datascans delete:

gcloud dataplex datascans delete DATASCAN \
--location=LOCATION \
--async

Sustituye las siguientes variables:

• DATASCAN: nombre del análisis de calidad de los datos que se va a eliminar.
• LOCATION: la Google Cloud región en la que se creó el análisis de calidad de los datos.

REST

Para eliminar un análisis de calidad de los datos, utiliza el método dataScans.delete.

Siguientes pasos

• Más información sobre el gobierno de datos en BigQuery