Soluciona problemas relacionados con el linaje de datos

En esta página, se muestra cómo resolver problemas con el linaje de datos de Data Catalog.

Tipos de proyecto

Como los recursos de datos pueden residir en diferentes proyectos, aquí tienes un resumen de los posibles proyectos y sus nombres de recursos.

Proyecto de almacenamiento de BigQuery

Este proyecto almacena tus recursos de datos de BigQuery. Puedes encontrarlo en los detalles del activo como parte de Table ID, antes del primer punto.

Figure 1. Es el nombre de un proyecto de almacenamiento de BigQuery.

Proyecto de Compute

Este proyecto almacena los metadatos del linaje de datos. En BigQuery, aquí es donde ejecutas un trabajo. Si ejecutas una tarea desde la IU, puedes encontrar el nombre del proyecto de procesamiento en el selector de proyectos:

Figure 2. Es el nombre de un proyecto de procesamiento que ejecuta trabajos de BigQuery.

Cuando envíes solicitudes a la API de BigQuery, especifica el proyecto de procesamiento en la URL, por ejemplo:

POST /bigquery/v2/projects/docs-compute/jobs HTTP/1.1
Host: bigquery.googleapis.com
User-Agent: Go-http-client/1.1
Authorization: <REDACTED 1031 BYTES>
Accept-Encoding: gzip
{
  "configuration": {
    "query": {
      "useLegacySql": false,
      "query": "CREATE OR REPLACE TABLE `docs-target.dataset.target-002` AS SELECT * FROM `docs-source.dataset.source-002`;"
    }
  },
  "jobReference": {
    "projectId": "docs-compute",
    "jobId": "docs-compute-job-id",
    "location": "us",
  }
}

Proyecto activo

Este es el proyecto desde el que estás viendo el linaje de datos. La consola de Google Cloud muestra el proyecto activo en el selector de proyectos. Si usas la API, el proyecto activo es el proyecto desde el que realizas las llamadas a la API.

Figura 3: El proyecto activo en la consola de Google Cloud.

No se muestra el linaje de datos de BigQuery

El siguiente problema ocurre después de ejecutar un trabajo de BigQuery. En este caso, el problema puede deberse a tres situaciones:

• La API de Data Lineage está inhabilitada en el proyecto activo o el proyecto de procesamiento.
• No tienes el visualizador de linaje de datos (roles/datalineage.viewer) en el proyecto activo o de procesamiento.
• Aún no llega el linaje de datos. Según el volumen y la complejidad de los datos que se procesan, el linaje de datos puede tardar entre 30 minutos y 24 horas en mostrarse.

Si ves el mensaje "No se pudo recuperar el linaje debido a que faltan permisos". en la parte inferior de la página, te faltan permisos en el proyecto activo. De lo contrario, te faltan permisos proyecto de procesamiento.

Figura 4. Ejemplo de un linaje que no se muestra en la IU de BigQuery.

Para resolver este problema, primero verifica si la API de Data Lineage está habilitada para el proyecto de procesamiento. Después de habilitar la API, debes ejecutar un trabajo para ver el linaje de datos. Según el volumen y la complejidad de los datos que se procesan, puede demorar desde 30 minutos estándar hasta 24 horas para que se muestre el linaje de datos.

A continuación, verifica si la API de Data Lineage está habilitada para el proyecto activo. Después de habilitar la API, si tienes los permisos necesarios (consulta a continuación), verás el linaje.

Cuando se habilitó la API de Data Lineage, otorga Visualizador de linaje de datos (roles/datalineage.viewer) tanto en los períodos activos y el proyecto de procesamiento.

No se muestran los metadatos del proceso de BigQuery

Descripción del problema

El siguiente problema ocurre cuando abres el panel de detalles de la tabla, que no muestra todos los detalles, como la instrucción de SQL o la propiedad Process type. Esto sucede a pesar de que el linaje de datos se muestra correctamente.

Esto puede suceder cuando no tienes permiso para ver los metadatos en el proyecto de procesamiento.

Ejemplo:

• Tabla de origen de BigQuery: docs-source.dataset.source-001
• Tabla de destino de BigQuery: docs-target.dataset.target-001
• Linaje de datos entre docs-source.dataset.source-001 y docs-target.dataset.target-001 en proyecto de procesamiento docs-compute
• Tienes el rol de Visualizador de linaje de datos para proyectos docs-compute activos y de computación.

Si haces clic en los detalles del proceso de BigQuery, se mostrará el siguiente mensaje:

You don't have permission to view BigQuery process metadata in project X.

En la consola de Google Cloud:

Figura 5. Ejemplo de los detalles del proceso de BigQuery que no se muestran en la IU de BigQuery.

Para resolver este problema, otorga al usuario el permiso bigquery.jobs.get (por ejemplo, incluido en el rol de Visualizador de recursos de BigQuery) en el proyecto de procesamiento.

No se muestran los detalles de la tabla de BigQuery

El siguiente problema ocurre cuando abres el panel de detalles de la tabla, que muestra solo el "Nombre completamente calificado" propiedad. Esto sucede a pesar de que el linaje de datos se muestre correctamente. Esto puede suceder cuando no tienes todos los permisos necesarios en la columna proyectos de almacenamiento.

Ejemplo:

• Tabla de BigQuery docs-source.dataset.source-001,
• Tabla de BigQuery docs-target.dataset.target-001
• linaje de datos entre docs-source.dataset.source-001 y docs-target.dataset.target-001 con el proyecto de procesamiento docs-compute
• Usuario que tiene el rol de Visualizador de linaje de datos para los proyectos docs-compute activos y de procesamiento.

En este caso, cuando el usuario hace clic en los detalles del nodo de BigQuery, puede ver un mensaje Entry with this fully qualified name is not available in the Data Catalog.

Figura 6. Ejemplo de los detalles de la tabla de BigQuery que no se muestran en la IU de BigQuery.

Para resolver este problema, otorga permisos al usuario bigquery.tables.get (por ejemplo, incluidos en el rol de Visualizador de datos de BigQuery) en el proyecto de almacenamiento.