Realiza un seguimiento del linaje de datos de una tabla de BigQuery
Linaje de datos te permite hacer un seguimiento de cómo se mueven los datos a través de tus sistemas: de dónde provienen, de dónde al que se pasa y las transformaciones que se le aplican.
Descubre cómo comenzar a usar el seguimiento del linaje de datos para Trabajos de copia y consulta de BigQuery:
Copia dos tablas de un conjunto de datos
new_york_taxi_trips
disponible públicamente.Combina la cantidad total de viajes en taxi de ambas tablas en una tabla nueva.
Mira un gráfico de visualización del linaje para las tres operaciones.
Antes de comenzar
Configura tu proyecto:
- Accede a tu cuenta de Google Cloud. Si eres nuevo en Google Cloud, crea una cuenta para evaluar el rendimiento de nuestros productos en situaciones reales. Los clientes nuevos también obtienen $300 en créditos gratuitos para ejecutar, probar y, además, implementar cargas de trabajo.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.
-
Habilita las API de Data Catalog, BigQuery, and data lineage.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Asegúrate de que la facturación esté habilitada para tu proyecto de Google Cloud.
-
Habilita las API de Data Catalog, BigQuery, and data lineage.
Roles obligatorios
Para obtener los permisos que necesitas para ver los gráficos de visualización de linaje, pídele a tu administrador que te otorgue los siguientes roles de IAM:
-
Visualizador de Data Catalog (
roles/datacatalog.viewer
) en el proyecto de recursos de Data Catalog -
Visualizador de linaje de datos (
roles/datalineage.viewer
) en el proyecto en el que usas BigQuery -
Visualizador de datos de BigQuery (
roles/bigquery.dataViewer
) en el proyecto en el que usas BigQuery
Si quieres obtener más información para otorgar roles, consulta Administra el acceso.
También puedes obtener los permisos necesarios mediante roles personalizados o cualquier otro rol predefinido.
Agrega un conjunto de datos públicos a tu proyecto
En la consola de Google Cloud, ve a la página de BigQuery.
En el panel Explorer, haz clic en Explorer.
En el panel Add, busca
Public datasets
y selecciona Resultado de conjuntos de datos públicos.En el panel de Marketplace, busca
NYC TLC Trips
y haz clic en Resultado de viajes de NYC TLC.Haz clic en Ver conjunto de datos.
En este paso, se agregará el conjunto de datos new_york_taxi_trips a tu proyecto. Los detalles En el panel, se muestra la Información del conjunto de datos, incluida la siguiente información: ID del conjunto de datos, Ubicación de los datos y Última modificación.
Crea un conjunto de datos en tu proyecto
En el panel Explorer, selecciona el proyecto en el que quieres crear la carpeta. de tu conjunto de datos.
Haz clic en el ícono
Acciones y, luego, en Crear. conjunto de datos.En la página Crear conjunto de datos, en el campo ID del conjunto de datos, ingresa lo siguiente:
data_lineage_demo
Deje los otros campos con sus valores predeterminados.Haz clic en Crear conjunto de datos.
En el panel Explorer, haz clic en el elemento
data_lineage_demo
que se agregó recientemente.
En el panel de detalles, se muestra la Información del conjunto de datos.
Copia dos tablas de acceso público en tu conjunto de datos
Abre un editor de consultas: en el panel de detalles, junto a la pestaña llamada
data_lineage_demo
, haz clic en (Redactar consulta nueva). En este paso, se crea una pestaña llamadaUntitled
.En el editor de consultas, copia la primera tabla ingresando el siguiente para cada búsqueda. Reemplaza
PROJECT_ID
por el ID de tu proyecto identificador.CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021` COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2021`
Haz clic en
Ejecutar. Este paso crea la primera tabla, llamadanyc_green_trips_2021
.En el panel Resultados de la consulta, haz clic en Ir a la tabla. En este paso se muestra el contenido de la primera tabla.
En el editor de consultas, copia la segunda tabla reemplazando la anterior. con la siguiente consulta. Reemplaza
PROJECT_ID
por tu del proyecto identificador.CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022` COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022`
Haz clic en
Ejecutar. Este paso crea la segunda tabla, llamadanyc_green_trips_2022
.En el panel Resultados de la consulta, haz clic en Ir a la tabla. En este paso se muestra el contenido de la segunda tabla.
Agrega datos en una tabla nueva
En el editor de consultas, ingresa la siguiente consulta. Reemplazar
PROJECT_ID
por la lista de reproducción de tu proyecto identificador.CREATE TABLE `PROJECT_ID.data_lineage_demo.total_green_trips_22_21` AS SELECT vendor_id, COUNT(*) AS number_of_trips FROM ( SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022` UNION ALL SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021` ) GROUP BY vendor_id
Haz clic en
Ejecutar. Este paso crea una tabla combinada llamadatotal_green_trips_22_21
.En el panel Resultados de la consulta, haz clic en Ir a la tabla. En este paso se muestra la tabla combinada.
Visualiza el gráfico de linaje en Dataplex
Abre la página Búsqueda de Dataplex.
En Elegir plataforma de búsqueda, selecciona Data Catalog como modo de búsqueda.
En el cuadro de búsqueda, ingresa
total_green_trips_22_21
y haz clic en Buscar.En la lista de resultados, haz clic en
total_green_trips_22_21
. En este paso se muestra la pestaña Detalles de la tabla de BigQuery.Haz clic en la pestaña Linaje.
![Captura de pantalla de la tabla total_green_trips_22_21 con el panel de detalles anclado en la parte inferior.](https://cloud.google.com/static/data-catalog/images/lineage_total_end_screen.png?authuser=19&hl=es-419)
En el gráfico de linaje, cada nodo rectangular representa una tabla, ya sea una original, copiada o combinada. Puedes realizar lo siguiente:
Oculta o muestra el origen de una tabla con un clic en + (Expandir) o -. (Contraer).
Mostrar información de la tabla haciendo clic en un nodo En este paso, se muestra un nodo Panel Details.
Para mostrar la información del proceso, haz clic en un
ícono de proceso. En este paso, se muestra el panel Details del proceso en el que se muestra el trabajo que transformó una tabla de origen en una tabla de destino.
![Captura de pantalla de la tabla intermediaria nyc_green_trips_2021 con el panel de detalles anclado en la parte inferior.](https://cloud.google.com/static/data-catalog/images/lineage_intermediary_table_screen.png?authuser=19&hl=es-419)
Limpia
Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.
Borra el proyecto
La manera más fácil de eliminar la facturación es borrar el proyecto que creaste para el instructivo.
Para borrar el proyecto, sigue estos pasos:
- En la consola de Google Cloud, ve a la página Administrar recursos.
- En la lista de proyectos, elige el proyecto que quieres borrar y haz clic en Borrar.
- En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrar el proyecto.
Borra el conjunto de datos
Dirígete a la página de BigQuery.
En el panel Explorer, busca el conjunto de datos
data_lineage_demo
que crear.Haz clic con el botón derecho en el conjunto de datos y selecciona Borrar.
Confirma la acción de borrar.
¿Qué sigue?
- Más información sobre Dataplex y y el linaje de datos.
- Aprende a ejecutar BigQuery del usuario.
- Aprende a usar linaje de datos y visualizar linaje de datos gráficos.
- Obtén más información sobre los precios de Dataplex y facturación.