La función Data Catalog de Dataplex es un inventario central de los recursos de datos de una organización. Data Catalog automáticamente categoriza los metadatos de las fuentes de Google Cloud, como BigQuery, Vertex AI, Pub/Sub, Spanner, Bigtable y muchas más. Data Catalog también indexa metadatos de tablas y conjuntos de archivos desde Cloud Storage a través del descubrimiento.
Puedes descubrir datos con la función de búsqueda de metadatos administrados de toda la organización de Dataplex. Puedes enriquecer aún más los metadatos con un contexto empresarial fundamental y habilitar el seguimiento del linaje, la creación de perfiles de datos, las verificaciones de calidad de los datos y las capacidades de control de acceso.
Con Data Catalog, las organizaciones pueden lograr un mejor descubrimiento de datos, la administración de metadatos y la administración.
¿Por qué necesitas Data Catalog?
En la actualidad, la mayoría de las organizaciones se ocupa de una cantidad grande y creciente de recursos de datos.
Las partes interesadas en los datos (como los consumidores, productores y administradores) dentro de una organización se enfrentan a varios desafíos:
Búsqueda de datos detallados:
- Los consumidores de datos no conocen la ubicación ni el origen de los datos. Tienen que navegar por los "pantanos" de datos.
- Los consumidores de datos no saben qué usar para obtener estadísticas porque la mayoría de los datos no está bien documentados y, si están documentados, no están bien guardados.
- No es posible encontrar los datos y, a menudo, se pierden cuando solo pertenecen a la mente de las personas.
Comprensión de los datos:
- ¿Los datos son recientes y están limpios, validados y aprobados para su uso en la producción?
- De los varios conjuntos duplicados, ¿qué conjunto de datos es relevante y está actualizado?
- ¿Cómo se relaciona un conjunto de datos con otro?
- ¿Quién está usando los datos y quién es el propietario?
- ¿Quiénes están transformando los datos y mediante qué procesos?
Uso de los datos útiles:
Los productores de datos no tienen una manera eficiente de presentar sus datos a los consumidores. Si no hay autoservicio, los consumidores pueden abrumar a los productores. Varios ingenieros de datos no pueden proporcionar datos a miles de analistas de datos de forma manual.
Se pierde tiempo valioso si los consumidores de datos tienen que descubrir cómo solicitar acceso a los datos, esperar sin un tiempo de respuesta definido, derivar y esperar de nuevo.
Sin las herramientas correctas, los desafíos se convierten en un gran obstáculo para el uso eficiente de los datos. Data Catalog proporciona un repositorio centralizado que permite a las organizaciones lograr lo siguiente:
- Obtén una vista unificada para reducir la molestia de buscar los datos correctos.
- Respalda la toma de decisiones basada en datos y acelera el tiempo de las estadísticas enriqueciendo los datos con metadatos técnicos y empresariales.
- Mejorar la administración de datos para aumentar la eficiencia y productividad operativa
- Tomar la propiedad sobre los datos para mejorar su confianza.
Funciones de Data Catalog
Data Catalog proporciona tres funciones principales:
- Buscar entradas de datos a las que tienes acceso
- Etiqueta entradas de datos con metadatos
- Proporcionar seguridad a nivel de la columna para las tablas de BigQuery
Además, Data Catalog puede basarse en los resultados de un análisis de Protección de datos sensibles para identificar datos sensibles directamente dentro de Data Catalog en forma de plantillas de etiquetas.
Cómo funciona Data Catalog
Data Catalog puede catalogar metadatos de recursos de diferentes sistemas de Google Cloud.
También puedes usar las APIs de Data Catalog para integrarlas en fuentes de datos personalizadas.
Después de catalogar tus datos, puedes agregar tus propios metadatos a estos activos mediante etiquetas.
Metadatos de Data Catalog
Data Catalog maneja dos tipos de metadatos: metadatos técnicos y metadatos comerciales. Para obtener más información sobre los metadatos, consulta Metadatos de Data Catalog.
Búsqueda y detección
Data Catalog ofrece una experiencia de búsqueda potente basada en predicados para metadatos técnicos y empresariales asociados a una entrada de datos. Debes tener los permisos para leer los metadatos de una entrada de datos a fin de poder aplicar la búsqueda y el descubrimiento en los metadatos. Data Catalog no indexa los datos dentro de una entrada de datos. Data Catalog solo indexa los metadatos que describen un recurso.
Data Catalog controla algunos metadatos, como las etiquetas generadas por usuarios. Para todos los metadatos que se obtienen del sistema de almacenamiento subyacente, Data Catalog es un servicio de solo lectura que refleja los metadatos y los permisos proporcionados por el sistema de almacenamiento subyacente. Puedes realizar ediciones en el sistema de almacenamiento subyacente para agregar, actualizar o borrar los metadatos de una entrada de datos.
Para obtener más información sobre la búsqueda de Data Catalog, consulta Busca recursos de datos con Data Catalog.
Catalogación automática de elementos
Para un proyecto determinado, Data Catalog cataloga automáticamente los siguientes elementos de Google Cloud:
- Conjuntos de datos vinculados de Analytics Hub
- Conjuntos de datos, tablas, modelos, rutinas y conexiones de BigQuery
- Instancias, clústeres y tablas de Bigtable (incluidos los detalles de la familia de columnas)
- Lakes, zonas, tablas y conjuntos de archivos de Dataplex
- Servicios, base de datos y tablas de Dataproc Metastore
- Temas de Pub/Sub
- Instancias, bases de datos, tablas y vistas de Spanner
Modelos de Vertex AI, conjuntos de datos y recursos de Vertex AI Feature Store
Además de catalogar elementos dentro de los ID de proyecto para los que tienes acceso a metadatos, Data Catalog puede catalogar datos almacenados en proyectos de BigQuery que contienen conjuntos de datos públicos.
Catálogo de recursos que no sean de Google Cloud
Para catalogar los metadatos de sistemas que no son de Google Cloud en tu organización, puedes usar lo siguiente:
- Conectores que aporta la comunidad a varias fuentes de datos locales populares
- Compila manualmente en las APIs de Data Catalog para entradas personalizadas.
Accede a Data Catalog
Puedes acceder a las funciones de Data Catalog mediante las siguientes opciones:
Dataplex en la consola de Google Cloud
Interfaz de línea de comandos (CLI)
gcloud
¿Qué sigue?
Para comenzar a usar el etiquetado de Data Catalog, consulta Crea plantillas de etiquetas, etiquetas, descripciones generales y administradores de datos.
Para comenzar con la búsqueda y el descubrimiento de Data Catalog, consulta Busca y visualiza recursos de datos con Data Catalog.
Para integrar tus fuentes de datos, sigue los pasos en Integra Google Cloud y fuentes de datos locales.