¿Qué es una malla de datos?

La malla de datos no es solo un nuevo conjunto de herramientas o tecnologías, sino un cambio en la forma en que las empresas piensan sobre sus datos. Hay cuatro principios fundamentales que guían el enfoque de la malla de datos. Estos principios son los que hacen que el enfoque sea tan eficaz a la hora de resolver los problemas de las arquitecturas de datos centralizadas tradicionales.

En una arquitectura de datos tradicional, un único equipo central, como el de TI o el de ingeniería de datos, es responsable de todos los datos. En una malla de datos, la propiedad de los datos se distribuye entre los dominios empresariales que los crean. Por ejemplo, el equipo de Ventas sería el propietario de los datos de clientes que genera, y el equipo de Marketing, de los datos de campañas que crea. De esta forma, los equipos son más responsables de los datos que producen.

Con la propiedad orientada a los dominios, los equipos que crean datos también deben tratarlos como un producto. Al igual que una empresa ofrece un producto de alta calidad a un cliente, un equipo de dominio de datos debe proporcionar datos de alta calidad a otros equipos que los necesiten. Esto significa que los datos son fáciles de descubrir, entender y usar. También debe ser fiable, seguro y estar bien documentado, con controles de acceso integrados para que solo las personas adecuadas puedan acceder a los datos destinados a su caso práctico.

Para que el tratamiento de los datos como producto sea posible, una malla de datos utiliza una plataforma de autoservicio. Esta plataforma es un conjunto de herramientas y servicios que permite a los equipos de dominios de datos crear y gestionar fácilmente sus productos de datos sin necesidad de ayuda de un equipo de datos central. Puede ser una plataforma sencilla y fácil de usar que automatice muchas de las tareas técnicas que implica la gestión de datos, como el almacenamiento, la seguridad y la gobernanza de datos.

Como los datos están descentralizados y repartidos entre muchos equipos diferentes, debe haber una forma de asegurarse de que todos siguen las mismas reglas. Aquí es donde entra en juego la gobernanza computacional federada. Es un modelo en el que un equipo central reducido establece las reglas y los estándares globales para todos los datos. Sin embargo, la aplicación de estas reglas la gestionan los propios equipos de dominio de datos. De esta forma, se combinan las ventajas de ambos enfoques: políticas centralizadas con ejecución descentralizada.

El enfoque de malla de datos se creó para resolver algunos de los problemas habituales de las arquitecturas de datos tradicionales. Estos modelos, como los almacenes de datos o los data lakes propiedad de departamentos o equipos individuales, pueden crear silos de datos y riesgos de gobernanza, especialmente a medida que una empresa crece. La malla de datos aborda estos problemas distribuyendo la propiedad y capacitando a los equipos individuales, al tiempo que mantiene los controles centrales para gobernar y monitorizar los datos en todos los dominios.

Dataplex Universal Catalog actúa como un tejido de datos unificado y proporciona una capa de gobernanza central sobre su malla de datos. Puede ayudarle a descubrir, gestionar y gobernar sus datos distribuidos en diversos entornos, garantizando que disponga de una única fuente de información veraz para los metadatos y las políticas. Para empezar, necesitarás crear un lago de Dataplex. Un lago de Dataplex es un contenedor de nivel superior que almacena tus datos y que suele asignarse a un dominio empresarial.

Aquí están los pasos para crear un lago:

1. En la consola de Google Cloud, navega a la página Lagos de Dataplex Universal Catalog.
2. Después de hacer clic en "Crear", ponle un nombre descriptivo a tu nuevo lago de datos, como "Dominio de datos de ventas" o "Malla de datos de marketing".
3. Elige una región para el lago.
4. Una vez creado el lago, puedes añadir zonas. Una zona es un subdominio dentro de su lago que representa un equipo específico o un contrato de datos. Por ejemplo, en el data lake "Sales Data Domain", puedes crear una zona "Raw" para los datos sin procesar y una zona "Curated" para los datos limpios y listos para la producción.
5. Después de crear las zonas, puede adjuntar recursos. Un activo es el dato real almacenado en un servicio como Cloud Storage o BigQuery. Simplemente debes indicar a la zona de Dataplex la ubicación de tus datos.

A continuación, Dataplex analiza automáticamente esos recursos para descubrir y catalogar los metadatos.

Una parte fundamental del principio de "datos como producto" es hacer que los datos sean fáciles de descubrir. Los datos compartidos de BigQuery te permite crear un mercado de productos de datos. Esto permite a los equipos de dominio compartir de forma segura productos de datos con otros equipos sin copiar ni mover los datos. Puede ayudar a los consumidores de datos a encontrar los datos que necesitan y les proporciona una interfaz clara y bien definida para acceder a ellos.

Los servicios sin servidor de Google Cloud permiten a los equipos de dominio crear y gestionar sus propios productos de datos con una sobrecarga mínima. BigQuery es un potente almacén de datos sin servidor que permite a los equipos analizar grandes conjuntos de datos de forma rápida y eficiente. Dataflow es un servicio de procesamiento de datos sin servidor que se puede utilizar para crear y automatizar canalizaciones de datos para productos de datos. Estos servicios reducen la necesidad de un equipo central de ingeniería de datos para gestionar la infraestructura, lo que hace que los equipos de dominio sean más autónomos y ágiles.

La gobernanza computacional federada se basa en el principio de que un equipo central defina las reglas globales, pero permitiendo que los equipos de dominio las hagan cumplir. Las condiciones de gestión de identidad y acceso (IAM) de Google Cloud proporcionan las herramientas para implementar esto. Las condiciones IAM permiten el control de acceso basado en atributos (ABAC), donde se pueden configurar permisos detallados basados en atributos de datos. Por ejemplo, puedes crear una política que solo permita a un usuario acceder a los datos de clientes de su región específica, lo que ayuda a garantizar el cumplimiento de las normativas de soberanía de los datos como el RGPD.