¿Qué es una malla de datos?

La malla de datos no se trata solo de un nuevo conjunto de herramientas o tecnologías, sino de un cambio en la forma en que las empresas piensan sobre sus datos. Hay cuatro principios fundamentales que guían el enfoque de data mesh. Estos principios son lo que hace que el enfoque sea tan eficaz para resolver los problemas de las arquitecturas de datos tradicionales y centralizadas.

En una arquitectura de datos tradicional, un único equipo central, como un equipo de TI o de ingeniería de datos, es responsable de todos los datos. En una malla de datos, la propiedad de los datos se distribuye entre los dominios empresariales que los crean. Por ejemplo, un equipo de ventas sería propietario de los datos de clientes que genera, y un equipo de marketing sería propietario de los datos de campañas que crea. Esto hace que los equipos sean más responsables de los datos que producen.

Con la propiedad orientada al dominio, los equipos que crean datos también deben tratarlos como un producto. Así como una empresa proporcionaría un producto de alta calidad a un cliente, un equipo de dominio de datos debe proporcionar datos de alta calidad a otros equipos que los necesiten. Esto significa que los datos son fáciles de descubrir, comprender y usar. También debe ser confiable, seguro y estar bien documentado con controles de acceso integrados para que solo las personas adecuadas accedan a los datos destinados a su caso de uso.

Para que sea posible tratar los datos como un producto, una malla de datos utiliza una plataforma de autoservicio. Esta plataforma es un conjunto de herramientas y servicios que permite a los equipos de dominio de datos crear y gestionar fácilmente sus productos de datos sin necesidad de ayuda de un equipo de datos central. Puede tratarse de una plataforma sencilla y fácil de usar que automatiza muchas de las tareas técnicas relacionadas con la gestión de datos, como el almacenamiento, la seguridad y la gobernanza de los mismos.

Como los datos están descentralizados y distribuidos en muchos equipos diferentes, debe haber una forma de garantizar que todos sigan las mismas reglas. Aquí es donde entra en juego la administración computacional federada. Es un modelo en el que un pequeño equipo central establece las reglas y estándares globales para todos los datos. Sin embargo, la aplicación de estas reglas es manejada por los propios equipos de dominio de datos. Esto combina lo mejor de ambos mundos: políticas centralizadas con ejecución descentralizada.

El enfoque de malla de datos se creó para resolver algunos de los problemas comunes de las arquitecturas de datos tradicionales. Estos modelos, como los almacenes de datos o los data lakes que pertenecen a departamentos o equipos individuales, pueden crear silos de datos y riesgos de administración, especialmente a medida que crece una empresa. La malla de datos aborda estos problemas distribuyendo la propiedad y potenciando a los equipos individuales, mientras que mantiene los controles centrales para gobernar y supervisar los datos en todos los dominios.

Dataplex Universal Catalog actúa como una estructura de datos unificada y proporciona una capa de gobernanza central sobre su malla de datos. Puede ayudarte a descubrir, administrar y controlar tus datos distribuidos en varios entornos, lo que garantiza que tengas una única fuente de información para metadatos y políticas. Para empezar, necesitarás crear un lago Dataplex. Un lago Dataplex es un contenedor de nivel superior que almacena sus datos y que normalmente está vinculado a un dominio empresarial.

Aquí están los pasos para crear un lago:

1. En la consola de Google Cloud, navegue a la página Dataplex Universal Catalog Lakes.
2. Después de hacer clic en "Crear", asigne a su nuevo lago un nombre descriptivo, como "Dominio de datos de ventas" o "Malla de datos de marketing".
3. Elige una región para tu lake.
4. Una vez creado el lago, puedes añadir zonas. Una zona es un subdominio dentro de su lago que representa un equipo específico o un contrato de datos. Por ejemplo, dentro del lago de datos "Dominio de datos de ventas", podría crear una zona "Sin procesar" para datos no procesados y una zona "Seleccionada" para datos limpios y listos para producción.
5. Después de crear las zonas, puede adjuntarles recursos. Un activo es el dato real almacenado en un servicio como Cloud Storage o BigQuery. Simplemente debes indicar a la zona Dataplex la ubicación de tus datos.

Luego, Dataplex analiza automáticamente estos recursos para descubrir y catalogar metadatos.

Una parte clave del principio de "datos como producto" es hacer que los datos sean fáciles de descubrir. El uso compartido de datos de BigQuery te permite crear un mercado de productos de datos. Esto permite que los equipos de dominio compartan de forma segura productos de datos con otros equipos sin copiar ni mover los datos. Puede ayudar a los consumidores de datos a encontrar los datos que necesitan y les proporciona una interfaz clara y bien definida para acceder a ellos.

Los servicios sin servidores de Google Cloud permiten a los equipos de dominio crear y administrar sus propios productos de datos con una sobrecarga mínima. BigQuery es un potente almacén de datos sin servidor que permite a los equipos analizar grandes conjuntos de datos de forma rápida y eficiente. Dataflow es un servicio de procesamiento de datos sin servidor que se puede utilizar para crear y automatizar canalizaciones de datos para productos de datos. Estos servicios reducen la necesidad de un equipo central de ingeniería de datos para gestionar la infraestructura, lo que hace que los equipos de dominio sean más autónomos y ágiles.

La administración federada de la computación es el principio de que un equipo central defina reglas globales, pero permita que los equipos de dominio las apliquen. Las condiciones de Identity and Access Management (IAM) de Google Cloud proporcionan las herramientas para implementar esto. Las condiciones de IAM permiten el control de acceso basado en atributos (ABAC), en el que puedes configurar permisos detallados basados en atributos de datos. Por ejemplo, puedes crear una política que solo permita que un usuario acceda a los datos del cliente desde su región específica, lo que ayuda a garantizar el cumplimiento de las reglamentaciones de soberanía de los datos como el RGPD.