Qu'est-ce qu'un maillage de données ?

Un maillage de données ne se limite pas à un nouvel ensemble d'outils ou de technologies. Il s'agit d'un changement dans la façon dont les entreprises envisagent leurs données. L'approche du maillage de données repose sur quatre principes fondamentaux. Ce sont ces principes qui rendent cette approche particulièrement efficace pour résoudre les problèmes des architectures de données traditionnelles et centralisées.

Dans une architecture de données traditionnelle, une seule équipe centrale, comme une équipe informatique ou d'ingénierie des données, est responsable de toutes les données. Dans un maillage de données, la propriété des données est répartie entre les domaines d'activité qui créent les données. Par exemple, une équipe commerciale serait propriétaire des données client qu'elle génère, et une équipe marketing serait propriétaire des données de campagne qu'elle crée. Les équipes sont ainsi plus responsables et redevables des données qu'elles produisent.

Avec la propriété orientée domaine, les équipes qui créent des données doivent également les traiter comme un produit. De la même manière qu'une entreprise fournit un produit de qualité à un client, une équipe chargée d'un domaine de données doit fournir des données de qualité aux autres équipes qui en ont besoin. Cela signifie que les données doivent être faciles à découvrir, à comprendre et à utiliser. Elles doivent également être fiables, sécurisées et bien documentées, avec des contrôles d'accès intégrés pour que seules les personnes autorisées accèdent aux données destinées à leur cas d'utilisation.

Pour que les données puissent être traitées comme des produits, un maillage de données utilise une plate-forme en libre-service. Cette plate-forme est un ensemble d'outils et de services qui permet aux équipes en charge des domaines de données de créer et de gérer facilement leurs produits de données, sans avoir besoin de l'aide d'une équipe de données centrale. Il peut s'agir d'une plate-forme simple et facile à utiliser qui automatise de nombreuses tâches techniques liées à la gestion des données, comme le stockage, la sécurité et la gouvernance.

Comme les données sont décentralisées et réparties entre de nombreuses équipes, il est nécessaire de s'assurer que tout le monde respecte les mêmes règles. C'est là qu'intervient la gouvernance fédérée des calculs. Dans ce modèle, une petite équipe centrale définit les règles et les normes globales pour toutes les données. Cependant, l'application de ces règles est gérée par les équipes en charge de chaque domaine de données. Cette méthode combine le meilleur des deux approches : des règles centralisées et une exécution décentralisée.

L'approche du maillage de données a été créée pour résoudre certains des problèmes courants des architectures de données traditionnelles. Ces modèles, tels que les entrepôts de données ou les lacs de données appartenant à des services ou des équipes spécifiques, peuvent créer des silos de données et des risques de gouvernance, en particulier à mesure qu'une entreprise se développe. Le maillage de données résout ces problèmes en répartissant la propriété et en donnant plus d'autonomie aux équipes, tout en conservant des contrôles centraux pour la gouvernance et la surveillance des données entre les domaines.

Dataplex Universal Catalog agit comme une data fabric unifiée et fournit une couche de gouvernance centrale sur votre maillage de données. Il peut vous aider à découvrir, à gérer et à administrer vos données distribuées dans différents environnements, en garantissant une source de référence unique pour les métadonnées et les règles. Pour commencer, vous devrez créer un lac Dataplex. Un lac Dataplex est un conteneur de premier niveau, généralement associé à un domaine d'activité, qui héberge vos données.

Voici les étapes à suivre pour créer un lac :

1. Dans la console Google Cloud, accédez à la page Lacs Dataplex Universal Catalog.
2. Après avoir cliqué sur "Créer", attribuez un nom descriptif à votre lac (par exemple, "Domaine des données de vente" ou "Maillage des données marketing").
3. Choisissez une région pour votre lac.
4. Une fois le lac créé, vous pouvez ajouter des zones. Une zone est un sous-domaine de votre lac qui représente une équipe ou un contrat de données spécifique. Par exemple, dans le lac "Domaine des données de vente", vous pouvez créer une zone brute pour les données non traitées et une zone organisée pour les données nettoyées et prêtes pour la production.
5. Une fois les zones créées, vous pouvez leur associer des ressources. Une ressource est constituée des données réelles stockées dans un service tel que Cloud Storage ou BigQuery. Il vous suffit d'indiquer l'emplacement de vos données à la zone Dataplex.

Dataplex analyse ensuite automatiquement ces ressources pour identifier et classer les métadonnées.

Un aspect essentiel du principe des "données en tant que produit" est de rendre les données facilement identifiables. Le partage de données BigQuery vous permet de créer une place de marché pour les produits de données. Les équipes de domaines peuvent ainsi partager en toute sécurité des produits de données avec d'autres équipes, sans copier ni déplacer les données. Les consommateurs de données peuvent trouver les données dont ils ont besoin et y accéder via une interface claire et bien définie.

Les services sans serveur de Google Cloud permettent aux équipes métier de créer et de gérer leurs propres produits de données à moindre coût. BigQuery est un entrepôt de données sans serveur puissant qui permet aux équipes d'analyser de grands ensembles de données rapidement et efficacement. Dataflow est un service de traitement de données sans serveur qui permet de créer et d'automatiser des pipelines de données pour les produits de données. Ces services réduisent le besoin d'une équipe centrale d'ingénierie des données pour gérer l'infrastructure, ce qui rend les équipes métier plus autonomes et agiles.

La gouvernance fédérée des calculs est le principe selon lequel une équipe centrale définit les règles globales, mais laisse aux équipes en charge des domaines le soin de les appliquer. Les conditions Identity and Access Management (IAM) de Google Cloud fournissent les outils nécessaires à sa mise en œuvre. Les conditions IAM permettent un contrôle des accès basé sur les attributs (ABAC), où vous pouvez configurer des autorisations précises en fonction des attributs des données. Par exemple, vous pouvez créer une règle qui autorise uniquement un utilisateur à accéder aux données client de sa région, ce qui contribue à rester en conformité avec les réglementations sur la souveraineté des données telles que le RGPD.