Was ist ein Data -Mesh?

Bei Data-Meshs geht es nicht nur um neue Tools oder Technologien, sondern um eine neue Denkweise im Umgang mit Daten. Der Data-Mesh-Ansatz basiert auf vier Grundprinzipien. Diese Prinzipien machen den Ansatz bei der Lösung der Probleme traditioneller, zentralisierter Datenarchitekturen so effektiv.

In einer herkömmlichen Datenarchitektur ist ein einziges zentrales Team, z. B. ein IT- oder Data-Engineering-Team, für alle Daten verantwortlich. In einem Data-Mesh ist die Dateninhaberschaft auf die Geschäftsdomains verteilt, die die Daten erstellen. So gehören beispielsweise die von einem Vertriebsteam generierten Kundendaten diesem Team und die von einem Marketingteam erstellten Kampagnendaten diesem Team. So sind die Teams stärker für die von ihnen erstellten Daten verantwortlich.

Bei der domainorientierten Zuständigkeit müssen die Teams, die Daten erstellen, diese auch wie ein Produkt behandeln. So wie ein Unternehmen Kunden ein hochwertiges Produkt anbieten würde, muss ein Datendomänenteam anderen Teams, die Daten benötigen, hochwertige Daten zur Verfügung stellen. Das bedeutet, dass die Daten leicht zu finden, zu verstehen und zu verwenden sind. Außerdem müssen sie vertrauenswürdig, sicher und gut dokumentiert sein und integrierte Zugriffskontrollen bieten, damit auf Daten nur von den Personen zugegriffen werden kann, die dies in ihrem Anwendungsfall tun können sollen.

Damit Daten als Produkt behandelt werden können, wird in einem Data-Mesh eine Self-Service-Plattform verwendet. Diese Plattform ist eine Sammlung von Tools und Diensten, mit denen Datendomänenteams ihre Datenprodukte einfach erstellen und verwalten können, ohne die Hilfe eines zentralen Datenteams zu benötigen. Es kann sich um eine einfache, nutzerfreundliche Plattform handeln, die viele der technischen Aufgaben im Zusammenhang mit der Datenverwaltung automatisiert, wie z. B. Datenspeicherung, Sicherheit und Governance.

Da die Daten dezentralisiert sind und sich auf viele verschiedene Teams verteilen, muss es eine Möglichkeit geben, sicherzustellen, dass sich alle an dieselben Regeln halten. Hier kommt die föderierte Rechenverwaltung ins Spiel. Bei diesem Modell legt ein kleines, zentrales Team die globalen Regeln und Standards für alle Daten fest. Die Durchsetzung dieser Regeln wird jedoch von den Datendomain-Teams selbst übernommen. So wird das Beste aus beiden Welten vereint: zentralisierte Richtlinien mit dezentraler Ausführung.

Der Data-Mesh-Ansatz wurde entwickelt, um einige der häufigsten Probleme mit herkömmlichen Datenarchitekturen zu lösen. Diese Modelle, wie z. B. Data Warehouses oder Data Lakes, die einzelnen Abteilungen oder Teams gehören, können Datensilos und Governance-Risiken schaffen, insbesondere wenn ein Unternehmen wächst. Das Data-Mesh-Konzept löst diese Probleme, indem es die Eigentümerschaft verteilt und einzelne Teams stärkt, während gleichzeitig zentrale Kontrollen für die Steuerung und Überwachung der Daten über Domains hinweg beibehalten werden.

Der Dataplex Universal Catalog fungiert als einheitliche Datenstruktur und bietet eine zentrale Governance-Ebene für Ihr Data Mesh. Er hilft Ihnen, Ihre verteilten Daten in verschiedenen Umgebungen zu entdecken, zu verwalten und zu steuern und stellt sicher, dass Sie eine einzige verlässliche Datenquelle für Metadaten und Richtlinien haben. Zuerst müssen Sie einen Dataplex-Lake erstellen. Ein Dataplex Lake ist ein übergeordneter Container, der Ihre Daten enthält und typischerweise einer Geschäftsdomäne zugeordnet ist.

Hier sind die Schritte zum Anlegen eines Lake:

1. Gehen Sie in der Google Cloud Console zur Seite Dataplex Universal Catalog Lakes.
2. Nachdem Sie auf „Erstellen“ geklickt haben, geben Sie Ihrem neuen Data Lake einen aussagekräftigen Namen, zum Beispiel „Vertriebsdatendomäne“ oder „Marketing-Datennetz“.
3. Wählen Sie eine Region für Ihren Lake.
4. Sobald der Lake angelegt ist, können Sie Zonen hinzufügen. Eine Zone ist eine Subdomain innerhalb Ihres Data Lakes, die ein bestimmtes Team oder einen bestimmten Datenvertrag repräsentiert. Innerhalb des Data Lake „Sales Data Domain“ könnten Sie beispielsweise eine Zone „Raw“ für unverarbeitete Daten und eine Zone „Curated“ für bereinigte, produktionsreife Daten erstellen.
5. Nachdem Sie Zonen erstellt haben, können Sie diesen Assets zuweisen. Assets sind die eigentlichen Daten, die in einem Dienst wie Cloud Storage oder BigQuery gespeichert sind. Sie verweisen die Dataplex-Zone einfach auf den Speicherort Ihrer Daten.

Dataplex scannt diese Assets anschließend automatisch, um Metadaten zu finden und zu katalogisieren.

Ein wesentlicher Bestandteil des Prinzips „Daten als Produkt“ ist die einfache Auffindbarkeit von Daten. Die BigQuery-Datenweitergabe ermöglicht es Ihnen, einen Marktplatz für Datenprodukte aufzubauen. Dies ermöglicht es Domänenteams, Datenprodukte sicher mit anderen Teams zu teilen, ohne die Daten kopieren oder verschieben zu müssen. Es hilft Datennutzern, die benötigten Daten zu finden, und bietet eine klare, gut definierte Schnittstelle für den Zugriff auf diese Daten.

Mit den serverlosen Diensten von Google Cloud können Domainteams eigene Datenprodukte mit minimalem Aufwand erstellen und verwalten. BigQuery ist ein leistungsstarkes, serverloses Data Warehouse, das es Teams ermöglicht, große Datensätze schnell und effizient zu analysieren. Dataflow ist ein serverloser Datenverarbeitungsdienst, mit dem Datenpipelines für Datenprodukte erstellt und automatisiert werden können. Diese Dienste verringern den Bedarf an einem zentralen Datenentwicklungsteam zur Verwaltung der Infrastruktur und machen Domänenteams autonomer und agiler.

Das Prinzip der föderierten Rechensteuerung besteht darin, dass ein zentrales Team globale Regeln definiert, die dann aber von den Domänenteams durchgesetzt werden. Die Bedingungen des Identitäts- und Zugriffsmanagement (IAM) von Google Cloud liefern die Mittel, um dies umzusetzen. IAM-Bedingungen ermöglichen eine attributbasierte Zugriffssteuerung (ABAC, Attribute-Based Access Control), bei der Sie fein abgestufte Berechtigungen auf Basis von Datenattributen einrichten können. Sie können beispielsweise eine Richtlinie erstellen, die es einem Nutzer nur erlaubt, auf Kundendaten aus seiner Region zuzugreifen. So können Sie für die Einhaltung von Vorschriften zur Datenhoheit wie der DSGVO sorgen.