Che cos'è il data mesh?

Il data mesh non riguarda solo un nuovo insieme di strumenti o tecnologie, ma un cambiamento nel modo in cui le aziende pensano ai propri dati. Ci sono quattro principi fondamentali che guidano l'approccio data mesh. Questi principi sono ciò che rende l'approccio così efficace nella risoluzione dei problemi delle tradizionali architetture di dati centralizzate.

In un'architettura di dati tradizionale, un singolo team centrale, come un team IT o di data engineering, è responsabile di tutti i dati. In un data mesh, la proprietà dei dati è distribuita tra i domini aziendali che creano i dati. Ad esempio, un team di vendita sarebbe proprietario dei dati dei clienti che genera e un team di marketing sarebbe proprietario dei dati delle campagne che crea. In questo modo, i team sono più responsabili e consapevoli dei dati che producono.

Con la proprietà orientata al dominio, anche i team che creano i dati devono trattarli come un prodotto. Proprio come un'azienda fornisce un prodotto di alta qualità a un cliente, un team di dominio dati deve fornire dati di alta qualità ad altri team che ne hanno bisogno. Ciò significa che i dati sono facili da rilevare, comprendere e utilizzare. Deve inoltre essere affidabile, sicuro e ben documentato, con controlli di accesso integrati, in modo che le persone giuste possano accedere solo ai dati destinati al loro caso d'uso.

Per rendere possibile il trattamento dei dati come prodotto, un data mesh utilizza una piattaforma self-service. Questa piattaforma è un insieme di strumenti e servizi che consente ai team del dominio dati di creare e gestire facilmente i propri prodotti dati senza dover ricorrere all'assistenza di un team dati centrale. Può essere una piattaforma semplice e facile da usare che automatizza molte delle attività tecniche coinvolte nella gestione dei dati, come l'archiviazione, la sicurezza e la governance dei dati.

Poiché i dati sono decentralizzati e distribuiti tra molti team diversi, è necessario trovare un modo per garantire che tutti seguano le stesse regole. Ed è qui che entra in gioco la governance computazionale federata. Si tratta di un modello in cui un piccolo team centrale stabilisce le regole e gli standard globali per tutti i dati. Tuttavia, l'applicazione di queste regole è gestita dagli stessi team del dominio dei dati. In questo modo si ottiene il meglio di entrambi i mondi: policy centralizzate con esecuzione decentralizzata.

L'approccio data mesh è stato creato per risolvere alcuni dei problemi comuni delle architetture di dati tradizionali. Questi modelli, come i data warehouse o i data lake di proprietà di singoli reparti o team, possono creare silos di dati e rischi di governance, soprattutto quando un'azienda cresce. Il data mesh affronta questi problemi distribuendo la proprietà e responsabilizzando i singoli team, pur mantenendo i controlli centrali per la gestione e il monitoraggio dei dati tra i domini.

Dataplex Universal Catalog funge da data fabric unificato e fornisce un livello di governance centrale sulla tua rete di dati. Può aiutarti a scoprire, gestire e governare i tuoi dati distribuiti in vari ambienti, garantendoti un'unica fonte attendibile per metadati e policy. Per iniziare, dovrai creare un lake Dataplex. Un lake Dataplex è un contenitore di primo livello che contiene i tuoi dati ed è solitamente mappato a un dominio aziendale.

Ecco i passaggi per creare un lake:

1. Nella console Google Cloud, vai alla pagina Lake di Dataplex Universal Catalog.
2. Dopo aver fatto clic su "Crea", assegna al nuovo lake un nome descrittivo, ad esempio "Sales Data Domain" o "Marketing Data Mesh".
3. Scegli una regione per il tuo lake.
4. Una volta creato il lake, è possibile aggiungere zone. Una zona è un sottodominio all'interno del tuo lake che rappresenta un team specifico o un contratto dati. Ad esempio, all'interno del lake "Sales Data Domain", è possibile creare una zona "Raw" per i dati non elaborati e una zona "Curated" per i dati puliti e pronti per la produzione.
5. Dopo aver creato le zone, è possibile associarvi degli asset. Un asset è costituito dai dati effettivamente archiviati in un servizio come Cloud Storage o BigQuery. Basta semplicemente puntare la zona Dataplex alla posizione dei dati.

Dataplex esegue quindi automaticamente la scansione di questi asset per scoprire e catalogare i metadati.

Un aspetto fondamentale del principio "dati come prodotto" è rendere i dati facilmente reperibili. La condivisione dei dati di BigQuery ti consente di creare un marketplace di prodotti di dati. Ciò consente ai team di dominio di condividere in modo sicuro i prodotti di dati con altri team senza dover copiare o spostare i dati. Può aiutare i consumatori di dati a trovare i dati di cui hanno bisogno e fornisce loro un'interfaccia chiara e ben definita per accedervi.

I servizi serverless di Google Cloud consentono ai team di dominio di creare e gestire i propri prodotti dati con un overhead minimo. BigQuery è un potente data warehouse serverless che consente ai team di analizzare grandi set di dati in modo rapido ed efficiente. Dataflow è un servizio di elaborazione dati serverless che può essere utilizzato per creare e automatizzare pipeline di dati per prodotti di dati. Questi servizi riducono la necessità di un team centrale di data engineering per gestire l'infrastruttura, rendendo i team di dominio più autonomi e agili.

La governance computazionale federata è il principio secondo cui un team centrale definisce le regole globali, consentendo però ai team di dominio di applicarle. Le condizioni di Identity and Access Management (IAM) di Google Cloud forniscono gli strumenti per implementare questa funzionalità. Le condizioni IAM consentono il controllo dell'accesso basato su attributi (ABAC), in cui puoi configurare autorizzazioni granulari in base agli attributi dei dati. Ad esempio, è possibile creare una policy che consenta a un utente di accedere ai dati dei clienti solo dalla propria area geografica specifica, contribuendo a garantire la conformità alle normative sulla sovranità dei dati come il GDPR.