Che cos'è il data mesh?

Il data mesh non riguarda solo un nuovo insieme di strumenti o tecnologie, ma un cambiamento nel modo in cui le aziende pensano ai propri dati. Ci sono quattro principi fondamentali che guidano l'approccio data mesh. Questi principi sono ciò che rende l'approccio così efficace nella risoluzione dei problemi delle tradizionali architetture di dati centralizzate.

In un'architettura di dati tradizionale, un singolo team centrale, come un team IT o di data engineering, è responsabile di tutti i dati. In un data mesh, la proprietà dei dati è distribuita tra i domini aziendali che creano i dati. Ad esempio, un team di vendita sarebbe proprietario dei dati dei clienti che genera e un team di marketing sarebbe proprietario dei dati delle campagne che crea. In questo modo, i team sono più responsabili e consapevoli dei dati che producono.

Con la proprietà orientata al dominio, i team che creano i dati devono anche trattarli come un prodotto. Proprio come un'azienda fornisce un prodotto di alta qualità a un cliente, un team del dominio di dati deve fornire dati di alta qualità ad altri team che ne hanno bisogno. Ciò significa che i dati sono facili da rilevare, comprendere e utilizzare. Deve anche essere affidabile, sicuro e ben documentato, con controlli di accesso integrati in modo che solo le persone giuste accedano ai dati destinati al loro caso d'uso.

Per rendere possibile il trattamento dei dati come prodotto, un data mesh utilizza una piattaforma self-service. Questa piattaforma è un insieme di strumenti e servizi che consente ai team del dominio dati di creare e gestire facilmente i propri prodotti dati senza dover ricorrere all'assistenza di un team dati centrale. Può essere una piattaforma semplice e facile da usare che automatizza molte delle attività tecniche coinvolte nella gestione dei dati, come l'archiviazione, la sicurezza e la governance dei dati.

Poiché i dati sono decentralizzati e distribuiti tra molti team diversi, è necessario garantire che tutti seguano le stesse regole. È qui che entra in gioco la governance computazionale federata. È un modello in cui un piccolo team centrale stabilisce le regole e gli standard globali per tutti i dati. Tuttavia, l'applicazione di queste regole è gestita dai team del dominio dati stessi. In questo modo si ottiene il meglio di entrambi i mondi: policy centralizzate con esecuzione decentralizzata.

L'approccio data mesh è stato creato per risolvere alcuni dei problemi comuni delle architetture di dati tradizionali. Questi modelli, come i data warehouse o i data lake di proprietà di singoli reparti o team, possono creare silos di dati e rischi di governance, soprattutto quando un'azienda cresce. Il data mesh affronta questi problemi distribuendo la proprietà e responsabilizzando i singoli team, pur mantenendo i controlli centrali per la gestione e il monitoraggio dei dati tra i domini.

Knowledge Catalog funge da data fabric unificato e fornisce uno strato di governance centrale sul tuo mesh di dati. Può aiutarti a scoprire, gestire e governare i tuoi dati distribuiti in vari ambienti, garantendoti una Single Source of Truth per metadati e policy. Per iniziare, dovrai creare un lake Knowledge Catalog. Un lake Knowledge Catalog è un contenitore di primo livello che contiene i tuoi dati ed è solitamente mappato a un dominio aziendale.

Ecco i passaggi per creare un lake:

1. Nella console Google Cloud, vai alla pagina Knowledge Catalog Lakes.
2. Dopo aver fatto clic su "Crea", assegna al nuovo lake un nome descrittivo, ad esempio "Dominio dati di vendita" o "Mesh di dati di marketing".
3. Scegli una regione per il tuo lake.
4. Una volta creato il lake, è possibile aggiungere zone. Una zona è un sottodominio all'interno del tuo lake che rappresenta un team specifico o un contratto di dati. Ad esempio, all'interno del lake "Sales Data Domain" (Dominio dei dati di vendita), potresti creare una zona "Raw" (Non elaborata) per i dati non elaborati e una zona "Curated" (Curata) per i dati puliti e pronti per la produzione.
5. Dopo aver creato le zone, è possibile associarvi degli asset. Un asset è costituito dai dati effettivamente archiviati in un servizio come Cloud Storage o BigQuery. Devi solo indicare alla zona Knowledge Catalog la posizione dei tuoi dati.

Knowledge Catalog esegue quindi automaticamente la scansione di questi asset per scoprire e catalogare i metadati.

Una parte fondamentale del principio "dati come prodotto" è rendere i dati facilmente rilevabili. La condivisione dei dati di BigQuery ti consente di creare un marketplace di prodotti di dati. Ciò consente ai team di dominio di condividere in modo sicuro i prodotti di dati con altri team senza dover copiare o spostare i dati. Può aiutare i consumatori di dati a trovare i dati di cui hanno bisogno e fornisce loro un'interfaccia chiara e ben definita per accedervi.

I servizi serverless di Google Cloud consentono ai team di dominio di creare e gestire i propri prodotti dati con un overhead minimo. BigQuery è un data warehouse serverless potente che consente ai team di analizzare grandi set di dati in modo rapido ed efficiente. Dataflow è un servizio di elaborazione dei dati serverless che può essere utilizzato per creare e automatizzare pipeline di dati per prodotti di dati. Questi servizi riducono la necessità di un team centrale di data engineering per gestire l'infrastruttura, rendendo i team di dominio più autonomi e agili.

La governance computazionale federata è il principio secondo cui un team centrale definisce le regole globali, ma consente ai team di dominio di applicarle. Le condizioni di Identity and Access Management (IAM) di Google Cloud forniscono gli strumenti per implementare questo aspetto. Le condizioni IAM consentono il controllo dell'accesso basato su attributi (ABAC), in cui puoi configurare autorizzazioni granulari in base agli attributi dei dati. Ad esempio, è possibile creare una policy che consenta a un utente di accedere ai dati dei clienti solo dalla propria area geografica specifica, contribuendo a garantire la conformità alle normative sulla sovranità dei dati come il GDPR.