Concetti di Data Mesh

Prima di consultare la guida dettagliata sull'implementazione di Data Mesh con Google Cloud Cortex Framework, questa pagina fornisce le basi per comprendere in che modo i concetti di Data Mesh pertinenti vengono generalmente implementati all'interno di un Google Cloud prodotto e in modo specifico nel contesto di Cortex Framework. Dopo aver acquisito familiarità con i concetti di Data Mesh, consulta la Guida utente di Data Mesh per Cortex Framework Data Foundation.

Dataplex

La seguente tabella definisce i concetti di Data Mesh in Dataplex:

Concept Descrizione Contesto di Cortex Framework
Lago Unità di primo livello per organizzare i dati all'interno di un Data Mesh. Gestisci Dataplex - Lakes. Un'origine dati, ad esempio SAP ECC, Salesforce, Google Ads.
Zona Unità di secondo livello per organizzare i dati all'interno di un lake. Livelli di elaborazione specifici all'interno di un'origine dati, ad esempio dati non elaborati e CDC.
Asset Dataplex Riferimento ai dati archiviati in Cloud Storage o BigQuery associati a una zona. Si tratta di un riferimento alla risorsa di dati e non ai dati stessi. Riferimento ai set di dati BigQuery registrati nelle zone.
Etichetta Coppie chiave-valore arbitrarie che possono essere applicate a lake o zone. Etichetta interi lake o zone (anziché tabelle o colonne) con metadati che possono essere visualizzati in Dataplex o usati per applicazioni personalizzate.
Data Catalog Metadati aziendali tecnici che possono essere utilizzati per contribuire a scoprire, comprendere o gestire gli asset di dati all'interno di un data warehouse. Aggiungi annotazioni a tabelle o colonne (anziché a lake o zone) con tag di metadati avanzati che possono essere utilizzati nella ricerca Dataplex o in applicazioni personalizzate.
Modelli di tag del catalogo Un modello che definisce i campi disponibili e i relativi tipi in un tag. Gestisci Dataplex - Modelli di tag Definisci un insieme di modelli per utilizzi come l'applicazione di tag alle risorse di dati con linee di business.
Tag del catalogo Un insieme di campi e relativi valori che contengono metadati applicabili a una tabella o una colonna. Un'istanza di un modello di tag. Aggiungi annotazioni a una tabella o una colonna con valori di metadati pertinenti all'asset, ad esempio una determinata attività commerciale.
Glossario del catalogo Un dizionario di termini che possono essere definiti e associati alle colonne BigQuery. Gestisci Dataplex - Glossari. Definisci i termini o gli acronimi utilizzati negli asset BigQuery. Tieni presente che questa funzionalità è in programma per il futuro e non è supportata.
Linea di trasmissione dei dati Un grafico che rappresenta le dipendenze degli asset di BigQuery. Questi non sono definiti da Cortex Data Mesh, ma è uno strumento Dataplex pertinente per aiutare gli utenti a scoprire le origini dati degli asset BigQuery.
Evento di derivazione Un punto in cui si è verificata un'operazione per spostare i dati tra asset BigQuery. Contiene un elenco di link. Creato automaticamente per le operazioni di BigQuery e Composer supportate.
Link di derivazione Un bordo che rappresenta i dati che fluiscono da un asset di origine a un asset di destinazione nell'ambito di un evento di derivazione. Può essere analizzato per supportare casi d'uso oltre i grafici di visualizzazione della cronologia presentati nella console.

BigQuery

La seguente tabella definisce i concetti di Data Mesh in BigQuery:

Concept Descrizione Contesto di Cortex Framework
Tassonomia dei criteri Una gerarchia di tag di criteri. Gestisci BigQuery - Tag di policy. Organizza i tag policy correlati che possono essere utilizzati per il controllo degli accessi in una gerarchia con autorizzazioni ereditate.
Tag di criteri Un tag applicato a colonne specifiche all'interno di una tabella o una vista BigQuery. È possibile applicare i tag dei criteri a qualsiasi livello della gerarchia. A una colonna specifica può essere applicato un solo tag criterio. Aggiungi annotazioni alle colonne con i tag utilizzati per il controllo dell'accesso a livello di colonna. Le entità nel tag dei criteri definiscono lettori "granulari" o "non mascherati" che possono vedere i dati non elaborati delle colonne.
Policy relative ai dati I criteri applicati a un tag di criteri che definiscono come e chi può visualizzare i dati delle colonne mascherate. I principali dei criteri dei dati definiscono i "lettori mascherati" che possono vedere i dati delle colonne mascherate. Chiunque non abbia i privilegi di lettore mascherati o non mascherati non potrà eseguire query sulla colonna.
Regola di mascheramento Regole applicate a un criterio relativo ai dati che definiscono la modalità di mascheramento dei dati, ad esempio l'hashing, la visualizzazione di un valore predefinito, gli ultimi quattro caratteri e altri ancora. Applicato in base alla situazione alle colonne sensibili.
Criterio di accesso alle righe Istruzioni SQL che definiscono i gruppi che possono eseguire query sulle righe all'interno delle tabelle in base a valori specifici delle colonne. Utilizzato per il controllo dell'accesso a livello di riga quando il controllo a livello di asset e colonna non è sufficiente.

Concetto di Cortex Data Mesh

La tabella seguente definisce concetti specifici di Data Mesh all'interno di Cortex Framework:

Concept Descrizione Contesto di Cortex Framework
Risorsa metadati Entità di metadati che possono essere riutilizzate su più asset BigQuery. Alcuni esempi sono laghi, modelli di tag di Catalogo e tassonomie delle norme. Si tratta nello specifico dei metadati e non dei dati in BigQuery. Definisce risorse riutilizzabili per consentire una gestione coerente del Cortex Data Mesh.
Asset BigQuery Tabella o visualizzazione BigQuery. Oggetti BigQuery di Cortex esistenti governati con Data Mesh.
Annotazione asset BigQuery Metadati applicati a una tabella o una vista BigQuery specifica. Sono incluse descrizioni, criteri di accesso e mappature alle risorse di metadati. Associa i metadati agli asset BigQuery per abilitare il rilevamento e il controllo dell'accesso.
Specifica della risorsa (spec) Un file YAML che definisce una risorsa di metadati o un'annotazione della risorsa BigQuery. L'insieme completo di specifiche delle risorse codifica la configurazione di Data Mesh da implementare.