Concepts du maillage de données

Avant de vous plonger dans le guide détaillé sur le déploiement de Data Mesh avec le framework Cortex de Google Cloud, cette page fournit une base sur la façon dont les concepts de Data Mesh pertinents sont généralement implémentés dans un Google Cloud produit, et plus particulièrement dans le contexte du framework Cortex. Après avoir compris les concepts de Data Mesh, consultez le guide de l'utilisateur de Data Mesh pour Cortex Framework Data Foundation.

Remarque :Pour en savoir plus sur les concepts généraux du maillage de données, consultez la page Créer un maillage de données moderne et distribué avec Google Cloud.

Dataplex

Le tableau suivant définit les concepts de maillage de données dans Dataplex:

Concept	Description	Contexte Cortex Framework
Lac	Unité de premier niveau permettant d'organiser les données dans un réseau de données. Gérez Dataplex - Lacs.	Une source de données, par exemple SAP ECC, Salesforce ou Google Ads.
Zone	Unité de deuxième niveau permettant d'organiser les données dans un lac.	Couches de traitement spécifiques au sein d'une source de données, comme les données brutes par rapport au CDC.
Élément Dataplex	Référence aux données stockées dans Cloud Storage ou BigQuery associées à une zone. Il s'agit d'une référence à l'élément de données et non aux données elles-mêmes.	Référence des ensembles de données BigQuery enregistrés dans des zones.
Libellé	Paires clé-valeur arbitraires pouvant être appliquées à des lacs ou à des zones.	Attribuez des libellés à des lacs ou des zones entiers (plutôt qu'à des tables ou des colonnes) avec des métadonnées pouvant être consultées dans Dataplex ou utilisées pour des applications personnalisées.
Data Catalog	Métadonnées métier techniques qui peuvent être utilisées pour découvrir, comprendre ou gérer des composants de données dans un entrepôt.	Annotez des tables ou des colonnes (plutôt que des lacs ou des zones) avec des tags de métadonnées riches qui peuvent être utilisés dans la recherche Dataplex ou dans des applications personnalisées.
Modèles de tags de catalogue	Modèle définissant les champs disponibles et leurs types dans une balise. Gérer Dataplex - Modèles de balises	Définissez un ensemble de modèles pour des utilisations telles que le taggage d'éléments de données avec des secteurs d'activité.
Balise de catalogue	Ensemble de champs et de valeurs contenant des métadonnées applicables à une table ou à une colonne. Instance d'un modèle de balise.	Annotez un tableau ou une colonne avec des valeurs de métadonnées pertinentes pour cet élément, comme un secteur d'activité particulier.
Glossaire du catalogue	Dictionnaire de termes pouvant être définis et associés aux colonnes BigQuery. Gérez Dataplex - Glossaires.	Définir les termes ou acronymes utilisés dans les composants BigQuery Notez que cette fonctionnalité est prévue pour le futur et n'est pas disponible pour le moment.
Lignée des données	Graphique représentant les dépendances des composants BigQuery	Ces éléments ne sont pas définis par le réseau de données Cortex. Toutefois, il s'agit d'un outil Dataplex pertinent pour aider les utilisateurs à découvrir les sources de données des composants BigQuery.
Événement de traçabilité	Moment où une opération a été effectuée pour déplacer des données entre des composants BigQuery. Contient une liste de liens.	Créées automatiquement pour les opérations BigQuery et Composer compatibles.
Lien de traçabilité	Une arête représentant les données qui transitent d'une source vers un élément cible dans le cadre d'un événement de traçabilité.	Il peut être analysé pour prendre en charge des cas d'utilisation au-delà des graphiques de visualisation de la lignée présentés dans la console.

BigQuery

Le tableau suivant définit les concepts de Data Mesh dans BigQuery:

Concept	Description	Contexte Cortex Framework
Taxonomie des règles	Hiérarchie des tags avec stratégie. Gérez BigQuery - Tags avec stratégie.	Organisez les tags avec stratégie associés qui peuvent être utilisés pour le contrôle des accès dans une hiérarchie avec des autorisations héritées.
Tag avec stratégie	Balise appliquée à des colonnes spécifiques dans une table ou une vue BigQuery. Vous pouvez appliquer des tags de stratégie à n'importe quel niveau de la hiérarchie. Une seule balise de stratégie peut être appliquée à une colonne donnée.	Annotez les colonnes avec des tags utilisés pour le contrôle des accès au niveau des colonnes. Les comptes principaux du tag de stratégie définissent des lecteurs "détaillés" ou "non masqués" qui peuvent voir les données de colonne brutes.
Règles relatives aux données	Stratégies appliquées à un tag avec stratégie qui définissent comment et qui peut afficher les données de colonne masquées.	Les comptes principaux de la stratégie de données définissent les "lecteurs masqués" qui peuvent voir les données de colonne masquées. Toute personne qui ne dispose pas des droits de lecteur masqué ou non masqué ne pourra pas interroger la colonne.
Règle de masquage	Règles appliquées à une stratégie de données qui définissent la manière dont les données sont masquées, par exemple le hachage, l'affichage d'une valeur par défaut, les quatre derniers caractères, etc.	Appliqué de manière ponctuelle aux colonnes sensibles.
Règle d'accès aux lignes	Instructions SQL qui définissent les groupes pouvant interroger les lignes des tables en fonction de valeurs de colonne spécifiques.	Utilisé pour le contrôle des accès au niveau des lignes lorsque le contrôle au niveau des composants et des colonnes est insuffisant.

Concept de Cortex Data Mesh

Le tableau suivant définit des concepts spécifiques de Data Mesh dans Cortex Framework:

Concept	Description	Contexte Cortex Framework
Ressource de métadonnées	Entités de métadonnées pouvant être réutilisées dans plusieurs éléments BigQuery. Il peut s'agir, par exemple, de lacs, de modèles de tags de catalogue et de taxonomies de stratégies. Il s'agit spécifiquement des métadonnées et non des données de BigQuery.	Définit des ressources réutilisables pour permettre une gestion cohérente du Cortex Data Mesh.
Composant BigQuery	Table ou vue BigQuery	Objets BigQuery Cortex existants gérés avec le Data Mesh.
Annotation d'éléments BigQuery	Métadonnées appliquées à une table ou une vue BigQuery spécifique. Cela inclut les descriptions, les stratégies d'accès et les mappages vers les ressources de métadonnées.	Associez des métadonnées aux éléments BigQuery pour permettre la découverte et le contrôle des accès.
Spécification des ressources	Fichier YAML définissant une ressource de métadonnées ou une annotation d'élément BigQuery.	L'ensemble complet des spécifications de ressources codifie la configuration du Data Mesh à déployer.