Ce document décrit Dataplex Catalog, qui fournit une plate-forme permettant de stocker, de gérer et d'accéder à vos métadonnées.
Le catalogue Dataplex fournit un inventaire unifié des ressourcesGoogle Cloud , telles que BigQuery, et d'autres ressources, telles que les ressources sur site. Le catalogue Dataplex récupère automatiquement les métadonnées des ressources Google Cloud , et vous importez les métadonnées des ressources tierces dans le catalogue Dataplex.
Dataplex Catalog vous permet d'enrichir votre inventaire avec des métadonnées métier et techniques supplémentaires afin de capturer le contexte et les connaissances sur vos ressources. Avec le catalogue Dataplex, vous pouvez rechercher et découvrir vos données dans l'ensemble de l'entreprise, et gérer la gouvernance des données sur vos éléments de données.
Vous pouvez définir le catalogue Dataplex comme catalogue par défaut. Si vous utilisez Data Catalog, transférez votre contenu et votre utilisation de Data Catalog vers le catalogue Dataplex. Pour en savoir plus, consultez la page Passer de Data Catalog à Dataplex Catalog.
Cas d'utilisation
Vous pouvez utiliser Dataplex Catalog pour effectuer les opérations suivantes:
Découvrir et comprendre vos données Dataplex Catalog vous permet de visualiser vos ressources de données dans l'ensemble de votre organisation. Il vous permet de trouver des ressources adaptées à vos besoins de consommation de données. Il fournit un contexte pour les ressources de données, ce qui vous aide à comprendre dans quelle mesure elles répondent aux besoins de votre consommateur de données.
Activez la gouvernance et la gestion des données. Le catalogue Dataplex fournit des métadonnées qui peuvent alimenter et optimiser vos fonctionnalités de gouvernance et de gestion des données.
Gérez un dépôt extensible et complet pour vos métadonnées. Dataplex Catalog stocke et fournit l'accès aux métadonnées collectées automatiquement à partir de vos Google Cloud ressources. Vous pouvez intégrer vos propres métadonnées à partir de systèmes autres queGoogle Cloud . Vous pouvez enrichir toutes les métadonnées avec des annotations de métadonnées métier et techniques supplémentaires.
Fonctionnement du catalogue Dataplex
Dataplex Catalog repose sur les concepts suivants:
Entrée: une entrée représente un élément de données. La plupart des métadonnées sont décrites par des aspects dans une entrée. Cela ressemble aux entrées de Data Catalog. Pour en savoir plus, consultez la section Entrées.
Aspect: ensemble de champs de métadonnées associés dans une entrée. Un aspect peut être interprété comme un élément de base d'une entrée ou comme des métadonnées supplémentaires. Cela ressemble aux tags dans Data Catalog, mais les aspects sont stockés dans des entrées et non en tant que ressources autonomes. Pour en savoir plus, consultez la section Aspects.
Type d'aspect: un type d'aspect est un modèle réutilisable pour les aspects. Chaque aspect est une instance d'un type d'aspect. Cela ressemble aux modèles de tags dans Data Catalog. Pour en savoir plus, consultez la section Types d'aspects.
Groupe d'entrées: un groupe d'entrées est un conteneur d'entrées qui sert d'unité de gestion pour ces entrées. Par exemple, utilisez un groupe d'entrées pour configurer le contrôle des accès Identity and Access Management, l'attribution de projets ou l'emplacement des entrées du groupe. Cela ressemble aux groupes d'entrées dans Data Catalog. Pour en savoir plus, consultez la section Groupes d'entrées.
Type d'entrée: un type d'entrée est un modèle permettant de créer des entrées. Il définit les éléments de métadonnées essentiels, présentés sous la forme d'une liste d'aspects obligatoires pour les entrées de ce type. Pour en savoir plus, consultez la section Types d'entrées.
Figure 1. Entrées et groupes d'entrées Figure 2. Types d'aspects et types d'entrées
Voici quelques cas d'utilisation de Dataplex Catalog:
- En tant qu'analyste de données ou analyste commercial, vous pouvez rechercher des entrées dans l'ensemble de l'organisation et explorer les métadonnées qui leur sont associées. Pour en savoir plus, consultez Rechercher des éléments de données.
- En tant que propriétaire ou gestionnaire de données, vous pouvez capturer des métadonnées techniques et métier supplémentaires en annotant vos entrées avec des aspects. Pour en savoir plus, consultez la section Gérer les aspects et enrichir les métadonnées.
- En tant que propriétaire ou gestionnaire de données, vous pouvez assurer la cohérence de vos métadonnées en définissant les normes d'annotation (à l'aide de types d'aspects) et d'entrées personnalisées (à l'aide de types d'entrées). Pour en savoir plus, consultez la section Gérer les aspects et enrichir les métadonnées.
- En tant qu'ingénieur de données, vous pouvez disposer d'un inventaire unifié pour vos ressources, y compris les ressources Google Cloud et celles provenant de systèmes tiers. Les ressourcesGoogle Cloud sont automatiquement collectées par le catalogue Dataplex, et les ressources autres queGoogle Cloud sont collectées par vous. Pour en savoir plus, consultez la section Gérer les entrées et ingérer des sources personnalisées.
Pour les utilisateurs existants de Data Catalog
Si vous utilisez déjà Data Catalog, notez les points suivants:
- Les entrées personnalisées, le contexte d'aperçu et les groupes d'entrées que vous avez créés dans Data Catalog sont disponibles dans le catalogue Dataplex.
- En tant qu'administrateur, vous pouvez choisir de rendre le contenu des modèles de tags et des tags Data Catalog disponible simultanément dans le catalogue Dataplex. Pour en savoir plus, consultez la page Passer de Data Catalog à Dataplex Catalog.
- Lorsque vous recherchez des éléments de données dans le catalogue Dataplex, les métadonnées créées directement dans le catalogue Dataplex et celles importées de Data Catalog vers le catalogue Dataplex sont incluses.
- Lorsque vous recherchez des éléments de données dans Data Catalog, seules les métadonnées créées dans Data Catalog sont incluses.
- Les descriptions de groupe d'entrées dans Data Catalog qui dépassent 1 024 caractères sont tronquées à 1 024 caractères dans le catalogue Dataplex.
Pour savoir comment migrer le contenu et l'utilisation de Data Catalog vers Dataplex Catalog, consultez Passer de Data Catalog à Dataplex Catalog.
Dataplex Catalog par rapport à Data Catalog
Dataplex Catalog vous permet de gérer vos métadonnées dans Dataplex. Il est fourni avec un stockage de métadonnées distinct et un nouvel ensemble de méthodes d'API intégrées à l'API Dataplex.
Voici les principales fonctionnalités du catalogue Dataplex:
Méta-modèle plus robuste
- Entrées saisies. Vous pouvez appliquer des normes minimales de métadonnées en définissant le contenu des métadonnées requises pour les entrées personnalisées.
- Méta-modèle configurable par l'utilisateur pour les entrées personnalisées, qui permet de rendre l'ingestion personnalisée plus robuste et d'améliorer la cohérence et la complétude des métadonnées personnalisées.
- Compatibilité avec une plus grande variété et complexité de métadonnées, y compris la prise en charge des structures imbriquées telles que les listes, les mappages et les tableaux.
Amélioration de l'évolutivité, y compris la possibilité d'interagir avec toutes les métadonnées associées à une entrée via des opérations CRUD atomiques uniques et la possibilité d'extraire plusieurs annotations de métadonnées associées dans les réponses de recherche ou de liste.
Le tableau suivant compare les fonctionnalités de Dataplex Catalog et de Data Catalog:
Fonctionnalité | Dataplex Catalog | Data Catalog |
---|---|---|
Sources Google Cloud compatibles | Toutes les sources décrites dans la section Sources Google Cloud compatibles de ce document. | Toutes les sources décrites dans la section Entrées et groupes d'entrées. |
Ingestion de sources personnalisées | Ingestion dans des entrées personnalisées avec une structure gérée, définie par les types d'entrées. Les entrées et groupes d'entrées personnalisées de Data Catalog sont disponibles dans le catalogue Dataplex sous le type d'entrée | Ingestion dans des entrées personnalisées génériques. |
Enrichissement des métadonnées | Le contexte des métadonnées des entrées est capturé à l'aide d'aspects et de types d'aspects. | Le contexte des métadonnées des entrées est capturé à l'aide de tags et de modèles de tags. |
Rechercher | La recherche est effectuée sur les éléments suivants :
Les résultats de recherche n'incluent que les ressources appartenant à la même organisation et au même périmètre VPC-SC que le projet pour lequel la recherche est effectuée. Lorsque vous utilisez la console Google Cloud, il s'agit du projet sélectionné dans la console. Notez que pour rechercher des entrées, vous devez disposer d'au moins un des rôles IAM du catalogue Dataplex sur le projet utilisé pour la recherche. Les autorisations sur les résultats de recherche sont vérifiées indépendamment du projet sélectionné. |
La recherche est effectuée sur les éléments suivants :
|
Traçabilité des données |
La traçabilité des données récupère les détails des entrées pour les nœuds d'éléments à l'aide de l'API Dataplex. La console Google Cloud affiche les aspects associés. |
La traçabilité des données récupère les détails des entrées pour les nœuds d'éléments à l'aide de l'API Data Catalog. La console Google Cloud affiche les balises associées et les termes du glossaire. |
Le tableau suivant décrit comment les ressources du catalogue Dataplex correspondent aux ressources de Data Catalog:
Ressource du catalogue Dataplex | Ressource Data Catalog | Description |
---|---|---|
Type d'aspect (global ) |
Modèle de tag public | Les modèles de tags sont des ressources régionales. Toutefois, vous pouvez les utiliser pour créer des balises dans plusieurs régions. Les modèles de tags correspondent aux types d'aspects global dans le catalogue Dataplex. |
Aspect facultatif | Balise publique | Les tags publics dans Data Catalog correspondent aux aspects facultatifs dans le catalogue Dataplex. |
Groupe d'entrées | Groupe d'entrées | Pour les sources, les groupes d'entrées système tels que @bigquery sont définis par projet dans le catalogue Dataplex. Google Cloud |
Aspects requis pour les entrées personnalisées | Entrée personnalisée | Data Catalog et le catalogue Dataplex partagent des concepts similaires pour les entrées personnalisées. Les propriétés d'entrée standards sont modélisées en tant qu'aspects obligatoires dans le catalogue Dataplex. |
Aspects requis pour l'entrée dans le système | Saisie du système (Google Cloud) | Les métadonnées décrivant les entités intégrées, telles que Schema pour les tables BigQuery, sont capturées dans les aspects obligatoires des types d'aspects définis par le système. |
Pour en savoir plus sur les fonctionnalités disponibles dans Data Catalog, mais non compatibles avec Dataplex Catalog, consultez la section Fonctionnalités non compatibles avec Dataplex Catalog de ce document.
Sources compatibles
Les métadonnées des sources Google Cloud suivantes sont automatiquement ingérées dans le catalogue Dataplex:
- Échanges et fiches Analytics Hub
- Ensembles de données, tables, modèles, routines, connexions et ensembles de données associés BigQuery
- Instances, clusters et tables Bigtable (y compris les détails des familles de colonnes)
- Dépôts Dataform et composants de code
- Instances, bases de données, schémas, tables et vues Cloud SQL : consultez la section Activer l'intégration Cloud SQL.
- Services, bases de données et tables Dataproc Metastore
- Sujets Pub/Sub
- Instances, bases de données, tables et vues Spanner
- Modèles, ensembles de données, groupes de caractéristiques, vues de caractéristiques et instances de magasin en ligne Vertex AI
Pour importer des métadonnées à partir d'une source tierce dans le catalogue Dataplex, vous pouvez utiliser un pipeline de connectivité géré.
Contraintes liées au projet et à l'emplacement
Les ressources du catalogue Dataplex sont hébergées dans différents projets et emplacements. Les limites suivantes s'appliquent :
Lieu :
- L'emplacement d'une entrée doit correspondre à celui du type d'entrée ou le type d'entrée doit être
global
. - Un aspect ajouté à une entrée doit être basé sur un type d'aspect stocké au même emplacement que l'entrée, ou le type d'aspect doit être
global
. - Un type d'entrée doit être composé de types d'aspects stockés au même emplacement que le type d'entrée.
- L'emplacement d'une entrée doit correspondre à celui du type d'entrée ou le type d'entrée doit être
Projet :
- Si un type d'entrée fait référence à des types d'aspect personnalisés, les types d'aspect doivent se trouver au même emplacement et dans le même projet que le type d'entrée.
Fonctionnalités non disponibles dans le catalogue Dataplex
Les fonctionnalités suivantes disponibles dans Data Catalog ne sont pas compatibles avec le catalogue Dataplex:
- Le concept d'aspects privés et de types d'aspects privés (correspondant aux tags et modèles de tags privés dans Data Catalog) n'existe pas dans le catalogue Dataplex.
- La recherche de tags de stratégie n'est pas prise en charge dans la recherche dans le catalogue Dataplex. Par conséquent, les prédicats
policytag
etpolicytagid
ne fonctionnent pas dans la recherche dans le catalogue Dataplex. - Lorsque vous importez des groupes d'entrées personnalisées, des entrées personnalisées, des modèles de tags et des tags Data Catalog dans le catalogue Dataplex, leurs autorisations d'origine ne sont pas conservées. Vous devez configurer explicitement les autorisations IAM pour les métadonnées copiées avant de les utiliser.
- La compatibilité de Terraform avec la gestion des aspects et des entrées personnalisées n'est pas disponible. Vous pouvez plutôt gérer vos métadonnées personnalisées à grande échelle de manière programmatique à l'aide d'un pipeline de connectivité géré ou des méthodes API d'importation de métadonnées. (Terraform est compatible avec les groupes d'entrées, les types d'entrées et les types d'aspects. Pour en savoir plus, consultez la section Provisionner des ressources Dataplex avec Terraform.)
- L'envoi des résultats d'inspection de la protection des données sensibles directement à Dataplex Catalog n'est pas possible. Vous pouvez plutôt envoyer les résultats de l'inspection de la protection des données sensibles à Data Catalog, puis les transférer vers le catalogue Dataplex.
- Vous ne pouvez pas lister les types d'entrées et les types d'aspects dans les projets à l'aide de l'API. Vous ne pouvez limiter la requête de liste qu'à un seul projet.
- Vous ne pouvez pas associer de termes du glossaire d'entreprise (version Preview) aux colonnes des entrées du catalogue Dataplex.
- L'enregistrement de lacs, de zones, d'éléments et d'entités Dataplex en tant qu'entrées dans le catalogue Dataplex n'est pas possible. De plus, le filtrage par lacs ou zones n'est pas pris en charge lorsque vous utilisez la recherche dans le catalogue Dataplex. Vous pouvez utiliser les lacs et les zones indépendamment du catalogue Dataplex.
- La recherche administrateur, qui garantit un rappel complet, n'est pas prise en charge.
Pour comparer les fonctionnalités et les ressources compatibles avec Dataplex Catalog et Data Catalog, consultez la section Dataplex Catalog par rapport à Data Catalog de ce document.
Tarifs
Dataplex utilise le SKU de stockage de métadonnées pour facturer le stockage de métadonnées. Pour en savoir plus, consultez la page Tarifs de Dataplex.
L'utilisation des éléments suivants est gratuite:
- Créer et gérer des ressources du catalogue Dataplex
- Appels d'API de recherche pour Dataplex Catalog
- Requêtes de recherche effectuées sur la page Dataplex Catalog dans la console Google Cloud
Étape suivante
- Découvrez comment rechercher des ressources dans Dataplex Catalog.
- Découvrez comment gérer les éléments et enrichir les métadonnées.
- Découvrez comment gérer les entrées et ingérer des sources personnalisées.
- Découvrez comment passer de Data Catalog à Dataplex Catalog.