Gérer les éléments de données à l'aide de Data Catalog

Data Catalog est une fonctionnalité de Dataplex qui catalogue automatiquement les métadonnées concernant les ressources Bigtable. Cette fonctionnalité aide votre organisation à rechercher et à gérer vos éléments de données Bigtable.

Les métadonnées sont automatiquement synchronisées de Bigtable vers Data Catalog pour les ressources Bigtable suivantes:

  • Instances
  • Clusters
  • Tables, y compris les détails des familles de colonnes

Data Catalog est un service de gestion des métadonnées entièrement géré au sein de Dataplex. Elle fournit des mécanismes de vue et d'ajout de tags unifiés pour les métadonnées techniques et métier. Pour en savoir plus sur Data Catalog et découvrir pourquoi l'utiliser, consultez la page Qu'est-ce que Data Catalog.

Avantages de l'utilisation de Data Catalog avec Bigtable

Les informations Data Catalog relatives à vos données peuvent faciliter l'analyse, la réutilisation des données, le développement d'applications et la gestion des données.

Vous pouvez rechercher des entrées dans Data Catalog par nom de ressource ou par détails. Par exemple, vous pouvez rechercher le nom d'une instance pour trouver l'entrée correspondant à une instance, ou bien une famille de colonnes pour trouver l'entrée d'une table. Vous pouvez également utiliser une recherche par attribut en appliquant des filtres pour affiner votre recherche. Pour en savoir plus, consultez Rechercher et afficher des éléments de données avec Data Catalog.

L'ajout de tags aux éléments de données peut vous aider à comprendre et à cataloguer les données disponibles dans vos tables Bigtable. Cela vous permet de les rendre plus visibles et plus faciles à trouver pour d'autres utilisateurs de Data Catalog, et dans le cadre de votre infrastructure de données plus vaste. Vous pouvez utiliser des tags pour ajouter vos propres métadonnées à vos métadonnées cataloguées, puis les utiliser pour effectuer des recherches.

Premiers pas avec Data Catalog

Pour commencer à gérer vos éléments de données Bigtable à l'aide de Data Catalog, procédez comme suit:

  1. Si vous ne connaissez pas Data Catalog, activez l'API.

  2. Accordez des rôles IAM aux comptes principaux qui ont besoin d'accéder aux entrées Bigtable dans Data Catalog.

  3. Découvrez comment rechercher des éléments de données en consultant la page Effectuer une recherche avec Data Catalog.

  4. Consultez la syntaxe de recherche dans Data Catalog pour comprendre comment trouver vos métadonnées.

  5. Consultez la page sur les tags et modèles de tag pour découvrir les concepts d'ajout de tags aux entrées Data Catalog.

Méthodes de recherche des métadonnées Bigtable

Vous pouvez rechercher des métadonnées Bigtable synchronisées à l'aide de Data Catalog.

En plus des qualificatifs standards, vous pouvez rechercher des ressources Bigtable à l'aide des éléments suivants:

  • Instance

    • Nom de l'instance Bigtable
    • ID de l'instance Bigtable
    • Emplacement du cluster
    • ID du cluster

  • Table

    • ID de la table
    • Nom de la famille de colonnes
    • Nom de l'instance Bigtable
    • ID de l'instance Bigtable

Rôles requis

L'affichage, l'ajout de tags et la recherche de ressources Bigtable dans Data Catalog sont soumis à des exigences différentes en termes d'autorisations. En règle générale, attribuez aux comptes principaux de votre organisation le rôle minimal requis pour accomplir une tâche.

Autorisation d'afficher les tags publics et privés

Pour obtenir les autorisations nécessaires pour afficher les tags publics et privés sur les ressources Bigtable, demandez à votre administrateur de vous attribuer les rôles IAM suivants:

Ces rôles prédéfinis contiennent les autorisations requises pour afficher les tags publics et privés. Voici les autorisations exactes requises:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • datacatalog.tagTemplates.getTag

Autorisation de rechercher des ressources Bigtable

Pour obtenir les autorisations nécessaires pour rechercher des ressources Bigtable dans Data Catalog, demandez à votre administrateur de vous attribuer les rôles IAM suivants:

Ces rôles prédéfinis contiennent les autorisations requises pour rechercher des ressources Bigtable. Les autorisations exactes requises sont les suivantes:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Autorisation d'associer des tags aux ressources Bigtable

Pour obtenir les autorisations dont vous avez besoin pour associer des tags aux ressources Bigtable dans Data Catalog, demandez à votre administrateur de vous attribuer les rôles IAM suivants:

Ces rôles prédéfinis contiennent les autorisations requises pour ajouter des tags publics et privés. Voici les autorisations exactes requises:

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • datacatalog.tagTemplates.use
  • datacatalog.entries.updateTag

(Facultatif) Créer un rôle personnalisé

Vous pouvez créer un rôle personnalisé à accorder aux utilisateurs qui ont besoin d'un accès complet à toutes les métadonnées Bigtable dans Data Catalog dans l'ensemble de votre projet ou organisation. Vous pouvez ensuite définir n'importe quel utilisateur ou compte de service qui a besoin d'accéder à un compte principal du rôle personnalisé. Pour en savoir plus sur les rôles personnalisés, consultez la section Rôles et autorisations.

Choisissez un nom explicite pour le rôle, par exemple Éditeur Bigtable Data Catalog, puis attribuez uniquement les comptes principaux qui ont besoin d'accéder au rôle. Pour obtenir des instructions de configuration, consultez la section Créer un rôle personnalisé.

Accordez les autorisations suivantes au rôle personnalisé:

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • datacatalog.tagTemplates.getTag
  • datacatalog.tagTemplates.use

Pour en savoir plus sur les autorisations Data Catalog, consultez la section Rôles pour la recherche de ressources Google Cloud. Pour obtenir une description des autorisations Bigtable, consultez la section Autorisations.

Contraintes connues

La section suivante répertorie certaines contraintes à prendre en compte avant d'utiliser Data Catalog pour gérer vos métadonnées Bigtable.

Contraintes de localisation

Si votre organisation a mis en place des contraintes liées à l'emplacement, il se peut que les entrées de métadonnées de vos ressources Bigtable ne soient pas synchronisées avec Data Catalog. Toutes les entrées créées avant l'application des contraintes d'emplacement sont conservées par Data Catalog.

Pour permettre à Data Catalog de charger des ressources, nous vous recommandons d'ajouter l'emplacement multirégional global à votre règle d'emplacement.

Exception de nom de famille de colonnes

L'API Data Catalog rejette les requêtes dont le nom de famille de colonnes inclut un point (.). Par exemple, si le nom de la famille de colonnes est personal.info.

Étapes suivantes