Utiliser le magasin d'attributs Dataplex

Preview

This feature is subject to the "Pre-GA Offerings Terms" in the General Service Terms section of the Service Specific Terms. Pre-GA features are available "as is" and might have limited support. For more information, see the launch stage descriptions.

Ce document explique comment utiliser le Dataplex Attribute Store.

Le magasin d'attributs Dataplex est une infrastructure extensible qui vous permet de spécifier des comportements liés aux règles sur les ressources associées. Les administrateurs Dataplex peuvent utiliser Attribute Store pour définir la manière dont certaines données doivent être traitées en les associant à des attributs.

Avec Attribute Store, vous pouvez ajouter plusieurs attributs à un objet, comme une colonne. Attribute Store fusionne les comportements de tous les attributs associés à un objet et les présente sous la forme d'une seule règle sur la ressource sous-jacente.

Vous pouvez définir des attributs pour les ensembles de données publiés. Les ensembles de données publiés font référence aux ensembles de données créés par Dataplex à partir des tables découvertes dans un composant bucket.

Les comportements de règles suivants sont acceptés:

• Spécifications de ressources: spécifie l'accès à une ressource, telle qu'une table
• Spécifications de colonne: spécifie l'accès à une colonne d'une table BigQuery

Vous pouvez utiliser le magasin d'attributs pour définir une hiérarchie d'attributs appelée taxonomie. Dans une taxonomie, un attribut enfant hérite des spécifications de la hiérarchie des attributs parents. Les spécifications du parent sont fusionnées dans une liste unifiée, qui est propagée à la ressource.

Vous pouvez utiliser le Dataplex Attribute Store pour effectuer les opérations suivantes:

• Créez des taxonomies.
• Créez des attributs et organisez-les dans une hiérarchie.
• Associez un ou plusieurs attributs à des tables.
• Associez un ou plusieurs attributs à des colonnes.

Terminologie

Cette section décrit la terminologie utilisée dans ce document.

Taxonomie des attributs

Une taxonomie de données est une hiérarchie d'attributs. Dans une taxonomie, les attributs des nœuds parents permettent aux attributs situés en dessous (attributs enfants) d'hériter des spécifications de comportement des attributs parents et d'y ajouter les leurs.

Par exemple : si un attribut nommé PII a une spécification de ressource [e-mail] et qu'un attribut enfant de PII nommé Social Security numbers a une spécification de ressource [e-mail], les spécifications de ressource appliquées aux règles auxquelles l'attribut Social Security numbers est associé seront [e-mail] et [e-mail].

Lorsque vous définissez un attribut, vous pouvez choisir s'il s'agit d'un attribut parent ou enfant. Lorsque vous définissez un attribut enfant, vous devez spécifier son attribut parent.

Spécifications des colonnes

Spécifications de comportement pour les colonnes. Il spécifie les personnes ou les groupes ayant accès en tant que lecteurs aux colonnes. Si vous associez un attribut contenant une spécification de colonne à la colonne d'une table, un tag avec stratégie de colonne BigQuery est ajouté à cette colonne.

Spécifications des ressources

Autorisations accordées aux personnes ou aux groupes pour accéder aux ressources (tables). Si vous associez un attribut à une spécification de ressource, Dataplex propage les rôles IAM aux utilisateurs spécifiés pour qu'ils puissent accéder aux tables associées à l'attribut.

Avant de commencer

Limites

Dataplex propage les règles de spécification des colonnes en tant que tags avec stratégie BigQuery. BigQuery limite une stratégie par colonne. Si un tag de stratégie existe déjà dans une colonne, Dataplex génère une erreur dans le journal de gouvernance de l'onglet Gérer.

Quotas

Voici les quotas et limites qui s'appliquent au Dataplex Attribute Store:

Limite	Par défaut
Nombre maximal de taxonomies dans une région	100
Nombre maximal d'attributs dans toutes les taxonomies d'une région	10 000
Nombre maximal d'attributs pouvant être associés à une ressource (table)	50
Nombre maximal d'attributs pouvant être associés à une colonne	100
Profondeur maximale par arbre d'attributs de données dans une taxonomie d'attributs	4

Rôles requis

Pour obtenir les autorisations nécessaires pour utiliser le magasin d'attributs Dataplex, demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet:

• Gérer les taxonomies et les attributs : Administrateur de taxonomies Dataplex (roles/dataplex.taxonomyAdmin)
• Afficher les liaisons associées aux ressources et aux attributs : Lecteur de taxonomies Dataplex (roles/dataplex.taxonomyViewer)
• Créez et gérez des ressources de liaison dans un projet :
  • Administrateur de liaisons Dataplex (roles/dataplex.bindingAdmin)
  • Administrateur Dataplex (roles/dataplex.admin sur la ressource de zone)
• Gérer les spécifications d'accès aux ressources et aux données : Administrateur de sécurité Dataplex (roles/dataplex.securityAdmin)

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ces rôles prédéfinis contiennent les autorisations requises pour utiliser le magasin d'attributs Dataplex. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Vous devez disposer des autorisations suivantes pour utiliser le magasin d'attributs Dataplex:

• Gérer les taxonomies et les attributs :
  • dataplex.datataxonomies.*
  • dataplex.dataattributes.* (except dataplex.dataattributes.configureResourceAccess and dataplex.dataattributes.configureDataAccess)
• Afficher les liaisons associées aux ressources et aux attributs :
  • dataplex.datataxonomies.get
  • dataplex.datataxonomies.list
  • dataplex.dataattributes.get
  • dataplex.dataattributes.list
  • dataplex.dataattributebindings.get
  • dataplex.dataattributebindings.list
• Créez et gérez des ressources de liaison dans un projet : dataplex.dataattributebindings.*
• Gérer les spécifications d'accès aux ressources et aux données :
  • dataplex.datataxonomies.configureResourceAccess
  • dataplex.datataxonomies.configureDataAccess

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Exemples de cas d'utilisation

Prenons l'exemple d'une entreprise nommée ACME qui dispose de trois types de données:

• Red données sensibles
• Green Données restreintes, mais moins sensibles
• Données non catégorisées

L'administrateur Dataplex de ACME crée l'ensemble d'attributs suivant:

• Attribut: Red

  • Spécifications de la colonne: secrets_team@acme avec autorisation de lecture
  • Spécifications des ressources: secrets_team@acme et tenured_employees@acme avec autorisation de lecture

• Attribut: Green

  • Spécifications de la colonne: full_time_employees@acme avec autorisation de lecture
  • Spécifications des ressources: full_time_employees@acme avec autorisation de modification

Les attributs Red et Green contrôlent le comportement d'accès aux ressources (tables) en fonction des attributs associés aux tables et à leurs colonnes.

Prenons l'exemple d'une table contenant les colonnes suivantes:

• ID
• Code postal
• Nom
• Adresse
• $Valeur

Cas d'utilisation 1: Associer le même attribut au tableau et à une colonne

Si vous associez l'attribut Red à la table et à sa colonne Nom, Dataplex propage les règles suivantes:

• Les employés de secrets_team@acme et tenured_employees@acme peuvent lire le tableau, consulter ses métadonnées et le interroger.
• Seuls les employés de secrets_team@acme peuvent interroger la colonne Nom, car elle est davantage protégée par des spécifications de colonne.

Cas d'utilisation 2: Combiner des attributs

Considérons les associations suivantes:

• Associez les attributs Red et Green à la table.
• Associez les attributs Red et Green à la colonne Nom.
• Associez l'attribut Red à la colonne $Value.

Dans ce cas, Dataplex propage les règles suivantes:

• Les employés de secrets_team@acme, tenured_employees@acme et full_time_employees@acme peuvent accéder à la table. En effet, Dataplex fusionne les spécifications de ressources des attributs Red et Green.
• Les employés de secrets_team@acme et de full_time_employees@acme peuvent accéder à la colonne Nom. En effet, Dataplex fusionne les spécifications de colonne des attributs Red et Green.
• Seuls les employés de secrets_team@acme peuvent interroger la colonne $Value.

Cas d'utilisation 3: Organiser les attributs dans une hiérarchie

Vous pouvez organiser les attributs dans une hiérarchie en spécifiant les sous-types d'attributs. Considérons l'ensemble d'attributs suivant:

Attribut parent 1:
Attribut: PII

• Spécifications des colonnes: secrets_team@acme
• Spécifications des ressources: secrets_team@acme et tenured_employees@acme

Attribut enfant de PII:
Attribut: Email

• Spécifications des colonnes: email_comm@acme
• Spécifications des ressources: email_comm@acme

Attribut parent 2:
Attribut: Financial

• Spécifications des colonnes: full_time_employees@acme
• Spécifications des ressources: full_time_employees@acme

Considérons les associations suivantes:

• Associez les attributs Email et Financial à la table.
• Associez les attributs Email et Financial à la colonne Nom.
• Associez l'attribut PII à la colonne $Value.

Dans ce cas, Dataplex propage les règles suivantes:

• Les employés des rôles secrets_team@acme, tenured_employees@acme, full_time_employees@acme et email_comm@acme peuvent accéder à la table. En effet, Dataplex fusionne les spécifications de ressources des attributs Financial et Email, et l'attribut Email hérite des spécifications de l'attribut PII.
• Les employés des groupes secrets_team@acme, email_comm@acme et full_time_employees@acme peuvent accéder à la colonne Nom. En effet, Dataplex fusionne les spécifications de colonne des attributs Financial et Email.
• Seuls les employés de secrets_team@acme peuvent interroger la colonne $Value.

Configurer des attributs

Pour créer un attribut, vous devez d'abord créer une taxonomie, puis les attributs de données parent et enfant.

Créer une taxonomie d'attributs de données

1. Dans la console Google Cloud, accédez à la page Attribute Store (Boutique d'attributs) de Dataplex.

   Accéder à Attributes Store

2. Cliquez sur Créer une taxonomie.

3. Saisissez le nom de la taxonomie, l'ID et la description.

4. Sélectionnez une région.

5. Cliquez sur Envoyer.

   La nouvelle taxonomie s'affiche sur la page Taxonomies de données.

Créer un attribut parent

1. Dans la console Google Cloud, accédez à la page Attribute Store (Boutique d'attributs) de Dataplex.

   Accéder à Attributes Store

2. Sur la page Taxonomies de données, cliquez sur la taxonomie dans laquelle vous souhaitez créer l'attribut parent.

3. Sur la page Détails de la taxonomie, cliquez sur Ajouter un attribut de données.

4. Sélectionnez Créer un attribut de données parent.

5. Saisissez un nom, un ID et une description pour l'attribut parent.

6. Facultatif: configurez les spécifications des attributs.

   1. Configurez les spécifications des ressources:

      1. Cliquez sur Gérer les autorisations pour Ressource.
      2. Cliquez sur Ajouter.
      3. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe qui a besoin d'accéder à la ressource.
      4. Sélectionnez les rôles requis, puis cliquez sur Enregistrer.
      5. Cliquez sur Enregistrer.

   2. Configurez les spécifications de colonne:

      1. Cliquez sur Gérer les autorisations pour Colonne.
      2. Cliquez sur Ajouter.
      3. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe qui a besoin d'accéder à la colonne.
      4. Sélectionnez les rôles requis, puis cliquez sur Enregistrer.
      5. Cliquez sur Enregistrer.

7. Cliquez sur Créer.

Créer un attribut enfant

1. Dans la console Google Cloud, accédez à la page Attribute Store (Boutique d'attributs) de Dataplex.

   Accéder à Attributes Store

2. Sur la page Taxonomies de données, cliquez sur la taxonomie dans laquelle vous souhaitez créer l'attribut enfant.

3. Sur la page Détails de la taxonomie, cliquez sur Ajouter un attribut de données.

4. Sélectionnez Créer un attribut de données enfant.

5. Sélectionnez un attribut de données parent pour l'attribut enfant que vous créez.

6. Saisissez un nom, un ID et une description pour l'attribut enfant.

7. Facultatif: configurez les spécifications des attributs.

   1. Configurez les spécifications des ressources:

      1. Cliquez sur Gérer les autorisations pour Ressource.
      2. Cliquez sur Ajouter.
      3. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe qui a besoin d'accéder à la ressource.
      4. Sélectionnez les rôles requis, puis cliquez sur Enregistrer.
      5. Cliquez sur Enregistrer.

   2. Configurez les spécifications de colonne:

      1. Cliquez sur Gérer les autorisations pour Colonne.
      2. Cliquez sur Ajouter.
      3. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe qui a besoin d'accéder à la colonne.
      4. Sélectionnez les rôles requis, puis cliquez sur Enregistrer.
      5. Cliquez sur Enregistrer.

8. Cliquez sur Créer.

Mettre à jour les ressources du magasin d'attributs

Modifier les détails de la taxonomie

1. Dans la console Google Cloud, accédez à la page Attribute Store (Boutique d'attributs) de Dataplex.

   Accéder à Attributes Store

2. Cliquez sur la taxonomie que vous souhaitez mettre à jour.

3. Cliquez sur Modifier.

4. Modifiez le nom et la description de la taxonomie si nécessaire.

5. Cliquez sur Envoyer.

Modifier les détails de l'attribut

1. Dans la console Google Cloud, accédez à la page Attribute Store (Boutique d'attributs) de Dataplex.

   Accéder à Attributes Store

2. Cliquez sur la taxonomie contenant l'attribut que vous souhaitez modifier.

3. Cliquez sur l'attribut que vous souhaitez modifier.

4. Pour modifier le nom et la description de l'attribut, cliquez sur Modifier.

   1. Si vous mettez à jour un attribut parent, vous pouvez le convertir en attribut enfant, et inversement. Sélectionnez les options en conséquence.
   2. Modifiez le nom et la description de l'attribut si nécessaire.
   3. Cliquez sur Mettre à jour.

5. Pour modifier les spécifications de ressources de l'attribut, cliquez sur Modifier pour Spécifications de ressources.

   1. Pour ajouter un principal, procédez comme suit:

      1. Cliquez sur Ajouter.
      2. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe qui a besoin d'accéder à la ressource.
      3. Sélectionnez les rôles requis.
      4. Cliquez sur Enregistrer.

   2. Pour mettre à jour un principal existant, procédez comme suit:

      1. Pour le compte principal que vous souhaitez mettre à jour, cliquez sur Modifier.
      2. Sélectionnez les rôles requis.
      3. Cliquez sur Enregistrer.

   3. Pour supprimer un principal existant, procédez comme suit:

      1. Sélectionnez le compte principal que vous souhaitez supprimer.
      2. Cliquez sur Supprimer.

6. Pour mettre à jour les spécifications de colonne de l'attribut, cliquez sur Modifier pour Spécifications de colonne.

   1. Pour ajouter un principal, procédez comme suit:

      1. Cliquez sur Ajouter.
      2. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe qui a besoin d'accéder à la colonne.
      3. Sélectionnez les rôles requis.
      4. Cliquez sur Enregistrer.

   2. Pour mettre à jour un principal existant, procédez comme suit:

      1. Pour le compte principal que vous souhaitez mettre à jour, cliquez sur Modifier.
      2. Sélectionnez les rôles requis.
      3. Cliquez sur Enregistrer.

   3. Pour supprimer un principal existant, procédez comme suit:

      1. Sélectionnez le compte principal que vous souhaitez supprimer.
      2. Cliquez sur Supprimer.

Associer des attributs à des ressources

Associer un attribut à une table

1. Dans la console Google Cloud, accédez à la page Attribute Store (Boutique d'attributs) de Dataplex.

   Accéder à Attributes Store

2. Cliquez sur la taxonomie qui contient l'attribut.

3. Cliquez sur l'attribut auquel vous souhaitez associer un tableau.

4. Cliquez sur l'onglet Ressources.

5. Cliquez sur Ajouter des ressources.

6. Sélectionnez une table dans la liste.

7. Cliquez sur Sélectionner.

Associer un attribut à une colonne

1. Dans la console Google Cloud, accédez à la page Recherche de Data Catalog.

   Accéder à la recherche

2. Recherchez et sélectionnez le tableau auquel vous souhaitez associer un attribut à une colonne.

3. Cliquez sur l'onglet Tags de colonne et de schéma.

4. Pour la colonne à laquelle vous souhaitez associer un attribut, dans Tags avec stratégie, cliquez sur  Ajouter.

5. Sélectionnez la taxonomie qui contient l'attribut.

6. Sélectionnez l'attribut.

7. Cliquez sur Joindre.

Étape suivante

• En savoir plus sur la sécurité de Dataplex
• En savoir plus sur la gestion des règles dans Dataplex
• En savoir plus sur les rôles IAM Dataplex