Utiliser un magasin d'attributs Dataplex

Preview

Cette fonctionnalité est soumise aux "Conditions des offres de pré-DG" dans la section "Conditions d'utilisation générales" des Conditions spécifiques au service. Les fonctionnalités pré-DG sont disponibles "en l'état" et peuvent avoir une assistance limitée. Pour en savoir plus, consultez les descriptions des étapes de lancement.

Ce document explique comment utiliser le magasin d'attributs Dataplex.

Le magasin d'attributs Dataplex est une infrastructure extensible qui vous permet de spécifier des comportements liés aux règles sur les ressources associées. Les administrateurs Dataplex peuvent utiliser le magasin d'attributs pour définir la manière dont certaines données doivent être traitées, en associant des données à des attributs.

Le principal avantage de l'utilisation du magasin d'attributs est que vous pouvez ajouter plusieurs attributs à un objet, comme une colonne. Le magasin d'attributs fusionne les comportements de tous les attributs associés à un objet et le présente sous la forme d'une règle unique sur la ressource sous-jacente.

Vous pouvez définir des attributs pour des ensembles de données publiés. Les ensembles de données publiés font référence à ceux créés par Dataplex à partir des tables découvertes dans un élément de bucket.

Les comportements de règles suivants sont acceptés:

• Spécifications de ressources: spécifie l'accès à une ressource, telle qu'une table.
• Spécifications de colonne: spécifie l'accès à une colonne d'une table BigQuery.

Vous pouvez utiliser Attribute Store pour définir une hiérarchie d'attributs appelée taxonomie. Dans une taxonomie, un attribut enfant hérite des spécifications de la hiérarchie d'attributs parent. Les spécifications du parent de l'élément enfant sont fusionnées dans une liste unifiée, qui est propagée à la ressource.

Vous pouvez utiliser le magasin d'attributs Dataplex pour effectuer les opérations suivantes:

• Créer des taxonomies
• Créez des attributs et organisez-les selon une hiérarchie.
• Associez un ou plusieurs attributs aux tables.
• Associez un ou plusieurs attributs à des colonnes.

Terminologie

La terminologie suivante est utilisée dans ce document:

Classification des attributs

Une taxonomie de données est une hiérarchie d'attributs. Dans une taxonomie, les attributs des nœuds parents permettent aux attributs inférieurs (attributs enfants) d'hériter des spécifications de comportement des attributs parents et de les ajouter à leurs propres attributs.

Par exemple, si un attribut nommé PII a une spécification de ressource [e-mail] et qu'un attribut enfant de PII nommé Social Security numbers possède une spécification de ressource [e-mail], les spécifications de ressources appliquées aux règles où l'attribut Social Security numbers est associé seront [e-mail] et [e-mail].

Lorsque vous définissez un attribut, vous pouvez choisir s'il s'agit d'un attribut parent ou enfant. Lorsque vous définissez un attribut enfant, vous devez spécifier son attribut parent.

Spécifications de colonnes

Spécifications de comportement pour les colonnes. Il spécifie les personnes ou les groupes qui ont un accès en lecture aux colonnes. Si vous associez un attribut contenant une spécification de colonne à une colonne de table, un tag avec stratégie de colonne BigQuery est ajouté à cette colonne.

Spécifications des ressources

Les autorisations permettant aux utilisateurs ou aux groupes d'accéder aux ressources (tables). Si vous associez un attribut à une spécification de ressource, Dataplex propage des rôles IAM aux utilisateurs spécifiés pour qu'ils puissent accéder aux tables associées à l'attribut.

Avant de commencer

Limites

Dataplex propage les règles de spécification de colonne sous forme de tags avec stratégie BigQuery. BigQuery est limité à un seul tag avec stratégie par colonne. Si un tag avec stratégie existe déjà sur une colonne, Dataplex génère une erreur dans le journal de gouvernance de l'onglet Gérer.

Quotas

Voici les quotas et limites qui s'appliquent au magasin d'attributs Dataplex:

Limite	Par défaut
Nombre maximal de taxonomies dans une région	100
Nombre maximal d'attributs dans toutes les taxonomies d'une région	10 000
Nombre maximal d'attributs pouvant être associés à une ressource (table)	50
Nombre maximal d'attributs pouvant être associés à une colonne	100
Profondeur maximale par arborescence d'attributs de données dans une taxonomie d'attributs	4

Rôles et autorisations requis

Pour obtenir les autorisations nécessaires pour utiliser le magasin d'attributs Dataplex, demandez à votre administrateur de vous attribuer les rôles IAM suivants sur le projet:

• Gérez les taxonomies et les attributs : Administrateur de taxonomie Dataplex (roles/dataplex.taxonomyAdmin)
• Affichez les liaisons associées aux ressources et aux attributs : Lecteur de taxonomie Dataplex (roles/dataplex.taxonomyViewer)
• Créez et gérez les ressources de liaison dans un projet :
  • Administrateur de liaisons Dataplex (roles/dataplex.bindingAdmin)
  • Administrateur Dataplex (roles/dataplex.admin sur une ressource de zone)
• Gérez les spécifications liées aux ressources et à l'accès aux données : Administrateur de sécurité Dataplex (roles/dataplex.securityAdmin)

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Ces rôles prédéfinis contiennent les autorisations requises pour utiliser le magasin d'attributs Dataplex. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour utiliser le magasin d'attributs Dataplex:

• Gérez les taxonomies et les attributs :
  • dataplex.datataxonomies.*
  • dataplex.dataattributes.* (except dataplex.dataattributes.configureResourceAccess and dataplex.dataattributes.configureDataAccess)
• Affichez les liaisons associées aux ressources et aux attributs :
  • dataplex.datataxonomies.get
  • dataplex.datataxonomies.list
  • dataplex.dataattributes.get
  • dataplex.dataattributes.list
  • dataplex.dataattributebindings.get
  • dataplex.dataattributebindings.list
• Créez et gérez des ressources de liaison dans un projet : dataplex.dataattributebindings.*
• Gérez les spécifications des ressources et de l'accès aux données :
  • dataplex.datataxonomies.configureResourceAccess
  • dataplex.datataxonomies.configureDataAccess

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Exemples de cas d'utilisation

Prenons l’exemple d’une entreprise nommée ACME qui dispose de trois types de données:

• Red : données sensibles.
• Données Green limitées, mais moins sensibles.
• Données sans catégorie.

L'administrateur Dataplex d'ACME crée l'ensemble d'attributs suivant:

• Attribut: Red

  • Spécifications de colonne: secrets_team@acme avec autorisation de lecture
  • Spécifications des ressources: secrets_team@acme et tenured_employees@acme avec autorisation de lecture

• Attribut: Green

  • Spécifications de colonne: full_time_employees@acme avec autorisation de lecture
  • Spécifications des ressources: full_time_employees@acme avec autorisation de modification

Les attributs Red et Green contrôlent le comportement d'accès aux ressources (tables) en fonction des attributs associés aux tables et à leurs colonnes.

Prenons l'exemple d'une table comportant les colonnes suivantes:

• Identifiant
• Code postal
• Nom
• Adresse
• $Value

Cas d'utilisation 1: associer le même attribut à la table et à une colonne

Si vous associez l'attribut Red à la table et à sa colonne Nom, Dataplex propage les règles suivantes:

• Les employés de secrets_team@acme et tenured_employees@acme peuvent lire la table, consulter ses métadonnées et l'interroger.
• Seuls les employés de secrets_team@acme peuvent interroger la colonne Name, car elle est davantage protégée par des spécifications de colonne.

Cas d'utilisation 2: Combiner des attributs

Prenons les associations suivantes:

• Associez les attributs Red et Green à la table.
• Associez les attributs Red et Green à la colonne Name (Nom).
• Associez l'attribut Red à la colonne $Value.

Dans ce cas, Dataplex propage les stratégies suivantes:

• Les employés de secrets_team@acme, tenured_employees@acme et full_time_employees@acme peuvent accéder à la table. En effet, Dataplex fusionne les spécifications de ressources des attributs Red et Green.
• Les employés de secrets_team@acme et de full_time_employees@acme peuvent accéder à la colonne Name (Nom). En effet, Dataplex fusionne les spécifications de colonne des attributs Red et Green.
• Seuls les employés de secrets_team@acme peuvent interroger la colonne $Value.

Cas d'utilisation 3: organiser les attributs dans une hiérarchie

Vous pouvez organiser les attributs selon une hiérarchie en spécifiant leurs sous-types. Prenons l'ensemble d'attributs suivant:

Attribut parent 1:
Attribut: PII

• Spécifications de colonne: secrets_team@acme
• Spécifications des ressources: secrets_team@acme et tenured_employees@acme

Attribut enfant de PII:
Attribut: Email

• Spécifications de colonne: email_comm@acme
• Spécifications des ressources: email_comm@acme

Attribut parent 2:
Attribut: Financial

• Spécifications de colonne: full_time_employees@acme
• Spécifications des ressources: full_time_employees@acme

Prenons les associations suivantes:

• Associez les attributs Email et Financial à la table.
• Associez les attributs Email et Financial à la colonne Name (Nom).
• Associez l'attribut PII à la colonne $Value.

Dans ce cas, Dataplex propage les stratégies suivantes:

• Les employés de secrets_team@acme, tenured_employees@acme, full_time_employees@acme et email_comm@acme peuvent accéder à la table. En effet, Dataplex fusionne les spécifications de ressources des attributs Financial et Email, et l'attribut Email hérite des spécifications de l'attribut PII.
• Les employés de secrets_team@acme, email_comm@acme et full_time_employees@acme peuvent accéder à la colonne Nom. En effet, Dataplex fusionne les spécifications de colonne des attributs Financial et Email.
• Seuls les employés de secrets_team@acme peuvent interroger la colonne $Value.

Configurer des attributs

Pour créer un attribut, vous devez d'abord créer une taxonomie, puis créer les attributs de données parents et enfants.

Créer une taxonomie d'attributs de données

1. Dans la console Google Cloud, accédez à la page Dataplex Attribute Store.

   Accéder au magasin d'attributs

2. Cliquez sur Créer une taxonomie.

3. Saisissez le nom de la taxonomie, son identifiant et sa description.

4. Sélectionnez une région.

5. Cliquez sur Envoyer.

   La nouvelle taxonomie s'affiche sur la page Taxonomies de données.

Créer un attribut parent

1. Dans la console Google Cloud, accédez à la page Dataplex Attribute Store.

   Accéder au magasin d'attributs

2. Sur la page Taxonomies de données, cliquez sur la taxonomie dans laquelle vous souhaitez créer l'attribut parent.

3. Sur la page Détails de la taxonomie, cliquez sur Ajouter un attribut de données.

4. Sélectionnez Créer un attribut de données parent.

5. Saisissez un nom, un identifiant et une description pour l'attribut parent.

6. Facultatif: définissez des spécifications d'attributs.

   1. Définissez les spécifications des ressources:

      1. Sous Ressource, cliquez sur Gérer les autorisations.
      2. Cliquez sur Ajouter.
      3. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe ayant besoin d'accéder à la ressource.
      4. Sélectionnez les rôles requis, puis cliquez sur Enregistrer.
      5. Cliquez sur Enregistrer.

   2. Configurez les spécifications des colonnes:

      1. Cliquez sur Gérer les autorisations pour la colonne.
      2. Cliquez sur Ajouter.
      3. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe ayant besoin d'accéder à la colonne.
      4. Sélectionnez les rôles requis, puis cliquez sur Enregistrer.
      5. Cliquez sur Enregistrer.

7. Cliquez sur Créer.

Créer un attribut enfant

1. Dans la console Google Cloud, accédez à la page Dataplex Attribute Store.

   Accéder au magasin d'attributs

2. Sur la page Taxonomies de données, cliquez sur la taxonomie dans laquelle vous souhaitez créer l'attribut enfant.

3. Sur la page Détails de la taxonomie, cliquez sur Ajouter un attribut de données.

4. Sélectionnez Créer un attribut de données enfant.

5. Sélectionnez un attribut de données parent pour l'attribut enfant que vous créez.

6. Saisissez un nom, un ID et une description pour l'attribut enfant.

7. Facultatif: définissez des spécifications d'attributs.

   1. Définissez les spécifications des ressources:

      1. Sous Ressource, cliquez sur Gérer les autorisations.
      2. Cliquez sur Ajouter.
      3. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe ayant besoin d'accéder à la ressource.
      4. Sélectionnez les rôles requis, puis cliquez sur Enregistrer.
      5. Cliquez sur Enregistrer.

   2. Configurez les spécifications des colonnes:

      1. Cliquez sur Gérer les autorisations pour la colonne.
      2. Cliquez sur Ajouter.
      3. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe ayant besoin d'accéder à la colonne.
      4. Sélectionnez les rôles requis, puis cliquez sur Enregistrer.
      5. Cliquez sur Enregistrer.

8. Cliquez sur Créer.

Mettre à jour les ressources du magasin d'attributs

Mettre à jour les détails de la taxonomie

1. Dans la console Google Cloud, accédez à la page Dataplex Attribute Store.

   Accéder au magasin d'attributs

2. Cliquez sur la taxonomie que vous souhaitez mettre à jour.

3. Cliquez sur Modifier.

4. Modifiez le nom de la taxonomie et sa description si nécessaire.

5. Cliquez sur Envoyer.

Mettre à jour les détails des attributs

1. Dans la console Google Cloud, accédez à la page Dataplex Attribute Store.

   Accéder au magasin d'attributs

2. Cliquez sur la taxonomie qui contient l'attribut que vous souhaitez mettre à jour.

3. Cliquez sur l'attribut que vous souhaitez mettre à jour.

4. Pour mettre à jour le nom et la description de l'attribut, cliquez sur Modifier.

   1. Si vous mettez à jour un attribut parent, vous avez la possibilité de le convertir en attribut enfant, et inversement. Sélectionnez les options en conséquence.
   2. Modifiez le nom de l'attribut et sa description si nécessaire.
   3. Cliquez sur Update (Mettre à jour).

5. Pour mettre à jour les spécifications de ressources de l'attribut, cliquez sur pour Spécifications de ressources.

   1. Pour ajouter un compte principal, procédez comme suit:

      1. Cliquez sur Ajouter.
      2. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe ayant besoin d'accéder à la ressource.
      3. Sélectionnez les Rôles requis.
      4. Cliquez sur Enregistrer.

   2. Pour mettre à jour un compte principal existant, procédez comme suit:

      1. Cliquez sur pour le compte principal que vous souhaitez mettre à jour.
      2. Sélectionnez les Rôles requis.
      3. Cliquez sur Enregistrer.

   3. Pour supprimer un compte principal existant, procédez comme suit:

      1. Sélectionnez le compte principal que vous souhaitez supprimer.
      2. Cliquez sur Supprimer.

6. Pour mettre à jour les spécifications de colonne de l'attribut, cliquez sur pour Spécifications de colonnes.

   1. Pour ajouter un compte principal, procédez comme suit:

      1. Cliquez sur Ajouter.
      2. Dans le champ Nouveaux comptes principaux, saisissez l'adresse e-mail d'une personne ou d'un groupe ayant besoin d'accéder à la colonne.
      3. Sélectionnez les Rôles requis.
      4. Cliquez sur Enregistrer.

   2. Pour mettre à jour un compte principal existant, procédez comme suit:

      1. Cliquez sur pour le compte principal que vous souhaitez mettre à jour.
      2. Sélectionnez les Rôles requis.
      3. Cliquez sur Enregistrer.

   3. Pour supprimer un compte principal existant, procédez comme suit:

      1. Sélectionnez le compte principal que vous souhaitez supprimer.
      2. Cliquez sur Supprimer.

Associer des attributs à des ressources

Associer un attribut à une table

1. Dans la console Google Cloud, accédez à la page Dataplex Attribute Store.

   Accéder au magasin d'attributs

2. Cliquez sur la taxonomie contenant l'attribut.

3. Cliquez sur l'attribut auquel vous souhaitez associer une table.

4. Cliquez sur l'onglet Ressources.

5. Cliquez sur Ajouter des ressources.

6. Sélectionnez une table dans la liste.

7. Cliquez sur Sélectionner.

Associer un attribut à une colonne

1. Dans la console Google Cloud, accédez à la page Dataplex Attribute Store.

   Accéder au magasin d'attributs

2. Recherchez et sélectionnez la table pour laquelle vous souhaitez associer un attribut à une colonne.

3. Cliquez sur l'onglet Tags de colonne et de schéma.

4. Cliquez sur dans la section Tags avec stratégie de la colonne à laquelle vous souhaitez associer un attribut.

5. Sélectionnez la taxonomie contenant l'attribut.

6. Sélectionnez l'attribut.

7. Cliquez sur Joindre.

Étapes suivantes

• En savoir plus sur la sécurité Dataplex
• En savoir plus sur la gestion des règles dans Dataplex
• Apprenez-en plus sur les rôles IAM Dataplex.