Gérer les aspects et enrichir les métadonnées

Ce document explique comment créer et gérer des types d'aspect, et comment annoter des entrées avec des aspects.

Le catalogue Dataplex décrit les entrées selon un ensemble d'aspects. Vous pouvez décrire vos entrées avec des métadonnées supplémentaires en utilisant des aspects et des types d'aspects.

Pour en savoir plus, consultez la présentation du catalogue Dataplex.

Aspects

Les aspects vous permettent de capturer des métadonnées dans des entrées. L'ajout d'aspects à une entrée permet de fournir un contexte significatif à toute personne qui a besoin de l'utiliser. Vous pouvez utiliser des aspects pour stocker des métadonnées métier (par exemple, la classification des données) et des métadonnées techniques (par exemple, un schéma).

Les aspects sont considérés comme des parties de la ressource d'entrée et non comme des ressources distinctes. Lorsque vous modifiez un aspect, cela implique de modifier l'entrée contenant l'aspect.

Vous pouvez spécifier des aspects au niveau de l'entrée pour décrire une entrée ou au niveau des colonnes pour la description d'une colonne dans une entrée.

Chaque aspect est une instance d'un type d'aspect. Un type d'aspect définit un modèle pour ses aspects. Chaque type d'aspect contient un ensemble de champs. Lorsque vous créez des aspects, vous devez fournir des valeurs pour ces champs.

Pour une entrée donnée, un seul aspect peut lui être associé, par type d'aspect. Plusieurs aspects peuvent être associés aux colonnes d'entrée par type d'aspect.

Catégories d'aspects

Les aspects sont classés comme suit:

  • Aspects obligatoires: aspects obligatoires lors de la création d'une entrée. Ces aspects sont définis par le type d'entrée d'une entrée donnée. Toutes les entrées appartenant à un type d'entrée doivent toujours présenter tous les aspects requis qui sont définis par ce type d'entrée.

    Dataplex gère les aspects requis (par exemple, le schéma) pour les entrées système.

    Veuillez noter les points suivants :

    • Vous ne pouvez associer les aspects requis qu'aux entrées et non aux colonnes d'une entrée.

    • Vous ne pouvez pas supprimer les aspects requis d'une entrée.

    • Vous pouvez consulter les aspects requis des entrées système, mais vous ne pouvez pas les modifier.

  • Aspects facultatifs: vous pouvez associer des aspects facultatifs à des entrées ou à des colonnes d'entrée. Vous pouvez renseigner des aspects facultatifs au moment de la création de l'entrée ou ultérieurement en mettant à jour l'entrée.

    Vous pouvez supprimer les aspects facultatifs une fois qu'ils ont été renseignés.

Types d'aspects

Les types d'aspect sont des ressources réutilisables qui fournissent des modèles pour les aspects.

Catégories de types d'aspects

Les types d'aspects sont classés comme suit:

  • Types d'aspects personnalisés: types d'aspects que vous créez dans le catalogue Dataplex.

  • Types d'aspects système: types d'aspects fournis, utilisés et gérés par Dataplex.

    Les types d'aspects système sont classés selon qu'ils sont réutilisables ou limités. Le tableau suivant décrit les catégories des types d'aspects système et la liste des types d'aspects fournis par Dataplex pour chacune d'elles:

    Catégorie du type d'aspect système Description Types d'aspects fournis par Dataplex
    Type d'aspect du système réutilisable Vous pouvez utiliser ces types d'aspects pour créer ou modifier des aspects.
    • generic
    • storage
    Type d'aspect système restreint Dataplex gère ces types d'aspects.
    Vous pouvez lire les aspects de ces types d'aspects, mais vous ne pouvez pas en créer ni en modifier.
    • bigquery-connection
    • bigquery-dataset
    • bigquery-model
    • bigquery-routine
    • bigquery-table
    • bigquery-view
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-schema
    • cloudsql-table
    • cloudsql-view
    • storage
    • sql-access
    • storage-bucket
    • storage-folder

    N'utilisez pas les types d'aspects système overview, contacts et schema.

    Vous pouvez créer des types d'aspect personnalisés dans un emplacement régional spécifique ou en tant que ressource globale. Les types d'aspects système sont toujours globaux. L'emplacement d'un type d'aspect a une incidence sur l'étendue de son applicabilité. Pour en savoir plus, consultez la section Contraintes de projet et d'emplacement.

Avant de commencer

Avant de créer et de gérer des types et des aspects d'aspect, effectuez les tâches décrites dans cette section.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer et gérer les types et aspects d'aspect, demandez à votre administrateur de vous attribuer les rôles IAM suivants sur la ressource:

  • Ensemble complet d'autorisations sur toutes les ressources du catalogue Dataplex, y compris les types d'aspects : Administrateur du catalogue Dataplex (roles/dataplex.catalogAdmin)
  • Créer et gérer toutes les ressources de catalogue Dataplex, y compris les types d'aspects : Éditeur de catalogue Dataplex (roles/dataplex.catalogEditor)
  • Ensemble complet d'autorisations sur les types d'aspects personnalisés (à l'exception des autorisations permettant d'utiliser des types d'aspect pour créer ou modifier des entrées) : Propriétaire du type d'aspect Dataplex (roles/dataplex.aspectTypeOwner)
  • Affichez les types d'aspects et les stratégies IAM qui leur sont associés : Lecteur de catalogue Dataplex (roles/dataplex.catalogViewer)
  • Utilisez les types d'aspect pour créer et modifier des entrées avec les aspects correspondants : Utilisateur du type d'aspect Dataplex (roles/dataplex.aspectTypeUser)
  • Ajoutez des aspects de certains types d'aspects système, tels que schema, overview et contacts : Propriétaire de l'entrée Dataplex (roles/dataplex.entryOwner)

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus, consultez la page Rôles IAM Dataplex.

Activer l'API

Activez l'API Dataplex dans votre projet Dataplex.

Activer l'API

Créer un type d'aspect

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects > Personnalisé.

  3. Dans la section Détails, saisissez les informations suivantes:

    1. (Facultatif) Dans le champ Display name (Nom à afficher), saisissez un nom pour le type d'aspect.
    2. Dans le champ ID du type d'aspect, saisissez un ID unique pour le type d'aspect.
    3. Facultatif: dans le champ Description, saisissez une description du type d'aspect.
    4. Dans le champ Lieu, sélectionnez un emplacement pour le type d'aspect. Vous ne pouvez pas modifier l'emplacement d'un type d'aspect après l'avoir créé.

  4. Facultatif: Définissez un modèle pour votre type d'aspect.

    Dans Modèles, cliquez sur Ajouter un champ. Dans la section Nouveau champ, saisissez les informations suivantes:

    1. Dans le champ Nom, saisissez un nom.
    2. Facultatif: dans le champ Nom à afficher, saisissez un nom à afficher.
    3. Facultatif : Dans le champ Description, saisissez une description.

    4. Dans le champ Type, sélectionnez un type de données pour le champ. En fonction de votre sélection, les champs et options suivants s'affichent:

      • Si vous avez sélectionné Texte comme type de données, procédez comme suit:

        1. Dans le champ Type de texte, sélectionnez le type de texte.
        2. Dans le champ Valeurs textuelles, fournissez une indication pour le champ de texte. Pour ce faire, cliquez sur Ajouter une valeur et saisissez l'indice. Vous pouvez ajouter plusieurs suggestions pour un champ de texte.
        3. Cliquez sur OK.

      • Si vous avez sélectionné Énumération comme type de données, ajoutez une valeur d'énumération:

        1. Cliquez sur Ajouter une valeur enum.
        2. Dans le champ Valeur, saisissez une valeur d'énumération. Vous pouvez ajouter plusieurs valeurs d'énumération.
        3. Cliquez sur OK.

      • Si vous avez sélectionné Tableau comme type de données, définissez les types d'éléments devant figurer dans le tableau dans la section Élément de tableau:

        1. Cliquez sur Ajouter un élément de tableau.
        2. Dans le champ Nom, saisissez un nom pour les éléments du tableau.
        3. Facultatif: dans le champ Nom à afficher, saisissez un nom à afficher pour les éléments du tableau.
        4. Facultatif: dans le champ Description, saisissez une description pour les éléments du tableau.

        5. Dans le champ Type, sélectionnez un type de données pour les éléments du tableau.

          L'ensemble suivant de champs et d'options s'affiche en fonction de votre sélection. Elles sont semblables aux options décrites pour les types de données Text, Enum, Map, Array et Record ailleurs dans cette section.

        6. Cliquez sur OK.

      • Si vous avez sélectionné Map (Carte) comme type de données, dans la section Map value (Valeur de carte), définissez les types de valeurs à présenter dans la carte:

        1. Cliquez sur Ajouter une valeur à la carte.
        2. Dans le champ Nom, saisissez le nom de la carte.
        3. Facultatif: dans le champ Nom à afficher, saisissez un nom à afficher pour la carte.
        4. Facultatif: Dans le champ Description, saisissez une description de la carte.

        5. Dans le champ Type, sélectionnez un type de données pour la carte.

          L'ensemble suivant de champs et d'options s'affiche en fonction de votre sélection. Elles sont semblables aux options décrites pour les types de données Text, Enum, Map, Array et Record ailleurs dans cette section.

        6. Cliquez sur OK.

      • Si vous avez sélectionné le type de données Record (Enregistrer), saisissez la commande suivante:

        1. Dans le champ Record ID (ID de l'enregistrement), saisissez un ID unique que d'autres champs d'enregistrement peuvent utiliser pour faire référence à cet enregistrement. Consultez la section Exemple d'utilisation des champs de référence de l'enregistrement et de l'ID d'enregistrement de ce document.
        2. Facultatif: Si vous souhaitez ajouter une référence à un autre enregistrement à partir de ce modèle, utilisez le champ Record reference (Référence de l'enregistrement). Vous ne pouvez pas modifier cela après avoir créé le type d'aspect. Consultez la section Exemple d'utilisation des champs de référence de l'enregistrement et de l'ID d'enregistrement de ce document.

        3. Dans la section Champs d'enregistrement, vous pouvez définir un objet complexe avec plusieurs champs imbriqués. Pour ce faire, cliquez sur Add record field item (Ajouter un élément de champ d'enregistrement) et spécifiez les éléments suivants:

          1. Dans le champ Name (Nom), saisissez un nom pour le champ d'enregistrement.
          2. Facultatif: dans le champ Nom à afficher, saisissez un nom à afficher pour le champ d'enregistrement.
          3. Facultatif: dans le champ Description, saisissez une description pour le champ d'enregistrement.

          4. Dans le champ Type, sélectionnez un type de données.

            L'ensemble suivant de champs et d'options s'affiche en fonction de votre sélection. Elles sont semblables aux options décrites pour les types de données Text, Enum, Map, Array et Record plus tôt dans cette section.

        4. Cliquez sur OK.

    5. Si vous souhaitez rendre le champ obligatoire pour un aspect de ce type, sélectionnez Est obligatoire. Pour en savoir plus sur les aspects requis et les aspects facultatifs, consultez la section Catégories d'aspects de ce document.

    6. Cliquez sur OK.

    7. Pour ajouter plusieurs champs, cliquez sur Ajouter un champ et répétez les étapes précédentes.

  5. (Facultatif) Dans la section Étiquettes, ajoutez des étiquettes arbitraires sous forme de paires clé/valeur à vos ressources :

    1. Cliquez sur Ajouter une étiquette.
    2. Dans le champ Clé, saisissez une clé.
    3. Dans le champ Valeur, saisissez une valeur pour la clé.
    4. Pour ajouter d'autres libellés, cliquez sur Ajouter une étiquette et répétez la procédure.

  6. Cliquez sur Enregistrer.

Après avoir créé un type d'aspect, vous pouvez ajouter des aspects aux entrées.

REST

Pour créer un type d'aspect, utilisez la méthode aspectType.create.

Exemple d'utilisation des champs "Record ID" (ID de l'enregistrement) et "Record reference" (Référence de l'enregistrement)

Vous pouvez utiliser les champs Record ID (ID de l'enregistrement) et Record reference (Référence de l'enregistrement) pour les références récursives. L'exemple suivant montre comment utiliser ces champs:

Prenons un type d'aspect appelé Employee, avec les champs suivants:

  • Nom (type:Text)
  • Date de début (type:Date & time)
  • Désignation (type:Text)
  • Adresse actuelle (type:Record)
  • Adresse permanente (type:Record)

Les deux champs d'adresse Current address (Adresse actuelle) et Permanent address (Adresse permanente) sont du même type de données Record. Pour éviter la duplication, vous pouvez définir les valeurs Record ID (ID de l'enregistrement) et Record reference (Référence de l'enregistrement) lorsque vous définissez ces champs.

Lorsque vous définissez le champ Current address (Adresse actuelle), vous pouvez spécifier l'ID de l'enregistrement sur address-field. Dans le champ Adresse permanente, vous pouvez spécifier la même valeur (address-field) pour Référence de l'enregistrement. Exemple :

  • Nom (type:Text)
  • Date de début (type:Date & time)
  • Désignation (type:Text)
  • Adresse actuelle (type:Record, ID d'enregistrement:address-field)
  • Adresse permanente (type:Record, référence de l'enregistrement:address-field)

De cette façon, vous n'avez pas besoin de dupliquer les champs d'une autre adresse.

Ajouter des aspects à une entrée

Après avoir créé un type d'aspect, vous pouvez créer des aspects de ce type. Pour ajouter des aspects à une entrée, vous devez la mettre à jour, car les aspects sont stockés dans les entrées.

Veuillez noter les points suivants :

  • Vous pouvez ajouter des aspects à une entrée ou aux colonnes d'une entrée.
  • Vous ne pouvez modifier les aspects requis que pour les entrées personnalisées. Vous ne pouvez pas supprimer les aspects requis.

  • Vous pouvez modifier et supprimer les aspects facultatifs des entrées personnalisées et des entrées système.

Console

  1. Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

    Accéder à la recherche

  2. Dans Choisir une plate-forme de recherche, sélectionnez Catalogue Dataplex comme mode de recherche.

  3. Recherchez l'entrée à laquelle vous souhaitez ajouter des aspects, puis cliquez dessus.

    La page des détails de l'entrée s'affiche.

  4. Pour ajouter des aspects à une entrée, procédez comme suit:

    1. Sur la page des détails de l'entrée, cliquez sur l'onglet Détails.
    2. Pour ajouter les aspects requis ou facultatifs à l'entrée, dans la section Aspects, cliquez sur Add (Ajouter) pour la catégorie correspondante.
      Vous ne pouvez pas ajouter les aspects requis si aucun aspect requis n'a été défini pour le type d'entrée de l'entrée sélectionnée.
    3. Recherchez et sélectionnez l'aspect que vous souhaitez ajouter.
    4. Dans la fenêtre Ajouter un aspect, saisissez les valeurs des champs.
    5. Cliquez sur Enregistrer.

  5. Pour ajouter des aspects à une colonne d'entrée, procédez comme suit:

    1. Sur la page d'informations de l'entrée, cliquez sur l'onglet Schéma.
    2. Sélectionnez les colonnes auxquelles vous souhaitez ajouter des aspects.
    3. Cliquez sur Ajouter un aspect.
    4. Recherchez et sélectionnez l'aspect que vous souhaitez ajouter.
    5. Dans la fenêtre Ajouter un aspect, saisissez les valeurs des champs.
    6. Cliquez sur Enregistrer.

REST

Pour ajouter des aspects à une entrée ou à une colonne d'une entrée, utilisez la méthode entry.patch.

Il n'est pas possible de créer et d'utiliser des aspects dans une entrée dont le type d'aspect respectif et l'entrée se trouvent dans des organisations Google Cloud différentes.

Gérer les aspects existants d'une entrée

Cette section explique comment mettre à jour et supprimer les aspects existants d'une entrée.

Mettre à jour un aspect

Vous pouvez modifier les aspects facultatifs des entrées personnalisées et des entrées système. Vous ne pouvez modifier les aspects requis que pour les entrées personnalisées.

Console

  1. Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

    Accéder à la recherche

  2. Dans Choisir une plate-forme de recherche, sélectionnez Catalogue Dataplex comme mode de recherche.

  3. Recherchez l'entrée dont vous souhaitez mettre à jour les aspects, puis cliquez sur l'entrée.

    La page des détails de l'entrée s'affiche.

  4. Cliquez sur l'onglet Détails.

  5. Pour l'aspect que vous souhaitez mettre à jour, cliquez sur Edit (Modifier).

  6. Dans la fenêtre Edit aspect (Modifier l'aspect), mettez à jour les champs obligatoires.

  7. Cliquez sur Enregistrer.

REST

Pour mettre à jour les aspects d'une entrée ou d'une colonne d'une entrée, utilisez la méthode entry.update.

Supprimer un aspect

Console

  1. Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

    Accéder à la recherche

  2. Dans Choisir une plate-forme de recherche, sélectionnez Catalogue Dataplex comme mode de recherche.

  3. Recherchez l'entrée dont vous souhaitez supprimer les aspects, puis cliquez sur l'entrée.

    La page des détails de l'entrée s'affiche.

  4. Cliquez sur l'onglet Détails.

  5. Pour l'aspect que vous souhaitez supprimer, cliquez sur Supprimer.

  6. Cliquez sur Confirmer.

REST

Pour supprimer un aspect d'une entrée, utilisez la méthode entry.update.

Gérer les types d'aspects

Cette section explique comment afficher, mettre à jour et supprimer des types d'aspects.

Afficher la liste des types d'aspects disponibles

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects.

    Vous pouvez accéder à la liste des types d'aspects personnalisés et système. Pour en savoir plus, consultez la section Catégories de types d'aspects de ce document.

    Dans l'onglet Personnalisé, les types d'aspects avec le suffixe (Data Catalog) correspondent aux modèles de tag migrés depuis Data Catalog.

  3. Pour afficher la liste des types d'aspects de tous les projets, cliquez sur l'onglet Personnalisé, puis sur le bouton Afficher depuis tous les projets en position activée.

REST

Pour répertorier tous les types d'aspects disponibles, utilisez la méthode aspectTypes.list.

Afficher les détails d'un type d'aspect

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects.

  3. Cliquez sur le type d'aspect.

    La page d'informations sur le type d'aspect s'ouvre. Vous pouvez afficher des informations telles que le nom à afficher, l'ID du type d'aspect, la description, l'ID du projet, l'emplacement, les libellés, la date de création et la date de dernière modification du type d'aspect sélectionné.

  4. Pour afficher la structure du type d'aspect sélectionné, cliquez sur l'onglet Modèle.

  5. Pour afficher la liste des 10 entrées associées créées récemment, cliquez sur l'onglet Exemples d'entrées.

  6. Pour rechercher toutes les entrées associées, cliquez sur Afficher toutes les entrées associées dans la recherche. Ce bouton ne s'affiche que s'il existe au moins une entrée associée.

REST

Pour obtenir les détails d'un type d'aspect, utilisez la méthode aspectTypes.get.

Mettre à jour un type d'aspect

Vous pouvez mettre à jour le nom à afficher, la description, les champs de modèle et les étiquettes d'un type d'aspect. Vous ne pouvez pas supprimer un champ existant d'un modèle.

Vous ne pouvez pas mettre à jour l'ID du type d'aspect ni l'emplacement après avoir créé le type d'aspect.

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects.

  3. Cliquez sur le type d'aspect que vous souhaitez mettre à jour.

  4. Sur la page Détails du type d'aspect, cliquez sur Modifier.

  5. Modifiez le nom à afficher, la description, les champs du modèle et les libellés, si nécessaire.

  6. Facultatif: Pour marquer un champ du type d'aspect comme obsolète, procédez comme suit:

    1. Dans la section Modèle, développez le champ.
    2. Sélectionnez Est obsolète.
    3. Dans le champ Motif de l'abandon, saisissez le motif d'obsolescence du champ sélectionné.
    4. Cliquez sur OK.

  7. Cliquez sur Enregistrer.

REST

Pour mettre à jour un type d'aspect existant, utilisez la méthode aspectTypes.patch.

Supprimer un type d'aspect

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects.

  3. Cliquez sur le type d'aspect que vous souhaitez supprimer.

  4. Sur la page Détails du type d'aspect, cliquez sur Supprimer. Confirmez lorsque vous y êtes invité.

REST

Pour supprimer un type d'aspect existant, utilisez la méthode aspectTypes.delete.

Étapes suivantes