Gérer les aspects et enrichir les métadonnées

Ce document explique comment créer et gérer des types d'aspects, et annoter des entrées avec des aspects.

Dataplex Catalog décrit les entrées par ensemble d'aspects. Vous pouvez décrire vos entrées avec des métadonnées supplémentaires en utilisant des aspects et types d'aspects.

Pour en savoir plus, consultez la présentation du catalogue Dataplex.

Aspects

Les aspects vous permettent de capturer des métadonnées dans des entrées. Ajouter des aspects à une entrée permet de fournir un contexte pertinent à toute personne ayant besoin de l'utiliser. Vous pouvez utiliser certains aspects pour stocker les métadonnées métier (par exemple, la classification des données) et métadonnées techniques (par exemple, schéma).

Les aspects sont considérés comme des parties de la ressource d'entrée et non distincts ressources. Lorsque vous modifiez un aspect, cela implique de modifier l'entrée contenant l'aspect.

Vous pouvez spécifier des aspects au niveau d'entrée pour décrire une entrée, ou au niveau niveau colonne pour décrire une colonne dans une entrée.

Chaque aspect est une instance d'un type d'aspect. Un type d'aspect définit un modèle pour ses aspects. Chaque type d'aspect contient un ensemble de champs. Lorsque vous créez vous devez fournir des valeurs pour ces champs.

Pour une entrée donnée, il peut y avoir au maximum un aspect associé à l'entrée, par type d'aspect. Plusieurs aspects peuvent être associés aux colonnes d'entrée par type d'aspect.

Catégories d'aspects

Les aspects sont classés comme suit:

  • Aspects obligatoires: aspects obligatoires lors de la création d'une entrée. Ces aspects sont définis par le type d'entrée d'une entrée donnée. Toutes les entrées appartenant à un type d'entrée doivent toujours présenter tous les aspects requis sont définies par ce type d'entrée.

    Dataplex gère les aspects requis (par exemple, le schéma) pour entrées système.

    Veuillez noter les points suivants :

    • Vous ne pouvez associer des aspects obligatoires qu'aux entrées et non aux colonnes d'une entrée.

    • Vous ne pouvez pas supprimer les aspects requis d'une entrée.

    • Vous pouvez lire les aspects requis des entrées système, mais vous ne pouvez pas les modifier.

  • Aspects facultatifs : vous pouvez associer des aspects facultatifs à des entrées ou à des colonnes d'entrée. Vous pouvez renseigner des aspects facultatifs au moment de la saisie ou ultérieurement en mettant à jour l'entrée.

    Vous pouvez supprimer les aspects facultatifs une fois qu'ils ont été renseignés.

Types d'aspects

Les types d'aspect sont des ressources réutilisables qui fournissent des modèles pour les aspects.

Catégories de types d'aspects

Les types d'aspects sont classés comme suit:

  • Types d'aspects personnalisés: types d'aspects que vous créez dans Catalogue Dataplex.

  • Types d'aspects système: types d'aspects fournis, utilisés par Dataplex et qu'il gère.

    Les types d'aspects système sont classés selon qu'ils sont réutilisables ou limités. Le tableau suivant décrit les catégories de types d'aspects système et la liste des types d'aspects fournis par Dataplex pour chacune des catégories :

    Catégorie du type d'aspect système Description Types d'aspects fournis par Dataplex
    Type d'aspect système réutilisable Vous pouvez utiliser ces types d'aspects pour créer ou modifier des aspects.
    • generic
    • storage
    Type d'aspect système restreint Dataplex gère ces types d'aspects.
    Vous pouvez lire les aspects de ces types d'aspects, mais vous ne pouvez pas en créer ni en modifier.
    • bigquery-connection
    • bigquery-dataset
    • bigquery-model
    • bigquery-routine
    • bigquery-table
    • bigquery-view
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-schema
    • cloudsql-table
    • cloudsql-view
    • storage
    • sql-access
    • storage-bucket
    • storage-folder

    Vous pouvez créer des types d'aspect personnalisés dans un emplacement régional spécifique ou ressource globale. Les types d'aspects système sont toujours globaux. L'emplacement d'une le type d'aspect a une incidence sur la portée de son applicabilité. Pour en savoir plus, consultez Contraintes de projet et d'emplacement.

Avant de commencer

Avant de créer et de gérer des types et des aspects, effectuez les tâches décrites dans cette section.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer et gérer des types et des aspects, demandez à votre administrateur de vous accorder les rôles IAM suivants sur la ressource :

  • Ensemble complet d'autorisations sur toutes les ressources du catalogue Dataplex, y compris les types d'aspects: Administrateur du catalogue Dataplex (roles/dataplex.catalogAdmin)
  • Créer et gérer toutes les ressources du catalogue Dataplex, y compris les types d'aspects: Éditeur de catalogue Dataplex (roles/dataplex.catalogEditor)
  • Ensemble complet d'autorisations sur les types d'aspects personnalisés (à l'exception des autorisations permettant d'utiliser des types d'aspect pour créer ou modifier des entrées): Propriétaire du type d'aspect Dataplex (roles/dataplex.aspectTypeOwner)
  • Afficher les types d'aspects et les stratégies IAM qui leur sont associées : Lecteur de catalogue Dataplex (roles/dataplex.catalogViewer)
  • Utilisez des types d'aspect pour créer et modifier des entrées avec les aspects correspondants : Utilisateur du type d'aspect Dataplex (roles/dataplex.aspectTypeUser)
  • Ajoutez des aspects de certains types d'aspects système, tels que schema, overview et contacts : Propriétaire de l'entrée Dataplex (roles/dataplex.entryOwner)

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus, consultez Rôles IAM Dataplex

Activer l'API

Activez l'API Dataplex dans votre projet Dataplex.

Activer l'API

Créer un type d'aspect

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects > Personnalisé.

  3. Dans la section Détails, saisissez les informations suivantes:

    1. (Facultatif) Dans le champ Display name (Nom à afficher), saisissez un nom pour l'aspect. de mots clés.
    2. Dans le champ ID du type d'aspect, saisissez un ID unique pour le type d'aspect.
    3. Facultatif: dans le champ Description, saisissez une description du type d'aspect.
    4. Dans le champ Lieu, sélectionnez un emplacement pour le type d'aspect. Vous ne pouvez pas modifier l'emplacement d'un type d'aspect après l'avoir créé.

  4. Facultatif: Définissez un modèle pour votre type d'aspect.

    Dans Modèles, cliquez sur Ajouter un champ. Dans la section Nouveau champ, saisissez les informations suivantes :

    1. Dans le champ Nom, saisissez un nom.
    2. Facultatif: dans le champ Nom à afficher, saisissez un nom à afficher.
    3. Facultatif : Dans le champ Description, saisissez une description.

    4. Dans le champ Type, sélectionnez un type de données pour le champ. D'après vos les champs et options suivants s'affichent:

      • Si vous avez sélectionné Texte comme type de données, procédez comme suit :

        1. Dans le champ Type de texte, sélectionnez le type de texte.
        2. Dans le champ Valeurs textuelles, fournissez une indication pour le champ de texte. Pour ce faire, cliquez sur Ajouter une valeur et saisissez l'indice. Vous pouvez ajouter plusieurs suggestions pour un champ de texte.
        3. Cliquez sur OK.

      • Si vous avez sélectionné Énumération comme type de données, ajoutez une valeur d'énumération :

        1. Cliquez sur Ajouter une valeur d'énumération.
        2. Dans le champ Value (Valeur), saisissez une valeur d'énumération. Vous pouvez ajouter plusieurs valeurs d'énumération.
        3. Cliquez sur OK.

      • Si vous avez sélectionné Array (Tableau) comme type de données, dans la section Array item (Élément du tableau), définissez les types d'éléments à inclure dans le tableau :

        1. Cliquez sur Ajouter un élément de tableau.
        2. Dans le champ Nom, saisissez un nom pour les éléments du tableau.
        3. Facultatif: dans le champ Nom à afficher, saisissez un nom à afficher. pour les éléments du tableau.
        4. Facultatif : Dans le champ Description, saisissez une description des éléments du tableau.

        5. Dans le champ Type, sélectionnez un type de données pour les éléments du tableau.

          En fonction de votre sélection, l'ensemble suivant de champs et d'options s'affiche. Elles sont similaires aux options décrites les types de données Text, Enum, Map, Array et Enregistrer ailleurs dans cette section.

        6. Cliquez sur OK.

      • Si vous avez sélectionné Carte comme type de données, dans la section Valeur de la carte, définissez les types de valeurs à afficher dans la carte :

        1. Cliquez sur Ajouter une valeur à la carte.
        2. Dans le champ Nom, saisissez un nom pour la carte.
        3. Facultatif : Dans le champ Nom à afficher, saisissez un nom à afficher pour la carte.
        4. Facultatif : Dans le champ Description, saisissez une description de la carte.

        5. Dans le champ Type, sélectionnez un type de données pour la carte.

          En fonction de votre sélection, le prochain ensemble de champs et d'options s'affichent. Elles sont semblables aux options décrites pour les types de données Texte, Enum, Map, Array et Record ailleurs dans cette section.

        6. Cliquez sur OK.

      • Si vous avez sélectionné Enregistrement comme type de données, saisissez les informations suivantes :

        1. Dans le champ ID d'enregistrement, saisissez un ID unique que les autres champs d'enregistrement peuvent utiliser pour faire référence à cet enregistrement. Consultez la section Exemple d'utilisation des champs "ID de l'enregistrement" et "Référence de l'enregistrement" de ce document.
        2. Facultatif : Si vous souhaitez ajouter une référence à un autre enregistrement de ce modèle, utilisez le champ Référence de l'enregistrement. Vous ne pouvez pas modifier ce paramètre une fois le type d'aspect créé. Voir Exemple d'utilisation des champs "ID de l'enregistrement" et "Référence de l'enregistrement" de ce document.

        3. Dans la section Champs d'enregistrement, vous pouvez définir un objet complexe. avec plusieurs champs imbriqués. Pour ce faire, cliquez sur Add record field item (Ajouter un élément de champ d'enregistrement) et spécifiez les éléments suivants:

          1. Dans le champ Name (Nom), saisissez un nom pour le champ d'enregistrement.
          2. Facultatif : Dans le champ Nom à afficher, saisissez un nom à afficher pour le champ d'enregistrement.
          3. (Facultatif) Dans le champ Description, saisissez une description pour le champ d'enregistrement.

          4. Dans le champ Type, sélectionnez un type de données.

            En fonction de votre sélection, le prochain ensemble de champs et d'options s'affichent. Elles sont similaires aux options décrites pour les types de données Text (Texte), Enum (Enumération), Map (Carte), Array (Tableau) et Record (Enregistrement) plus tôt dans cette section.

        4. Cliquez sur OK.

    5. Pour rendre le champ obligatoire pour un aspect de ce type, sélectionnez Obligatoire. Pour en savoir plus sur les aspects obligatoires et facultatifs, consultez la section Catégories d'aspects de ce document.

    6. Cliquez sur OK.

    7. Pour ajouter plusieurs champs, cliquez sur Ajouter un champ et répétez les étapes précédentes.

  5. (Facultatif) Dans la section Étiquettes, ajoutez des étiquettes arbitraires en tant que clé-valeur à vos ressources:

    1. Cliquez sur Ajouter une étiquette.
    2. Dans le champ Clé, saisissez une clé.
    3. Dans le champ Valeur, saisissez une valeur pour la clé.
    4. Pour ajouter d'autres libellés, cliquez sur Ajouter une étiquette et répétez la procédure.

  6. Cliquez sur Enregistrer.

Une fois que vous avez créé un type d'aspect, vous pouvez ajouter des aspects aux entrées.

REST

Pour créer un type d'aspect, utilisez la aspectType.create .

Exemple d'utilisation des champs "Record ID" (ID de l'enregistrement) et "Record reference" (Référence de l'enregistrement)

Vous pouvez utiliser les champs ID d'enregistrement et Référence d'enregistrement pour les références récursives. L'exemple suivant montre comment utiliser ces champs:

Prenons l'exemple d'un type d'aspect appelé Employee, avec les champs suivants :

  • Nom (type :Text)
  • Date de début (type:Date & time)
  • Désignation (type:Text)
  • Adresse actuelle (type:Record)
  • Adresse permanente (type :Record)

Les deux champs d'adresse Adresse actuelle et Adresse permanente sont des même type de données Record. Pour éviter la duplication, vous pouvez définir l'ID de l'enregistrement. et Enregistrer des valeurs de référence lorsque vous définissez ces champs.

Lorsque vous définissez le champ Current address (Adresse actuelle), vous pouvez spécifier l'ID de l'enregistrement comme suit : address-field Pour Adresse permanente, vous pouvez spécifier la même valeur (address-field) pour Référence de l'enregistrement. Exemple :

  • Nom (type :Text)
  • Date de début (type:Date & time)
  • Désignation (type :Text)
  • Adresse actuelle (type :Record, ID d'enregistrement :address-field)
  • Adresse permanente (type:Record, référence de l'enregistrement:address-field)

Vous n'avez donc pas besoin de dupliquer les champs d'une autre adresse.

Ajouter des aspects à une entrée

Après avoir créé un type d'aspect, vous pouvez créer des aspects de ce type. Pour ajouter des aspects à une entrée, vous devez la mettre à jour, car les aspects sont stockés dans les entrées.

Veuillez noter les points suivants :

  • Vous pouvez ajouter des aspects à une entrée ou aux colonnes d'une entrée.
  • Vous ne pouvez modifier les aspects requis que pour les entrées personnalisées. Vous ne pouvez pas supprimer les aspects requis.

  • Vous pouvez modifier et supprimer les aspects facultatifs pour les entrées personnalisées et les entrées système.

Console

  1. Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

    Accéder à la recherche

  2. Pour Choisir une plate-forme de recherche, sélectionnez Dataplex Catalog comme mode de recherche.

  3. Recherchez l'entrée à laquelle vous souhaitez ajouter des aspects, puis cliquez dessus.

    La page des détails de l'entrée s'affiche.

  4. Pour ajouter des aspects à une entrée, procédez comme suit:

    1. Sur la page des détails de l'entrée, cliquez sur l'onglet Détails.
    2. Pour ajouter des aspects obligatoires ou facultatifs à l'entrée, dans la section Aspects, cliquez sur  Ajouter pour la catégorie concernée.
      Vous ne pouvez pas ajouter d'aspects obligatoires si aucun aspect obligatoire n'est défini pour le type d'entrée sélectionné.
    3. Recherchez et sélectionnez l'aspect que vous souhaitez ajouter.
    4. Dans la fenêtre Ajouter un aspect, saisissez les valeurs des champs.
    5. Cliquez sur Enregistrer.

  5. Pour ajouter des aspects à une colonne d'une entrée, procédez comme suit :

    1. Sur la page d'informations sur l'entrée, cliquez sur l'onglet Schema (Schéma).
    2. Sélectionnez les colonnes auxquelles vous souhaitez ajouter des aspects.
    3. Cliquez sur Ajouter un aspect.
    4. Recherchez et sélectionnez l'aspect que vous souhaitez ajouter.
    5. Dans la fenêtre Ajouter un aspect, saisissez les valeurs des champs.
    6. Cliquez sur Enregistrer.

REST

Pour ajouter des aspects à une entrée ou à une colonne d'une entrée, utilisez la entry.patch .

Créer et utiliser des aspects dans une entrée où le type d'aspect respectif et le appartiennent à différentes organisations Google Cloud, n'est pas compatible.

Gérer les aspects existants d'une entrée

Cette section explique comment mettre à jour et supprimer les aspects existants d'une entrée.

Mettre à jour un aspect

Vous pouvez modifier les aspects facultatifs des entrées personnalisées et système. Vous ne pouvez modifier les aspects obligatoires que pour les entrées personnalisées.

Console

  1. Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

    Accéder à la recherche

  2. Dans Choisir une plate-forme de recherche, sélectionnez Catalogue Dataplex en tant que mode de recherche.

  3. Recherchez l'entrée dont vous souhaitez modifier certains aspects, puis cliquez dessus.

    La page des détails de l'entrée s'affiche.

  4. Cliquez sur l'onglet Détails.

  5. Pour l'aspect que vous souhaitez mettre à jour, cliquez sur Modifier.

  6. Dans la fenêtre Edit aspect (Modifier l'aspect), mettez à jour les champs obligatoires.

  7. Cliquez sur Enregistrer.

REST

Pour mettre à jour les aspects d'une entrée ou d'une colonne d'une entrée, utilisez la entry.update .

Supprimer un aspect

Console

  1. Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

    Accéder à la recherche

  2. Pour Choisir une plate-forme de recherche, sélectionnez Dataplex Catalog comme mode de recherche.

  3. Recherchez l'entrée dont vous souhaitez supprimer les aspects, puis cliquez sur l'entrée.

    La page des détails de l'entrée s'ouvre.

  4. Cliquez sur l'onglet Détails.

  5. Pour l'aspect que vous souhaitez supprimer, cliquez sur  Supprimer.

  6. Cliquez sur Confirmer.

REST

Pour supprimer un aspect d'une entrée, utilisez la méthode entry.update .

Gérer les types d'aspects

Cette section explique comment afficher, mettre à jour et supprimer des types d'aspects.

Afficher la liste des types d'aspects disponibles

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects.

    Vous pouvez accéder à la liste des types d'aspects personnalisés et système. Pour plus pour en savoir plus, consultez les catégories de types d'aspects de ce document.

    Types d'aspects avec suffixe dans l'onglet Personnalisé (Data Catalog) correspond aux modèles de tag qui sont migrés. de Data Catalog.

  3. Pour afficher la liste des types d'aspects dans tous les projets, cliquez sur l'onglet Personnalisé, puis activez l'option Afficher à partir de tous les projets.

REST

Pour répertorier tous les types d'aspects disponibles, utilisez la aspectTypes.list .

Afficher les détails d'un type d'aspect

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects.

  3. Cliquez sur le type d'aspect.

    La page des détails du type d'aspect s'ouvre. Vous pouvez afficher des informations le nom à afficher, l'ID du type d'aspect, la description, l'ID du projet, l'emplacement, les libellés, la date de création et la date de la dernière modification du type d'aspect sélectionné.

  4. Pour afficher la structure du type d'aspect sélectionné, cliquez sur l'onglet Modèle.

  5. Pour afficher la liste des 10 entrées associées récemment créées, Cliquez sur l'onglet Exemples d'entrées.

  6. Pour rechercher toutes les entrées associées, cliquez sur Afficher toutes les entrées associées dans la recherche. Ce bouton n'apparaît que si au moins une entrée est associée.

REST

Pour obtenir les détails d'un type d'aspect, utilisez la méthode aspectTypes.get.

Mettre à jour un type d'aspect

Vous pouvez modifier le nom à afficher, la description, les champs de modèle et les libellés d'un type d'aspect. Vous ne pouvez pas supprimer un champ existant dans un modèle.

Vous ne pouvez pas mettre à jour l'ID du type d'aspect ni l'emplacement après avoir créé le type d'aspect.

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects.

  3. Cliquez sur le type d'aspect que vous souhaitez mettre à jour.

  4. Sur la page Détails du type d'aspect, cliquez sur Modifier.

  5. modifier le nom à afficher, la description, les champs du modèle et les libellés ; si nécessaire.

  6. Facultatif : Pour marquer un champ du type d'aspect comme obsolète, procédez comme suit :

    1. Dans la section Modèle, développez le champ.
    2. Sélectionnez Est obsolète.
    3. Dans le champ Motif d'abandon, saisissez le motif de l'abandon du champ sélectionné.
    4. Cliquez sur OK.

  7. Cliquez sur Enregistrer.

REST

Pour mettre à jour un type d'aspect existant, utilisez le aspectTypes.patch .

Supprimer un type d'aspect

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects.

  3. Cliquez sur le type d'aspect que vous souhaitez supprimer.

  4. Sur la page Détails du type d'aspect, cliquez sur Supprimer. Confirmer quand vous y êtes invité.

REST

Pour supprimer un type d'aspect existant, utilisez la méthode aspectTypes.delete.

Étape suivante