Gérer les aspects et enrichir les métadonnées

Ce document explique comment créer et gérer les types d'aspects. annoter les entrées avec des aspects.

Le catalogue Dataplex décrit les entrées selon un ensemble d'aspects. Vous pouvez décrire vos entrées avec des métadonnées supplémentaires en utilisant des aspects et types d'aspects.

Pour en savoir plus, consultez la présentation du catalogue Dataplex.

Aspects

Les aspects vous permettent de capturer des métadonnées dans des entrées. Ajouter des aspects à une entrée permet de fournir un contexte pertinent à toute personne ayant besoin de l'utiliser. Vous pouvez utiliser certains aspects pour stocker les métadonnées métier (par exemple, la classification des données) et métadonnées techniques (par exemple, schéma).

Les aspects sont considérés comme des parties de la ressource d'entrée et non distincts ressources. Lorsque vous modifiez un aspect, cela implique de modifier l'entrée contenant de l'aspect.

Vous pouvez spécifier des aspects au niveau d'entrée pour décrire une entrée, ou au niveau niveau colonne pour décrire une colonne dans une entrée.

Chaque aspect est une instance d'un type d'aspect. Un type d'aspect définit un modèle pour ses aspects. Chaque type d'aspect contient un ensemble de champs. Lorsque vous créez vous devez fournir des valeurs pour ces champs.

Pour une entrée donnée, il peut y avoir au maximum un aspect associé à l'entrée, par type d'aspect. Plusieurs aspects peuvent être associés aux colonnes d'entrée par type d'aspect.

Catégories d'aspects

Les aspects sont classés comme suit:

  • Aspects obligatoires: aspects obligatoires lors de la création d'une entrée. Ces aspects sont définis par le type d'entrée d'une entrée donnée. Toutes les entrées appartenant à un type d'entrée doivent toujours présenter tous les aspects requis sont définies par ce type d'entrée.

    Dataplex gère les aspects requis (par exemple, le schéma) pour entrées système.

    Veuillez noter les points suivants :

    • Vous ne pouvez associer les aspects requis qu'aux entrées, et non aux éléments colonnes d'une entrée.

    • Vous ne pouvez pas supprimer les aspects requis d'une entrée.

    • Vous pouvez consulter les aspects requis des entrées système, mais vous ne pouvez pas les modifier.

  • Aspects facultatifs: vous pouvez associer des aspects facultatifs à des entrées ou à colonnes d'entrée. Vous pouvez renseigner des aspects facultatifs au moment de la saisie ou ultérieurement en mettant à jour l'entrée.

    Vous pouvez supprimer les aspects facultatifs une fois qu'ils ont été renseignés.

Types d'aspects

Les types d'aspect sont des ressources réutilisables qui fournissent des modèles pour les aspects.

Catégories de types d'aspects

Les types d'aspects sont classés comme suit:

  • Types d'aspects personnalisés: types d'aspects que vous créez dans Catalogue Dataplex.

  • Types d'aspects système: types d'aspects fournis, utilisés par Dataplex et qu'il gère.

    Les types d'aspects système sont classés selon qu'ils sont réutilisables ou limités. Le tableau suivant décrit les catégories des types d'aspects système et les liste des types d'aspects fournis par Dataplex pour chacune des catégories:

    Catégorie du type d'aspect système Description Types d'aspects fournis par Dataplex
    Type d'aspect du système réutilisable Vous pouvez utiliser ces types d'aspects pour créer ou modifier des aspects.
    • generic
    • storage
    Type d'aspect système restreint Dataplex gère ces types d'aspects.
    Vous pouvez lire les aspects de ces types d'aspects, mais vous ne pouvez pas créer ni modifier aspects sous ces types d'aspects.
    • bigquery-connection
    • bigquery-dataset
    • bigquery-model
    • bigquery-routine
    • bigquery-table
    • bigquery-view
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-schema
    • cloudsql-table
    • cloudsql-view
    • storage
    • sql-access
    • storage-bucket
    • storage-folder

    N'utilisez pas les types d'aspects système overview, contacts et schema.

    Vous pouvez créer des types d'aspect personnalisés dans un emplacement régional spécifique ou ressource globale. Les types d'aspects système sont toujours globaux. L'emplacement d'un le type d'aspect a une incidence sur la portée de son applicabilité. Pour en savoir plus, consultez Contraintes de projet et d'emplacement.

Avant de commencer

Avant de créer et de gérer les types d'aspects et les aspects, effectuez les tâches requises décrites dans cette section.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer et gérer les types et aspects d'aspects, demandez à votre administrateur de vous accorder le les rôles IAM suivants sur la ressource:

  • Ensemble complet d'autorisations sur toutes les ressources du catalogue Dataplex, y compris les types d'aspects: Administrateur du catalogue Dataplex (roles/dataplex.catalogAdmin)
  • Créer et gérer toutes les ressources du catalogue Dataplex, y compris les types d'aspects: Éditeur de catalogue Dataplex (roles/dataplex.catalogEditor)
  • Ensemble complet d'autorisations sur les types d'aspects personnalisés (à l'exception des autorisations permettant d'utiliser des types d'aspect pour créer ou modifier des entrées): Propriétaire du type d'aspect Dataplex (roles/dataplex.aspectTypeOwner)
  • Affichez les types d'aspects et les stratégies IAM qui leur sont associés: Lecteur de catalogue Dataplex (roles/dataplex.catalogViewer)
  • Utilisez les types d'aspects pour créer et modifier des entrées avec les aspects correspondants: Utilisateur du type d'aspect Dataplex (roles/dataplex.aspectTypeUser)
  • Ajoutez des aspects de certains types d'aspects système, tels que schema, overview et contacts: Propriétaire de l'entrée Dataplex (roles/dataplex.entryOwner)

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus, consultez Rôles IAM Dataplex

Activer l'API

Activez l'API Dataplex dans votre projet Dataplex.

Activer l'API

Créer un type d'aspect

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects > Personnalisé.

  3. Dans la section Détails, saisissez les informations suivantes:

    1. (Facultatif) Dans le champ Display name (Nom à afficher), saisissez un nom pour l'aspect. de mots clés.
    2. Dans le champ ID du type d'aspect, saisissez un ID unique pour le type d'aspect.
    3. Facultatif: dans le champ Description, saisissez une description du type d'aspect.
    4. Dans le champ Lieu, sélectionnez un emplacement pour le type d'aspect. Vous ne pouvez pas modifier l'emplacement d'un type d'aspect après l'avoir créé.

  4. Facultatif: Définissez un modèle pour votre type d'aspect.

    Dans Modèles, cliquez sur Ajouter un champ. Dans la section Nouveau champ : saisissez la commande suivante:

    1. Dans le champ Nom, saisissez un nom.
    2. Facultatif: dans le champ Nom à afficher, saisissez un nom à afficher.
    3. Facultatif : Dans le champ Description, saisissez une description.

    4. Dans le champ Type, sélectionnez un type de données pour le champ. D'après vos les champs et options suivants s'affichent:

      • Si vous avez sélectionné Texte comme type de données, procédez comme suit:

        1. Dans le champ Type de texte, sélectionnez le type de texte.
        2. Dans le champ Valeurs textuelles, indiquez une indication pour le texte. . Pour ce faire, cliquez sur Ajouter une valeur et saisissez l'indice. Vous pouvez ajouter plusieurs suggestions pour un champ de texte.
        3. Cliquez sur OK.

      • Si vous avez sélectionné Énumération comme type de données, ajoutez une valeur d'énumération:

        1. Cliquez sur Ajouter une valeur enum.
        2. Dans le champ Valeur, saisissez une valeur d'énumération. Vous pouvez ajouter plusieurs valeurs d'énumération.
        3. Cliquez sur OK.

      • Si vous avez sélectionné Tableau comme type de données, dans Élément de tableau définissez les types d'éléments devant figurer dans le tableau:

        1. Cliquez sur Ajouter un élément de tableau.
        2. Dans le champ Nom, saisissez un nom pour les éléments du tableau.
        3. Facultatif: dans le champ Nom à afficher, saisissez un nom à afficher. pour les éléments du tableau.
        4. (Facultatif) Dans le champ Description, saisissez une description pour les éléments du tableau.

        5. Dans le champ Type, sélectionnez un type de données pour les éléments du tableau.

          En fonction de votre sélection, le prochain ensemble de champs et d'options s'affichent. Elles sont similaires aux options décrites les types de données Text, Enum, Map, Array et Enregistrer ailleurs dans cette section.

        6. Cliquez sur OK.

      • Si vous avez sélectionné le type de données Mapper, dans Map value (Valeur de carte) , définissez les types de valeurs à inclure dans la carte:

        1. Cliquez sur Ajouter une valeur à la carte.
        2. Dans le champ Nom, saisissez le nom de la carte.
        3. Facultatif: dans le champ Nom à afficher, saisissez un nom à afficher. pour la carte.
        4. Facultatif: dans le champ Description, saisissez une description. pour la carte.

        5. Dans le champ Type, sélectionnez un type de données pour la carte.

          En fonction de votre sélection, le prochain ensemble de champs et d'options s'affichent. Elles sont similaires aux options décrites les types de données Text, Enum, Map, Array et Enregistrer ailleurs dans cette section.

        6. Cliquez sur OK.

      • Si vous avez sélectionné le type de données Record (Enregistrer), saisissez la commande suivante:

        1. Dans le champ Record ID (ID de l'enregistrement), saisissez un identifiant unique que cet autre enregistrement peuvent utiliser pour faire référence à cet enregistrement. Voir Exemple d'utilisation des champs "ID de l'enregistrement" et "Référence de l'enregistrement" de ce document.
        2. Facultatif: Si vous souhaitez ajouter une référence à un autre enregistrement provenant de ce modèle, utilisez le champ Record reference (Référence de l'enregistrement). Vous ne pouvez pas modifier après avoir créé le type d'aspect. Voir Exemple d'utilisation des champs "ID de l'enregistrement" et "Référence de l'enregistrement" de ce document.

        3. Dans la section Champs d'enregistrement, vous pouvez définir un objet complexe. avec plusieurs champs imbriqués. Pour ce faire, cliquez sur Add record field item (Ajouter un élément de champ d'enregistrement) et spécifiez les éléments suivants:

          1. Dans le champ Name (Nom), saisissez un nom pour le champ d'enregistrement.
          2. Facultatif: dans le champ Nom à afficher, saisissez un nom à afficher. pour le champ d'enregistrement.
          3. (Facultatif) Dans le champ Description, saisissez une description pour le champ d'enregistrement.

          4. Dans le champ Type, sélectionnez un type de données.

            En fonction de votre sélection, le prochain ensemble de champs et d'options s'affichent. Elles sont similaires aux options décrites les types de données Text, Enum, Map, Array et Enregistrer plus tôt dans cette section.

        4. Cliquez sur OK.

    5. Pour rendre le champ obligatoire pour un aspect de ce type, sélectionnez Obligatoire. Pour en savoir plus sur les aspects requis et aspects facultatifs, consultez les catégories d'aspects de ce document.

    6. Cliquez sur OK.

    7. Pour ajouter plusieurs champs, cliquez sur Ajouter un champ, puis répétez les étapes ci-dessus. étapes.

  5. (Facultatif) Dans la section Étiquettes, ajoutez des étiquettes arbitraires en tant que clé-valeur à vos ressources:

    1. Cliquez sur Ajouter une étiquette.
    2. Dans le champ Clé, saisissez une clé.
    3. Dans le champ Valeur, saisissez une valeur pour la clé.
    4. Pour ajouter d'autres libellés, cliquez sur Ajouter une étiquette et répétez la procédure.

  6. Cliquez sur Enregistrer.

Après avoir créé un type d'aspect, vous pouvez ajouter des aspects aux entrées.

REST

Pour créer un type d'aspect, utilisez la aspectType.create .

Exemple d'utilisation des champs "Record ID" (ID de l'enregistrement) et "Record reference" (Référence de l'enregistrement)

Vous pouvez utiliser les champs Record ID (ID de l'enregistrement) et Record reference (Référence de l'enregistrement) pour les champs récursifs. de référence. L'exemple suivant montre comment utiliser ces champs:

Prenons un type d'aspect appelé Employee, avec les champs suivants:

  • Nom (type:Text)
  • Date de début (type:Date & time)
  • Désignation (type:Text)
  • Adresse actuelle (type:Record)
  • Adresse permanente (type:Record)

Les deux champs d'adresse Adresse actuelle et Adresse permanente sont des même type de données Record. Pour éviter la duplication, vous pouvez définir l'ID de l'enregistrement. et Enregistrer des valeurs de référence lorsque vous définissez ces champs.

Lorsque vous définissez le champ Current address (Adresse actuelle), vous pouvez spécifier l'ID de l'enregistrement comme suit : address-field Vous pouvez indiquer la même valeur dans le champ Adresse permanente. (address-field) pour Référence de l'enregistrement. Exemple :

  • Nom (type:Text)
  • Date de début (type:Date & time)
  • Désignation (type:Text)
  • Adresse actuelle (type:Record, ID d'enregistrement:address-field)
  • Adresse permanente (type:Record, référence de l'enregistrement:address-field)

De cette façon, vous n'avez pas besoin de dupliquer les champs d'une autre adresse.

Ajouter des aspects à une entrée

Après avoir créé un type d'aspect, vous pouvez créer des aspects de ce type. Pour ajouter des aspects à une entrée, vous devez la mettre à jour, car les aspects sont stockées dans des entrées.

Veuillez noter les points suivants :

  • Vous pouvez ajouter des aspects à une entrée ou aux colonnes d'une entrée.
  • Vous ne pouvez modifier les aspects requis que pour les entrées personnalisées. Vous ne pouvez pas supprimer les aspects requis.

  • Vous pouvez modifier et supprimer les aspects facultatifs des entrées personnalisées et les entrées système.

Console

  1. Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

    Accéder à la recherche

  2. Dans Choisir une plate-forme de recherche, sélectionnez Catalogue Dataplex en tant que mode de recherche.

  3. Recherchez l'entrée à laquelle vous souhaitez ajouter des aspects, puis cliquez sur l'entrée.

    La page des détails de l'entrée s'affiche.

  4. Pour ajouter des aspects à une entrée, procédez comme suit:

    1. Sur la page des détails de l'entrée, cliquez sur l'onglet Détails.
    2. Pour ajouter les aspects requis ou facultatifs à l'entrée, Dans la section Aspects, cliquez sur Ajouter pour les champs catégorie.
      Vous ne pouvez pas ajouter les aspects obligatoires si le type d'entrée de l'élément sélectionné aucun aspect requis n'a été défini.
    3. Recherchez et sélectionnez l'aspect que vous souhaitez ajouter.
    4. Dans la fenêtre Ajouter un aspect, saisissez les valeurs des champs.
    5. Cliquez sur Enregistrer.

  5. Pour ajouter des aspects à une colonne d'entrée, procédez comme suit:

    1. Sur la page d'informations de l'entrée, cliquez sur l'onglet Schéma.
    2. Sélectionnez les colonnes auxquelles vous souhaitez ajouter des aspects.
    3. Cliquez sur Ajouter un aspect.
    4. Recherchez et sélectionnez l'aspect que vous souhaitez ajouter.
    5. Dans la fenêtre Ajouter un aspect, saisissez les valeurs des champs.
    6. Cliquez sur Enregistrer.

REST

Pour ajouter des aspects à une entrée ou à une colonne d'une entrée, utilisez la entry.patch .

Créer et utiliser des aspects dans une entrée où le type d'aspect respectif et le appartiennent à différentes organisations Google Cloud, n'est pas compatible.

Gérer les aspects existants d'une entrée

Cette section explique comment mettre à jour et supprimer les aspects existants d'une entrée.

Mettre à jour un aspect

Vous pouvez modifier les aspects facultatifs des entrées personnalisées et des entrées système. Vous ne pouvez modifier les aspects requis que pour les entrées personnalisées.

Console

  1. Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

    Accéder à la recherche

  2. Dans Choisir une plate-forme de recherche, sélectionnez Catalogue Dataplex en tant que mode de recherche.

  3. Recherchez l'entrée dont vous souhaitez mettre à jour les aspects, puis cliquez sur l'entrée.

    La page des détails de l'entrée s'affiche.

  4. Cliquez sur l'onglet Détails.

  5. Pour l'aspect que vous souhaitez mettre à jour, cliquez sur Modifier.

  6. Dans la fenêtre Edit aspect (Modifier l'aspect), mettez à jour les champs obligatoires.

  7. Cliquez sur Enregistrer.

REST

Pour mettre à jour les aspects d'une entrée ou d'une colonne d'une entrée, utilisez la entry.update .

Supprimer un aspect

Console

  1. Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

    Accéder à la recherche

  2. Dans Choisir une plate-forme de recherche, sélectionnez Catalogue Dataplex en tant que mode de recherche.

  3. Recherchez l'entrée dont vous souhaitez supprimer les aspects, puis cliquez sur l'entrée.

    La page des détails de l'entrée s'affiche.

  4. Cliquez sur l'onglet Détails.

  5. Pour l'aspect que vous souhaitez supprimer, cliquez sur Supprimer.

  6. Cliquez sur Confirmer.

REST

Pour supprimer un aspect d'une entrée, utilisez la méthode entry.update .

Gérer les types d'aspects

Cette section explique comment afficher, mettre à jour et supprimer des types d'aspects.

Afficher la liste des types d'aspects disponibles

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects.

    Vous pouvez accéder à la liste des types d'aspects personnalisés et système. Pour plus pour en savoir plus, consultez les catégories de types d'aspects de ce document.

    Types d'aspects avec suffixe dans l'onglet Personnalisé (Data Catalog) correspond aux modèles de tag qui sont migrés. de Data Catalog.

  3. Pour afficher la liste des types d'aspects de tous les projets, cliquez sur le Personnalisé, puis cliquez sur le bouton Afficher depuis tous les projets pour en position activée.

REST

Pour répertorier tous les types d'aspects disponibles, utilisez la aspectTypes.list .

Afficher les détails d'un type d'aspect

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects.

  3. Cliquez sur le type d'aspect.

    La page d'informations sur le type d'aspect s'ouvre. Vous pouvez afficher des informations le nom à afficher, l'ID du type d'aspect, la description, l'ID du projet, l'emplacement, les libellés, la date de création et la date de la dernière modification du type d'aspect sélectionné.

  4. Pour afficher la structure du type d'aspect sélectionné, cliquez sur l'icône Modèle.

  5. Pour afficher la liste des 10 entrées associées récemment créées, Cliquez sur l'onglet Exemples d'entrées.

  6. Pour rechercher toutes les entrées associées, cliquez sur Afficher toutes les entrées associées dans la recherche : Ce bouton apparaît uniquement il y a au moins une entrée associée.

REST

Pour obtenir les détails d'un type d'aspect, utilisez le aspectTypes.get .

Mettre à jour un type d'aspect

Vous pouvez mettre à jour le nom à afficher, la description, les champs du modèle et les libellés. d'un type d'aspect. Vous ne pouvez pas supprimer un champ existant d'un modèle.

Vous ne pouvez pas mettre à jour l'ID du type d'aspect ni l'emplacement après avoir créé le type d'aspect.

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects.

  3. Cliquez sur le type d'aspect que vous souhaitez mettre à jour.

  4. Sur la page Détails du type d'aspect, cliquez sur Modifier.

  5. modifier le nom à afficher, la description, les champs du modèle et les libellés ; si nécessaire.

  6. Facultatif: Pour marquer un champ du type d'aspect comme obsolète, procédez comme suit:

    1. Dans la section Modèle, développez le champ.
    2. Sélectionnez Est obsolète.
    3. Dans le champ Motif de l'abandon, saisissez un motif pour le champ sélectionné devient obsolète.
    4. Cliquez sur OK.

  7. Cliquez sur Enregistrer.

REST

Pour mettre à jour un type d'aspect existant, utilisez le aspectTypes.patch .

Supprimer un type d'aspect

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects.

  3. Cliquez sur le type d'aspect que vous souhaitez supprimer.

  4. Sur la page Détails du type d'aspect, cliquez sur Supprimer. Confirmer quand vous y êtes invité.

REST

Pour supprimer un type d'aspect existant, utilisez le aspectTypes.delete .

Étape suivante