Gérer les aspects et enrichir les métadonnées

Ce document explique comment créer et gérer des types d'aspects, et annoter des entrées avec des aspects.

Dataplex Catalog décrit les entrées à l'aide d'un ensemble d'aspects. Vous pouvez décrire vos entrées à l'aide de métadonnées supplémentaires à l'aide d'aspects et de types d'aspects.

Pour en savoir plus, consultez la page Présentation de Dataplex Catalog.

Aspects

Les aspects vous permettent de capturer les métadonnées dans les entrées. L'ajout d'aspects à une entrée permet de fournir un contexte pertinent à toute personne ayant besoin d'utiliser cet élément. Vous pouvez utiliser des aspects pour stocker des métadonnées métier (par exemple, la classification des données) et des métadonnées techniques (par exemple, le schéma).

Les aspects sont considérés comme faisant partie de la ressource d'entrée et non comme des ressources distinctes. Lorsque vous modifiez un aspect, vous devez modifier l'entrée qui le contient.

Vous pouvez spécifier des aspects au niveau de l'entrée pour décrire une entrée ou au niveau de la colonne pour décrire une colonne dans une entrée.

Chaque aspect est une instance d'un type d'aspect. Un type d'aspect définit un modèle pour ses aspects. Chaque type d'aspect contient un ensemble de champs. Lorsque vous créez des aspects, vous devez fournir des valeurs pour ces champs.

Pour une entrée donnée, un seul aspect peut lui être associé, par type d'aspect. Vous pouvez associer plusieurs aspects aux colonnes de saisie par type d'aspect.

Catégories d'aspects

Les aspects sont classés dans les catégories suivantes:

  • Aspects obligatoires: aspects obligatoires lors de la création d'une entrée. Ces aspects sont définis par le type d'entrée d'une entrée donnée. Toutes les entrées appartenant à un type d'entrée doivent toujours comporter tous les aspects requis définis par ce type d'entrée.

    Dataplex gère les aspects requis (par exemple, le schéma) pour les entrées système.

    Veuillez noter les points suivants :

    • Vous ne pouvez associer des aspects obligatoires qu'aux entrées et non aux colonnes d'une entrée.

    • Vous ne pouvez pas supprimer les aspects obligatoires d'une entrée.

    • Vous pouvez lire les aspects requis des entrées système, mais vous ne pouvez pas les modifier.

  • Aspects facultatifs: vous pouvez associer des aspects facultatifs à des entrées ou à des colonnes d'entrée. Vous pouvez renseigner les aspects facultatifs au moment de la création de l'entrée ou ultérieurement en la mettant à jour.

    Vous pouvez supprimer les aspects facultatifs une fois qu'ils ont été renseignés.

Types d'aspects

Les types d'aspect sont des ressources réutilisables qui fournissent des modèles pour les aspects.

Catégories de types d'aspects

Les types d'aspects sont classés comme suit:

  • Types d'aspects personnalisés: types d'aspects que vous créez dans le catalogue Dataplex.

  • Types d'aspects système: types d'aspects fournis, utilisés et gérés par Dataplex.

    Les types d'aspects système sont ensuite classés en deux catégories : réutilisables et restreints. Le tableau suivant décrit les catégories de types d'aspects système et la liste des types d'aspects fournis par Dataplex pour chacune des catégories:

    Catégorie du type d'aspect système Description Types d'aspects fournis par Dataplex
    Type d'aspect système réutilisable Vous pouvez utiliser ces types d'aspects pour créer ou modifier des aspects.
    • generic
    • storage
    Type d'aspect système restreint Dataplex gère ces types d'aspects.
    Vous pouvez lire les aspects de ces types d'aspects, mais vous ne pouvez pas en créer ni en modifier.
    • bigquery-connection
    • bigquery-dataset
    • bigquery-model
    • bigquery-routine
    • bigquery-table
    • bigquery-view
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-schema
    • cloudsql-table
    • cloudsql-view
    • storage
    • sql-access
    • storage-bucket
    • storage-folder

Les types d'aspects peuvent être globaux ou régionaux. Vous pouvez créer des types d'aspects personnalisés dans une région spécifique ou en tant que ressource globale. Les types d'aspects système sont toujours globaux.

Les types d'aspects globaux permettent de créer des aspects pour les entrées de n'importe quelle région. Le contenu des types d'aspects globaux est répliqué dans toutes les régions. Les types d'aspects régionaux permettent de créer des aspects pour les entrées de la même région.

L'emplacement d'un type d'aspect a une incidence sur son champ d'application. Pour en savoir plus, consultez la section Contraintes de projet et d'emplacement.

Avant de commencer

Avant de créer et de gérer des types et des aspects, effectuez les tâches décrites dans cette section.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer et gérer des types et des aspects, demandez à votre administrateur de vous accorder les rôles IAM suivants sur la ressource:

  • Ensemble complet d'autorisations sur toutes les ressources du catalogue Dataplex, y compris les types d'aspects : Administrateur du catalogue Dataplex (roles/dataplex.catalogAdmin)
  • Créez et gérez toutes les ressources du catalogue Dataplex, y compris les types d'aspects : Éditeur de catalogue Dataplex (roles/dataplex.catalogEditor)
  • Ensemble complet d'autorisations sur les types d'aspects personnalisés (à l'exception des autorisations d'utiliser des types d'aspects pour créer ou modifier des entrées) : Propriétaire du type d'aspect Dataplex (roles/dataplex.aspectTypeOwner)
  • Afficher les types d'aspects et les stratégies IAM qui leur sont associées : Lecteur du catalogue Dataplex (roles/dataplex.catalogViewer)
  • Utilisez des types d'aspect pour créer et modifier des entrées avec les aspects correspondants : Utilisateur du type d'aspect Dataplex (roles/dataplex.aspectTypeUser)
  • Ajoutez des aspects de certains types d'aspects système, tels que schema, overview et contacts : Propriétaire de l'entrée Dataplex (roles/dataplex.entryOwner)

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus, consultez la section Rôles IAM Dataplex.

Activer l'API

Activez l'API Dataplex dans votre projet Dataplex.

Activer l'API

Créer un type d'aspect

Console

  1. Dans la console Google Cloud , accédez à la page Catalogue Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects et modèles de tags > Personnalisé.

  3. Cliquez sur Créer un type d'aspect (catalogue Dataplex).

  4. Dans la fenêtre Créer un type d'aspect, saisissez les informations suivantes:

    1. Facultatif: Dans le champ Nom à afficher, saisissez un nom pour le type d'aspect.
    2. Dans le champ ID du type d'aspect, saisissez un ID unique pour le type d'aspect.
    3. Facultatif: Dans le champ Description, saisissez une description du type d'aspect.
    4. Dans le champ Location (Emplacement), sélectionnez un emplacement pour le type d'aspect. Une fois un type d'aspect créé, vous ne pouvez plus modifier son emplacement.

  5. Facultatif: définissez un modèle pour votre type d'aspect.

    Dans Modèles, cliquez sur Ajouter un champ. Dans la section Nouveau champ, saisissez les informations suivantes:

    1. Dans le champ Nom, saisissez un nom.
    2. Facultatif: Dans le champ Nom à afficher, saisissez un nom à afficher.
    3. Facultatif : Dans le champ Description, saisissez une description.

    4. Dans le champ Type, sélectionnez un type de données pour le champ. En fonction de votre sélection, l'ensemble suivant de champs et d'options s'affiche:

      • Si vous avez sélectionné Texte comme type de données, procédez comme suit:

        1. Dans le champ Type de texte, sélectionnez le type de texte.
        2. Dans le champ Valeurs textuelles, fournissez une indication pour le champ de texte. Pour ce faire, cliquez sur Ajouter une valeur, puis saisissez l'indice. Vous pouvez ajouter plusieurs conseils pour un champ de texte.
        3. Cliquez sur OK.

      • Si vous avez sélectionné Enum comme type de données, ajoutez une valeur d'énumération:

        1. Cliquez sur Ajouter une valeur d'énumération.
        2. Dans le champ Value (Valeur), saisissez une valeur d'énumération. Vous pouvez ajouter plusieurs valeurs d'énumération.
        3. Cliquez sur OK.

      • Si vous avez sélectionné Array (Tableau) comme type de données, dans la section Array item (Élément du tableau), définissez les types d'éléments à inclure dans le tableau:

        1. Cliquez sur Ajouter un élément de tableau.
        2. Dans le champ Nom, saisissez un nom pour les éléments du tableau.
        3. Facultatif: Dans le champ Nom à afficher, saisissez un nom à afficher pour les éléments du tableau.
        4. Facultatif: Dans le champ Description, saisissez une description des éléments du tableau.

        5. Dans le champ Type, sélectionnez un type de données pour les éléments du tableau.

          En fonction de votre sélection, l'ensemble suivant de champs et d'options s'affiche. Elles sont semblables aux options décrites pour les types de données Texte, Enum, Map, Array et Record ailleurs dans cette section.

        6. Cliquez sur OK.

      • Si vous avez sélectionné Carte comme type de données, dans la section Valeur de la carte, définissez les types de valeurs à afficher dans la carte:

        1. Cliquez sur Ajouter une valeur de carte.
        2. Dans le champ Nom, saisissez un nom pour la carte.
        3. Facultatif: Dans le champ Nom à afficher, saisissez un nom à afficher pour la carte.
        4. Facultatif: Dans le champ Description, saisissez une description de la carte.

        5. Dans le champ Type, sélectionnez un type de données pour la carte.

          En fonction de votre sélection, l'ensemble suivant de champs et d'options s'affiche. Elles sont semblables aux options décrites pour les types de données Texte, Enum, Map, Array et Record ailleurs dans cette section.

        6. Cliquez sur OK.

      • Si vous avez sélectionné Enregistrement comme type de données, saisissez les informations suivantes:

        1. Dans le champ ID de l'enregistrement, saisissez un ID unique que les autres champs de l'enregistrement peuvent utiliser pour faire référence à cet enregistrement. Consultez la section Exemple d'utilisation des champs "ID de l'enregistrement" et "Référence de l'enregistrement" de ce document.
        2. Facultatif: Si vous souhaitez ajouter une référence à un autre enregistrement de ce modèle, utilisez le champ Référence de l'enregistrement. Vous ne pouvez pas modifier ce paramètre une fois le type d'aspect créé. Consultez la section Exemple d'utilisation des champs "ID de l'enregistrement" et "Référence de l'enregistrement" de ce document.

        3. Dans la section Champs d'enregistrement, vous pouvez définir un objet complexe avec plusieurs champs imbriqués. Pour ce faire, cliquez sur Ajouter un élément de champ d'enregistrement, puis spécifiez les éléments suivants:

        4. Dans le champ Nom, saisissez un nom pour le champ d'enregistrement.

        5. Facultatif: Dans le champ Nom à afficher, saisissez un nom à afficher pour le champ d'enregistrement.

        6. Facultatif: Dans le champ Description, saisissez une description pour le champ d'enregistrement.

        7. Dans le champ Type, sélectionnez un type de données.

          En fonction de votre sélection, l'ensemble suivant de champs et d'options s'affiche. Elles sont similaires aux options décrites pour les types de données Text (Texte), Enum (Enumération), Map (Carte), Array (Tableau) et Record (Enregistrement) plus tôt dans cette section.

        8. Cliquez sur OK.

    5. Pour rendre le champ obligatoire pour un aspect de ce type, sélectionnez Obligatoire. Pour en savoir plus sur les aspects obligatoires et facultatifs, consultez la section Catégories d'aspects de ce document.

    6. Cliquez sur OK.

    7. Pour ajouter plusieurs champs, cliquez sur Ajouter un champ et répétez les étapes précédentes.

  6. Facultatif: Dans la section Libellés, ajoutez des libellés arbitraires sous forme de paires clé/valeur à vos ressources:

    1. Cliquez sur Ajouter une étiquette.
    2. Dans le champ Clé, saisissez une clé.
    3. Dans le champ Valeur, saisissez une valeur pour la clé.
    4. Pour ajouter d'autres étiquettes, cliquez sur Ajouter un libellé et répétez la procédure.

  7. Cliquez sur Enregistrer.

gcloud

Pour créer un type d'aspect, utilisez la commande gcloud dataplex aspect-types create.

REST

Pour créer un type d'aspect, utilisez la méthode aspectType.create.

Une fois que vous avez créé un type d'aspect, vous pouvez ajouter des aspects aux entrées.

Exemple d'utilisation des champs "ID d'enregistrement" et "Référence de l'enregistrement"

Vous pouvez utiliser les champs ID d'enregistrement et Référence d'enregistrement pour les références récursives. L'exemple suivant montre comment utiliser ces champs:

Prenons l'exemple d'un type d'aspect appelé Employee, avec les champs suivants:

  • Nom (type:Text)
  • Date de début (type:Date & time)
  • Désignation (type:Text)
  • Adresse actuelle (type:Record)
  • Adresse permanente (type:Record)

Les deux champs d'adresse Adresse actuelle et Adresse permanente sont du même type de données Record. Pour éviter les doublons, vous pouvez définir les valeurs ID d'enregistrement et Référence d'enregistrement lorsque vous définissez ces champs.

Lorsque vous définissez le champ Adresse actuelle, vous pouvez spécifier ID d'enregistrement comme address-field. Pour Adresse permanente, vous pouvez spécifier la même valeur (address-field) pour Référence de l'enregistrement. Exemple :

  • Nom (type:Text)
  • Date de début (type:Date & time)
  • Désignation (type:Text)
  • Adresse actuelle (type:Record, ID d'enregistrement:address-field)
  • Adresse permanente (type:Record, référence de l'enregistrement:address-field)

Vous n'avez donc pas besoin de dupliquer les champs d'une autre adresse.

Ajouter des aspects à une entrée

Après avoir créé un type d'aspect, vous pouvez créer des aspects de ce type. Pour ajouter des aspects à une entrée, vous devez la mettre à jour, car les aspects sont stockés dans les entrées.

Veuillez noter les points suivants :

  • Vous pouvez ajouter des aspects à une entrée ou aux colonnes d'une entrée.
  • Vous ne pouvez modifier les aspects obligatoires que pour les entrées personnalisées. Vous ne pouvez pas supprimer les aspects obligatoires.

  • Vous pouvez modifier et supprimer les aspects facultatifs pour les entrées personnalisées et les entrées système.

Console

  1. Dans la console Google Cloud , accédez à la page Recherche de Dataplex.

    Accéder à la recherche

  2. Pour Choisir une plate-forme de recherche, sélectionnez Dataplex Catalog comme mode de recherche.

  3. Recherchez l'entrée à laquelle vous souhaitez ajouter des aspects, puis cliquez dessus. La page des détails de l'entrée s'ouvre.

  4. Pour ajouter des aspects à l'entrée, procédez comme suit:

    1. Cliquez sur l'onglet Détails.
    2. Pour ajouter des aspects obligatoires ou facultatifs à l'entrée, dans la section Tags et aspects, cliquez sur Ajouter pour la catégorie concernée.
      Vous ne pouvez pas ajouter d'aspects obligatoires si aucun aspect obligatoire n'est défini pour le type d'entrée sélectionné.
    3. Recherchez et sélectionnez l'aspect que vous souhaitez ajouter.
    4. Dans la fenêtre Ajouter un aspect, saisissez les valeurs des champs.
    5. Cliquez sur Enregistrer.

  5. Pour ajouter des aspects à une colonne de l'entrée, procédez comme suit:

    1. Sur la page d'informations sur l'entrée, cliquez sur l'onglet Schema (Schéma).
    2. Sélectionnez les colonnes auxquelles vous souhaitez ajouter des aspects.
    3. Cliquez sur Ajouter un aspect.
    4. Recherchez et sélectionnez l'aspect que vous souhaitez ajouter.
    5. Dans la fenêtre Ajouter un aspect, saisissez les valeurs des champs.
    6. Cliquez sur Enregistrer.

gcloud

Pour ajouter des aspects à une entrée ou à une colonne d'une entrée, utilisez la commande gcloud dataplex entries update.

REST

Pour ajouter des aspects à une entrée ou à une colonne d'une entrée, utilisez la méthode entry.patch.

Il n'est pas possible de créer et d'utiliser des aspects dans une entrée où le type d'aspect et l'entrée respectifs se trouvent dans différentes organisations Google Cloud .

Gérer les aspects existants d'une entrée

Cette section explique comment mettre à jour et supprimer les aspects existants d'une entrée.

Mettre à jour un aspect

Vous pouvez modifier les aspects facultatifs des entrées personnalisées et système. Vous ne pouvez modifier les aspects obligatoires que pour les entrées personnalisées.

Console

  1. Dans la console Google Cloud , accédez à la page Recherche de Dataplex.

    Accéder à la recherche

  2. Pour Choisir une plate-forme de recherche, sélectionnez Dataplex Catalog comme mode de recherche.

  3. Recherchez l'entrée dont vous souhaitez modifier certains aspects, puis cliquez dessus.

    La page des détails de l'entrée s'ouvre.

  4. Cliquez sur l'onglet Détails.

  5. Dans la section Tags et aspects, développez l'aspect ou le tag que vous souhaitez modifier, puis cliquez sur Modifier.

  6. Dans la fenêtre Modifier l'aspect, mettez à jour les champs obligatoires.

  7. Cliquez sur Enregistrer.

gcloud

Pour mettre à jour les aspects d'une entrée ou d'une colonne d'une entrée, utilisez la commande gcloud dataplex entries update.

REST

Pour mettre à jour les aspects d'une entrée ou d'une colonne d'une entrée, utilisez la méthode entry.update.

Supprimer un aspect

Console

  1. Dans la console Google Cloud , accédez à la page Recherche de Dataplex.

    Accéder à la recherche

  2. Pour Choisir une plate-forme de recherche, sélectionnez Dataplex Catalog comme mode de recherche.

  3. Recherchez l'entrée dont vous souhaitez supprimer les aspects, puis cliquez dessus.

    La page des détails de l'entrée s'ouvre.

  4. Cliquez sur l'onglet Détails.

  5. Dans la section Tags et aspects, développez l'aspect ou le tag que vous souhaitez supprimer, puis cliquez sur Supprimer.

  6. Cliquez sur Confirmer.

gcloud

Pour supprimer un aspect d'une entrée, utilisez la commande gcloud dataplex entries update.

REST

Pour supprimer un aspect d'une entrée, utilisez la méthode entry.update.

Gérer les types d'aspects

Cette section explique comment afficher, mettre à jour et supprimer des types d'aspects.

Pour en savoir plus sur la gestion des modèles de tags Data Catalog, consultez Tags et modèles de tags.

Afficher la liste des types d'aspects et des modèles de tags disponibles

Console

  1. Dans la console Google Cloud , accédez à la page Catalogue Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects et modèles de tags.

    Cette page liste tous les types d'aspects du catalogue Dataplex et les modèles de tags Data Catalog disponibles.

  3. Pour afficher les types d'aspects et les modèles de tags personnalisés, cliquez sur l'onglet Personnalisé. Dans l'onglet Personnalisé, la colonne Source du catalogue indique l'emplacement de la ressource : catalogue Dataplex ou Data Catalog.

    Pour afficher les types d'aspects système, cliquez sur l'onglet System (Système).

    Pour en savoir plus sur les types d'aspects personnalisés et système, consultez la section Catégories de types d'aspects de ce document.

  4. Facultatif: Pour afficher la liste des types d'aspects et des modèles de balises du projet sélectionné, cliquez sur l'onglet Personnalisé, puis désactivez l'option Afficher à partir de tous les projets.

    L'option Afficher à partir de tous les projets est activée par défaut. La liste inclut les ressources du catalogue Dataplex de l'organisation sélectionnée et les ressources du catalogue Data Catalog de toutes les organisations auxquelles vous pouvez accéder.

gcloud

Pour répertorier tous les types d'aspects disponibles, utilisez la commande gcloud dataplex aspect-types list.

REST

Pour répertorier tous les types d'aspects disponibles, utilisez la méthode aspectTypes.list.

Afficher les détails d'un type d'aspect ou d'un modèle de tag

Console

  1. Dans la console Google Cloud , accédez à la page Catalogue Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects et modèles de tags.

  3. Pour afficher les détails d'un type d'aspect du catalogue Dataplex, cliquez sur le type d'aspect. La page d'informations sur le type d'aspect s'ouvre. Vous pouvez y accéder à des informations telles que le nom à afficher, l'ID du type d'aspect, la description, l'ID du projet, l'emplacement, les libellés, la date de création et la date de dernière modification.

    • Pour afficher la structure du type d'aspect sélectionné, cliquez sur l'onglet Modèle.
    • Pour afficher la liste des 10 entrées associées créées récemment, cliquez sur l'onglet Exemples d'entrées.
    • Pour rechercher toutes les entrées associées, cliquez sur Afficher toutes les entrées associées dans la recherche. Ce bouton n'apparaît que si au moins une entrée est associée.

  4. Pour afficher les détails d'un modèle de tag Data Catalog, cliquez dessus. La page d'informations sur le modèle de tag s'ouvre dans Data Catalog. Vous y trouverez des informations telles que le nom à afficher, l'ID du modèle, l'ID du projet, l'emplacement, la visibilité et les libellés.

gcloud

Pour obtenir les détails d'un type d'aspect, utilisez la commande gcloud dataplex aspect-types describe.

REST

Pour obtenir les détails d'un type d'aspect, utilisez la méthode aspectTypes.get.

Mettre à jour un type d'aspect

Vous pouvez modifier le nom à afficher, la description, les champs de modèle et les libellés d'un type d'aspect. Vous ne pouvez pas supprimer un champ existant dans un modèle.

Une fois le type d'aspect créé, vous ne pouvez plus modifier son ID ni son emplacement.

Console

  1. Dans la console Google Cloud , accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects et modèles de tags.

  3. Cliquez sur le type d'aspect que vous souhaitez mettre à jour.

  4. Sur la page Détails du type d'aspect, cliquez sur Modifier.

  5. Modifiez le nom à afficher, la description, les champs du modèle et les libellés, si nécessaire.

  6. Facultatif: Pour marquer un champ du type d'aspect comme obsolète, procédez comme suit:

    1. Dans la section Modèle, développez le champ.
    2. Sélectionnez Est obsolète.
    3. Dans le champ Motif d'abandon, saisissez le motif de l'abandon du champ sélectionné.
    4. Cliquez sur OK.

  7. Cliquez sur Enregistrer.

gcloud

Pour mettre à jour un type d'aspect, utilisez la commande gcloud dataplex aspect-types update.

REST

Pour mettre à jour un type d'aspect, utilisez la méthode aspectTypes.patch.

Supprimer un type d'aspect

Console

  1. Dans la console Google Cloud , accédez à la page Catalogue Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'aspects et modèles de tags.

  3. Cliquez sur le type d'aspect que vous souhaitez supprimer.

  4. Sur la page Détails du type d'aspect, cliquez sur Supprimer. Confirmez lorsque vous y êtes invité.

gcloud

Pour supprimer un type d'aspect, utilisez la commande gcloud dataplex aspect-types delete.

REST

Pour supprimer un type d'aspect existant, utilisez la méthode aspectTypes.delete.

Étape suivante