Gérer les métadonnées des dépôts Dataform avec Dataplex Universal Catalog

Ce document explique comment utiliser Dataplex Universal Catalog pour afficher les métadonnées des dépôts Dataform et les annoter avec des aspects.

Dataplex Universal Catalog vous permet de stocker et de gérer vos métadonnées. Les dépôts Dataform sont disponibles dans Dataplex Universal Catalog par défaut, sans aucune configuration supplémentaire. Dataplex Universal Catalog récupère automatiquement les métadonnées suivantes à partir des dépôts Dataform :

  • Nom de l'élément de données
  • Parent de l'élément de données
  • Emplacement de l'élément de données
  • Type d'élément de données
  • Projet Google Cloud correspondant
  • Source du dépôt tiers
  • Agent de service ou compte de service

Avant de commencer

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Enable the Dataplex API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  3. Vérifiez que vous disposez des autorisations IAM (Identity and Access Management) nécessaires.

Rôles requis

Pour gérer les dépôts Dataform dans Dataplex Universal Catalog, vous avez besoin des rôles Dataform prédéfinis qui vous donnent accès aux ressources Dataform, ainsi que des rôles Dataplex Universal Catalog requis.

Gérer les métadonnées dans Dataplex Universal Catalog

Dataplex Universal Catalog enregistre les dépôts Dataform en tant qu'entrées avec les valeurs d'entrée suivantes :

Groupe d'entrées système
Le groupe d'entrées système pour les dépôts Dataform est @dataform. Pour afficher les détails des entrées de dépôt dans Dataplex Universal Catalog, vous devez afficher le groupe d'entrées système dataform. Pour savoir comment afficher la liste de toutes les entrées d'un groupe d'entrées, consultez Afficher les détails d'un groupe d'entrées dans la documentation Dataplex Universal Catalog.
Type d'entrée système
Le type d'entrée système pour les dépôts Dataform est dataform-repository. Pour afficher les détails des dépôts Dataform, vous devez afficher le type d'entrée système dataform-repository. Pour savoir comment afficher les détails d'un type d'entrée sélectionné, consultez Afficher les détails d'un type d'entrée dans la documentation Dataplex Universal Catalog. Pour savoir comment afficher les détails d'une entrée sélectionnée, consultez Afficher les détails d'une entrée dans la documentation Dataplex Universal Catalog.

Rechercher des éléments

Pour savoir comment rechercher des éléments de données dans Dataplex Universal Catalog, consultez Rechercher des éléments de données dans Dataplex Universal Catalog dans la documentation Dataplex Universal Catalog.

Annoter des dépôts

Pour fournir plus de contexte aux dépôts Dataform dans Dataplex Universal Catalog, vous pouvez annoter les entrées Dataform avec des aspects.

Le type d'aspect système pour les dépôts Dataform est dataform-repository.

Pour savoir comment annoter des entrées avec des aspects, consultez Gérer les aspects et enrichir les métadonnées dans la documentation Dataplex Universal Catalog.

Limites

La gestion des dépôts Dataform dans Dataplex Universal Catalog est soumise aux limites suivantes :

  • Vous ne pouvez pas afficher ni gérer les composants au niveau des fichiers Dataform dans Dataplex Universal Catalog (tables ou vues, par exemple).

Emplacements

Vous pouvez utiliser Dataplex Universal Catalog pour gérer les dépôts Dataform de tous les emplacements Dataform.

Quotas

La gestion des dépôts Dataform dans Dataplex Universal Catalog est soumise aux quotas et limites de Dataplex Universal Catalog.

Tarifs

La gestion des dépôts Dataform dans Dataplex Universal Catalog est soumise aux tarifs de Dataplex Universal Catalog.

Étapes suivantes