Ce document explique comment créer et gérer des types d'entrées, des groupes d'entrées et des entrées personnalisées pour permettre l'intégration de sources de données personnalisées dans Dataplex.
Une entrée représente une ressource pour laquelle vous capturez des métadonnées. Un groupe d'entrées est un conteneur pour une ou plusieurs entrées, utilisé pour gérer le contrôle des accès et l'emplacement régional. Un type d'entrée définit les métadonnées requises pour les entrées. Les types d'entrées apportent de la structure et des règles à une ressource d'entrée fluide et peu définie, ce qui permet aux entrées d'être extensibles.
Pour intégrer une source de données personnalisée à Dataplex, vous devez créer une entrée personnalisée à l'aide d'un type d'entrée personnalisée appartenant à un groupe d'entrées personnalisées. Pour créer une entrée personnalisée, procédez comme suit:
- Créez un groupe d'entrées.
- Créez un type d'entrée.
- Créez une entrée personnalisée pour le type d'entrée dans le groupe d'entrées.
Entrées
Une entrée représente un élément de données pour lequel vous capturez des métadonnées. Chaque entrée est une instance d'un type d'entrée. Chaque opération sur les aspects d'une entrée doit respecter les aspects requis de son type d'entrée. Par exemple, lorsque vous créez une entrée, vous devez fournir des valeurs pour tous les types d'aspects définis par le type d'entrée. Vous ne pouvez pas supprimer ces aspects pour une entrée marquée comme required dans le type d'entrée.
Catégories d'entrées
Entrées système: Dataplex crée des entrées pour les Google Cloud ressources, telles que les ensembles de données ou les tables BigQuery. Les entrées créées par Dataplex sont appelées "entrées système". Dataplex maintient automatiquement les entrées système à jour grâce à la synchronisation continue des métadonnées à partir des systèmes Google Cloud compatibles.
Vous ne pouvez pas modifier les métadonnées renseignées automatiquement (appelées aspects obligatoires) pour les entrées système. Vous ne pouvez ajouter et modifier des métadonnées supplémentaires pour les entrées système qu'à l'aide d'aspects facultatifs. Pour en savoir plus, consultez la section Catégories d'aspects.
Entrées personnalisées: les entrées que vous pouvez créer et gérer pour les ressources personnalisées sont appelées "entrées personnalisées". Les ressources personnalisées sont les ressources des services autres que Google hébergées dans Google Cloud ou en externe (par exemple, sur site).
Groupes d'entrées
Un groupe d'entrées est un conteneur pour une ou plusieurs entrées. Vous pouvez utiliser des groupes d'entrées pour gérer le contrôle des accès et l'emplacement régional des entrées. Chaque groupe d'entrées appartient à un projet.
Catégories de groupes d'entrées
Groupes d'entrées système: pour les ressources, Dataplex crée automatiquement des groupes d'entrées pour chaque système dans chaque projet et emplacement où se trouvent les ressources. Google Cloud Par exemple,
@bigqueryest le groupe d'entrée système pour BigQuery.Groupes d'entrées personnalisés: groupes d'entrées que vous créez pour des ressources personnalisées.
Types d'entrées
Les types d'entrées définissent les métadonnées requises pour les entrées de ce type, à l'aide d'un ensemble de types d'aspects requis.
Vous ne pouvez spécifier les types d'aspects obligatoires que sur les entrées, et non sur les colonnes d'une entrée. Lorsque vous créez une entrée d'un type d'entrée spécifique, vous devez fournir des valeurs pour tous les types d'aspects requis spécifiés par le type d'entrée.
Les types d'aspects obligatoires référencés dans un type d'entrée doivent appartenir au même projet que le type d'entrée.
Catégories de types d'entrées
Types d'entrées personnalisés: types d'entrées que vous créez et gérez. Vous pouvez utiliser ces types d'entrées pour créer des entrées personnalisées.
Types d'entrée système: Dataplex fournit ces types d'entrée par défaut. Les types d'entrées système sont ensuite classés en deux catégories : réutilisables et limités.
Le tableau suivant décrit les catégories de types d'entrées système et la liste des types d'entrées fournis par Dataplex pour chacune des catégories:
Catégorie du type d'entrée système Description Types d'entrées fournis par Dataplex Type d'entrée système réutilisable Vous pouvez utiliser ce type d'entrée pour créer des entrées personnalisées. generic
Type d'entrée système restreint Ils sont réservés à l'utilisation du système, par exemple pour créer des entrées pour les ressourcesGoogle Cloud .
Vous ne pouvez pas utiliser ces types d'entrées pour créer des entrées, mais vous pouvez modifier des entrées de ces types pour ajouter des aspects facultatifs.bigquery-connectionbigquery-datasetbigquery-modelbigquery-routinebigquery-tablebigquery-viewcloudsql-databasecloudsql-instancecloudsql-schemacloudsql-tablecloudsql-viewdataform-repositorydataform-code-assetsql-accessstoragestorage-bucketstorage-folder
Vous pouvez créer un type d'entrée personnalisé dans une région spécifique ou en tant que ressource globale. Les types d'entrées système sont toujours globaux. L'emplacement d'un type d'entrée a une incidence sur son champ d'application. Pour en savoir plus, consultez la section Contraintes de projet et d'emplacement.
Avant de commencer
Avant de gérer les entrées et d'ingérer des sources de données personnalisées, assurez-vous d'avoir effectué les tâches décrites dans cette section.
Rôles requis
Pour obtenir les autorisations nécessaires pour créer et gérer des entrées, demandez à votre administrateur de vous accorder les rôles IAM suivants sur la ressource:
-
Ensemble complet d'autorisations sur les entrées, les groupes d'entrées et les types d'entrées : Administrateur du catalogue Dataplex (
roles/dataplex.catalogAdmin) -
Créez et gérez toutes les ressources du catalogue Dataplex, y compris les entrées, les groupes d'entrées et les types d'entrées :
Éditeur de catalogue Dataplex (
roles/dataplex.catalogEditor) -
Accès complet aux opérations liées aux entrées :
Propriétaire d'entrées Dataplex (
roles/dataplex.entryOwner) -
Afficher les entrées, les groupes d'entrées et les types d'entrées, ainsi que les stratégies IAM associées : Lecteur de catalogue Dataplex (
roles/dataplex.catalogViewer) -
Utilisez des types d'aspect pour créer des aspects de ces types lorsque vous créez des entrées personnalisées :
Utilisateur du type d'aspect Dataplex (
roles/dataplex.aspectTypeUser) -
Créer et gérer des groupes d'entrées :
Propriétaire du groupe d'entrées Dataplex (
roles/dataplex.entryGroupOwner) -
Créer et gérer des types d'entrée :
Propriétaire du type d'entrée Dataplex (
roles/dataplex.entryTypeOwner) -
Utilisez des types d'entrée pour créer et modifier des entrées de ces types :
Utilisateur du type d'entrée Dataplex (
roles/dataplex.entryTypeUser)
Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.
Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.
Pour en savoir plus, consultez la section Rôles IAM Dataplex.
Activer l'API
Activez l'API Dataplex dans votre projet Dataplex.
Créer un groupe d'entrées
Console
Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.
Cliquez sur l'onglet Groupes d'entrées > Personnalisé.
Cliquez sur Créer un groupe d'entrées (catalogue Dataplex).
Dans la fenêtre Créer un groupe d'entrées, saisissez les informations suivantes:
- Facultatif: Dans le champ Nom à afficher, saisissez un nom à afficher pour votre groupe d'entrées.
- ID du groupe d'entrées: saisissez un ID unique pour votre groupe d'entrées.
- Facultatif: Dans le champ Description, saisissez une description de votre groupe d'entrées.
- Emplacement: sélectionnez un emplacement. Vous ne pouvez pas modifier l'emplacement une fois le groupe d'entrée créé.
Facultatif: Dans la section Libellés, ajoutez des libellés arbitraires sous forme de paires clé/valeur à vos ressources:
- Cliquez sur Ajouter une étiquette.
- Dans le champ Clé, saisissez une clé.
- Dans le champ Valeur, saisissez une valeur pour la clé.
- Pour ajouter d'autres étiquettes, cliquez sur Ajouter un libellé et répétez la procédure.
Cliquez sur Enregistrer.
gcloud
Pour créer un groupe d'entrées, utilisez la commande gcloud dataplex entry-groups create.
REST
Pour créer un groupe d'entrées, utilisez la méthode entryGroups.Create.
Créer un type d'entrée
Pour ingérer une nouvelle source, vous devez créer un type d'entrée.
Console
Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.
Cliquez sur l'onglet Types d'entrées > Personnalisé.
Cliquez sur Créer.
Dans la fenêtre Créer un type d'entrée, saisissez les informations suivantes:
- Facultatif: Dans le champ Nom à afficher, saisissez un nom à afficher pour votre type d'entrée.
- ID du type d'entrée: saisissez un ID unique pour votre type d'entrée. Vous ne pourrez plus modifier ce paramètre une fois le type d'entrée créé.
- Facultatif: Dans le champ Description, saisissez une description de votre type d'entrée.
- Facultatif: Dans le champ System (Système), saisissez le système source.
- Facultatif: Dans le champ Plate-forme, saisissez la plate-forme à laquelle appartiennent les entrées de ce type. Exemple :
Google Cloud - Dans le champ Emplacement, sélectionnez un emplacement. Vous ne pouvez pas modifier l'emplacement une fois le type d'entrée créé.
Facultatif: dans la section Type aliases (Alias de type), définissez le type de données pour votre type d'entrée. Le type de données peut être utilisé pour interroger les entrées.
- Cliquez sur Ajouter un alias de type.
- Dans le champ Type d'alias, sélectionnez un type de données. Vous pouvez ajouter plusieurs alias de type.
Dans la section Types d'aspects obligatoires, sélectionnez les types d'aspects obligatoires pour ce type d'entrée. Ces types d'aspects seront attribués à chaque entrée créée à partir de ce type. La liste des types d'aspects obligatoires ne peut pas être modifiée une fois que vous avez créé le type d'entrée.
- Cliquez sur Choisir un type d'aspect.
- Dans la fenêtre Sélectionner les types d'aspects, sélectionnez le type d'aspect.
- Cliquez sur Sélectionner.
Vous ne pouvez pas supprimer les aspects obligatoires d'une entrée.
Facultatif: Dans la section Libellés, ajoutez des libellés arbitraires sous forme de paires clé/valeur à vos ressources:
- Cliquez sur Ajouter une étiquette.
- Dans le champ Clé, saisissez une clé.
- Dans le champ Valeur, saisissez une valeur pour la clé.
- Pour ajouter d'autres étiquettes, cliquez sur Ajouter un libellé et répétez la procédure.
Cliquez sur Enregistrer.
gcloud
Pour créer un type d'entrée, utilisez la commande gcloud dataplex entry-types create.
REST
Pour créer un type d'entrée, utilisez la méthode entryTypes.create.
Créer une entrée personnalisée
Avant de créer une entrée personnalisée, assurez-vous d'avoir créé un groupe d'entrées et un type d'entrée.
Console
Il n'est pas possible de créer une entrée personnalisée à l'aide de la console Google Cloud. Utilisez plutôt la Google Cloud CLI ou l'API.
gcloud
Pour créer une entrée personnalisée, utilisez la commande gcloud dataplex entries create.
REST
Pour créer une entrée personnalisée, utilisez la méthode entries.create.
Une fois que vous avez créé une entrée personnalisée, vous pouvez y ajouter des aspects. Pour en savoir plus, consultez la section Ajouter des aspects à une entrée.
Gérer les groupes d'entrées
Cette section explique comment afficher la liste des groupes d'entrées disponibles, afficher les détails, mettre à jour et supprimer des groupes d'entrées.
Afficher la liste des groupes d'entrées disponibles
Console
Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.
Cliquez sur l'onglet Groupes d'entrées.
Cette page liste tous les groupes d'entrées du catalogue Dataplex et de Data Catalog disponibles.
Pour afficher les groupes d'entrées personnalisés, cliquez sur l'onglet Personnalisé. Dans l'onglet Personnalisé, la colonne Source du catalogue indique l'emplacement de la ressource : Dataplex Catalog ou Data Catalog.
Pour afficher les groupes d'entrées système, cliquez sur l'onglet Système.
Pour en savoir plus sur les groupes d'entrées personnalisés et système, consultez la section Catégories de groupes d'entrées de ce document.
Facultatif: Pour afficher la liste des groupes d'entrées du projet sélectionné, cliquez sur l'onglet Personnalisé, puis désactivez l'option Afficher à partir de tous les projets.
L'option Afficher dans tous les projets est activée par défaut. La liste inclut les ressources du catalogue Dataplex de l'organisation sélectionnée et les ressources du catalogue Data de toutes les organisations auxquelles vous pouvez accéder.
gcloud
Pour afficher la liste des groupes d'entrées disponibles, utilisez la commande gcloud dataplex entry-groups list.
REST
Pour afficher la liste des groupes d'entrée disponibles, utilisez la méthode entryGroups.list.
Afficher les détails d'un groupe d'entrées
Console
Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.
Cliquez sur l'onglet Groupes d'entrées.
Cliquez sur le groupe d'entrées dont vous souhaitez consulter les détails.
La page des détails du groupe d'entrées s'ouvre. Vous pouvez accéder à des informations telles que le nom à afficher, l'ID du groupe d'entrées, la description, l'ID du projet, l'emplacement, les libellés, la date de création et la date de dernière modification du groupe d'entrées sélectionné.
Pour un groupe d'entrées Data Catalog, vous pouvez afficher les détails dans les interfaces Web Data Catalog et Dataplex Catalog. Pour ce faire, sur la page d'informations du groupe d'entrées, cliquez sur Data Catalog ou Catalogue Dataplex.
La section Exemples d'entrées affiche 10 entrées associées créées récemment dans le groupe d'entrées sélectionné.
Facultatif: Pour afficher toutes les entrées associées à un groupe d'entrées, dans la section Exemples d'entrées, cliquez sur Afficher toutes les entrées associées dans la recherche.
gcloud
Pour récupérer les détails d'un groupe d'entrées, utilisez la commande gcloud dataplex entry-groups describe.
REST
Pour récupérer les détails d'un groupe d'entrées, utilisez la méthode entryGroups.get.
Mettre à jour un groupe d'entrées
Vous pouvez mettre à jour un groupe d'entrées personnalisé. Les groupes d'entrées système ne peuvent pas être modifiés.
Console
Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.
Cliquez sur l'onglet Groupes d'entrées > Personnalisé.
Cliquez sur le groupe d'entrées que vous souhaitez mettre à jour.
Sur la page Détails du groupe d'entrées, cliquez sur Modifier.
Modifiez le nom à afficher, la description et les libellés, si nécessaire.
Cliquez sur Enregistrer.
gcloud
Pour mettre à jour un groupe d'entrées, utilisez la commande gcloud dataplex entry-groups update.
REST
Pour mettre à jour un groupe d'entrées, utilisez la méthode entryGroups.patch.
Supprimer un groupe d'entrées
Vous pouvez supprimer un groupe d'entrées personnalisé. Les groupes d'entrées système ne peuvent pas être supprimés.
Console
Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.
Cliquez sur l'onglet Groupes d'entrées > Personnalisé.
Cliquez sur le groupe d'entrées que vous souhaitez supprimer.
Sur la page Détails du groupe d'entrées, cliquez sur Supprimer. Confirmez lorsque vous y êtes invité.
gcloud
Pour supprimer un groupe d'entrées, utilisez la commande gcloud dataplex entry-groups delete.
REST
Pour supprimer un groupe d'entrées, utilisez la méthode entryGroups.delete.
Gérer les types d'entrées
Cette section explique comment afficher la liste des groupes d'entrées disponibles, afficher les détails, mettre à jour et supprimer des types d'entrées.
Afficher la liste des types d'entrée disponibles
Console
Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.
Cliquez sur l'onglet Types d'entrées.
Pour afficher les types d'entrées personnalisées, cliquez sur l'onglet Personnalisé. Pour afficher les types d'entrées système, cliquez sur l'onglet Système. Pour en savoir plus sur les types d'entrées personnalisés et système, consultez la section Catégories de types d'entrées de ce document.
Facultatif: Pour afficher la liste des types d'entrées dans le projet sélectionné, cliquez sur l'onglet Personnalisé, puis désactivez l'option Afficher dans tous les projets.
Le bouton bascule Afficher les données de tous les projets est activé par défaut, et la liste inclut les types d'entrées de tous les projets.
gcloud
Pour afficher la liste des types d'entrées disponibles, utilisez la commande gcloud dataplex entry-types list.
REST
Pour afficher la liste des types d'entrées disponibles, utilisez la méthode entryTypes.list.
Afficher les détails d'un type d'entrée
Console
Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.
Cliquez sur l'onglet Types de saisie > Personnalisé.
Cliquez sur le type d'entrée dont vous souhaitez afficher les détails.
La page des détails du type d'entrée s'ouvre. Vous pouvez accéder à des informations telles que le nom à afficher, l'ID du type d'entrée, la description, l'ID du projet, l'emplacement, la plate-forme, le système, les alias de type, les libellés, la date de création et la date de la dernière modification du type d'entrée sélectionné.
Facultatif: Pour afficher la liste des 10 entrées associées créées récemment, cliquez sur l'onglet Exemples d'entrées.
Facultatif: Pour afficher toutes les entrées associées à un groupe d'entrées, cliquez sur l'onglet Exemples d'entrées, puis sur Afficher toutes les entrées associées dans la recherche.
gcloud
Pour récupérer les détails d'un type d'entrée, utilisez la commande gcloud dataplex entry-types describe.
REST
Pour récupérer les détails d'un type d'entrée, utilisez la méthode entryTypes.get.
Mettre à jour un type d'entrée
Console
Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.
Cliquez sur l'onglet Types d'entrées > Personnalisé.
Cliquez sur le type d'entrée que vous souhaitez mettre à jour.
Sur la page Détails du type d'entrée, cliquez sur Modifier.
Modifiez le nom à afficher, la description, le système, la plate-forme, les alias de type et les libellés, si nécessaire.
Cliquez sur Enregistrer.
gcloud
Pour mettre à jour un type d'entrée, utilisez la commande gcloud dataplex entry-types update.
REST
Pour mettre à jour un type d'entrée, utilisez la méthode entryTypes.patch.
Supprimer un type d'entrée
Console
Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.
Cliquez sur l'onglet Types d'entrées > Personnalisé.
Cliquez sur le type d'entrée que vous souhaitez supprimer.
Sur la page Détails du type d'entrée, cliquez sur Supprimer. Confirmez lorsque vous y êtes invité.
gcloud
Pour supprimer un type d'entrée, exécutez la commande gcloud dataplex entry-types delete.
REST
Pour supprimer un type d'entrée, utilisez la méthode entryTypes.delete.
Étape suivante
- Découvrez comment rechercher des éléments de données dans Dataplex Catalog.
- Découvrez comment gérer les aspects et enrichir les métadonnées.
- Découvrez comment importer des métadonnées dans Dataplex.
- En savoir plus sur Dataplex Catalog