Gérer les entrées et ingérer des sources personnalisées

Ce document explique comment créer et gérer des types d'entrées, des groupes d'entrées et des entrées personnalisées pour permettre l'intégration de sources de données personnalisées dans Dataplex.

Une entrée représente une ressource pour laquelle vous capturez des métadonnées. Un groupe d'entrées est un conteneur pour une ou plusieurs entrées, utilisé pour gérer le contrôle des accès et l'emplacement régional. Un type d'entrée définit les métadonnées requises pour les entrées. Les types d'entrées apportent de la structure et des règles à une ressource d'entrée fluide et peu définie, ce qui permet aux entrées d'être extensibles.

Pour intégrer une source de données personnalisée dans Dataplex, vous devez créer un à l'aide d'un type d'entrée personnalisé appartenant à un groupe d'entrées personnalisé. Pour créer une entrée personnalisée, procédez comme suit :

  1. Créez un groupe d'entrées.
  2. Créez un type d'entrée.
  3. Créez une entrée personnalisée pour le type d'entrée dans le groupe d'entrées.

Entrées

Une entrée représente un élément de données pour lequel vous capturez des métadonnées. Chaque entrée est une instance d'un type d'entrée. Chaque opération sur les aspects d'une entrée doit doit respecter les exigences liées à son type d'entrée. Par exemple, lorsque vous créez une entrée, vous devez fournir des valeurs pour tous les types d'aspects définis par type d'entrée. Vous ne pouvez pas supprimer ces aspects d'une entrée marquée comme required dans le type d'entrée.

Catégories d'entrées

  • Entrées système : Dataplex crée des entrées pour les ressources Google Cloud, telles que les ensembles de données ou les tables BigQuery. Les entrées créées par Dataplex sont appelées "entrées système". Dataplex maintient automatiquement les entrées système à jour grâce à la synchronisation continue des métadonnées à partir des systèmes Google Cloud compatibles.

    Vous ne pouvez pas modifier les métadonnées renseignées automatiquement (appelées aspects obligatoires) pour les entrées système. Vous pouvez uniquement ajouter et modifier des métadonnées des entrées système à l'aide d'aspects facultatifs. Pour en savoir plus, consultez Catégories d'aspects.

  • Entrées personnalisées: entrées pour lesquelles vous pouvez créer et gérer les ressources personnalisées sont appelées "entrées personnalisées". Les ressources personnalisées sont les ressources dans des services autres que Google hébergés dans Google Cloud ou en externe (par exemple, sur site).

Groupes d'entrées

Un groupe d'entrées est un conteneur pour une ou plusieurs entrées. Vous pouvez utiliser des groupes d'entrées pour gérer le contrôle des accès et l'emplacement régional des entrées. Chaque groupe d'entrées appartient à un projet.

Catégories de groupes d'entrées

  • Groupes d'entrées système : pour les ressources Google Cloud, Dataplex crée automatiquement des groupes d'entrées pour chaque système dans chaque projet et emplacement où se trouvent les ressources. Par exemple, @bigquery est l'entrée système pour BigQuery.

  • Groupes d'entrées personnalisés: groupes d'entrées que vous créez pour des ressources personnalisées.

Types d'entrées

Les types d'entrées définissent les métadonnées requises pour les entrées de ce type, à l'aide d'un ensemble des types d'aspects requis.

Vous ne pouvez spécifier les types d'aspects obligatoires que sur les entrées, et non sur les colonnes d'une entrée. Lorsque vous créez une entrée d'un type d'entrée spécifique, vous devez fournir des valeurs pour tous les types d'aspects requis spécifiés par le type d'entrée.

Les types d'aspects obligatoires référencés dans un type d'entrée doivent appartenir au le même projet que le type d'entrée.

Catégories de types d'entrées

  • Types d'entrées personnalisés : types d'entrées que vous créez et gérez. Vous pouvez utiliser ces types d'entrées pour créer des entrées personnalisées.

  • System entry types (Types d'entrées système) : Dataplex fournit ces types d'entrées. par défaut. Les types d'entrées système sont ensuite classés en deux catégories : réutilisables et limités.

    Le tableau suivant décrit les catégories des types d'entrées système et les liste des types d'entrées fournis par Dataplex pour chacune des catégories:

    Catégorie du type d'entrée système Description Types d'entrées fournis par Dataplex
    Type d'entrée système réutilisable Vous pouvez utiliser ce type d'entrée pour créer des entrées personnalisées.
    • generic
    Type d'entrée système restreint Ils sont réservés à l'utilisation du système, par exemple pour créer des entrées pour les ressources Google Cloud.

    Vous ne pouvez pas utiliser ces types d'entrées pour créer des entrées, mais vous pouvez modifier des entrées de ces types pour ajouter des aspects facultatifs.
    • bigquery-connection
    • bigquery-dataset
    • bigquery-model
    • bigquery-routine
    • bigquery-table
    • bigquery-view
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-schema
    • cloudsql-table
    • cloudsql-view
    • sql-access
    • storage
    • storage-bucket
    • storage-folder

Vous pouvez créer un type d'entrée personnalisé dans une zone régionale spécifique ou en tant que ressource globale. Les types d'entrées système sont toujours globaux. L'emplacement d'un le type d'entrée a une incidence sur l'étendue de son applicabilité. Pour en savoir plus, consultez Contraintes de projet et d'emplacement.

Avant de commencer

Avant de gérer les entrées et d'ingérer des sources de données personnalisées, assurez-vous d'avoir réalisé les tâches décrites dans cette section.

Rôles requis

Pour obtenir les autorisations nécessaires pour créer et gérer des entrées, demandez à votre administrateur de vous accorder le les rôles IAM suivants sur la ressource:

Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Pour en savoir plus, consultez la section Rôles IAM Dataplex.

Activer l'API

Activez l'API Dataplex dans votre projet Dataplex.

Activer l'API

Créer un groupe d'entrées

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Groupes d'entrées > Personnalisé.

  3. Cliquez sur Créer.

  4. Dans la fenêtre Créer un groupe d'entrées, saisissez la commande suivante:

    • Facultatif: dans le champ Nom à afficher, saisissez un nom à afficher pour le d'entrée.
    • ID du groupe d'entrées : saisissez un ID unique pour votre groupe d'entrées.
    • Facultatif : Dans le champ Description, saisissez une description de votre groupe d'entrées.
    • Emplacement : sélectionnez un emplacement. Vous ne pouvez pas modifier l'emplacement une fois le groupe d'entrée créé.

  5. Facultatif : Dans la section Libellés, ajoutez des libellés arbitraires sous forme de paires clé/valeur à vos ressources :

    1. Cliquez sur Ajouter une étiquette.
    2. Dans le champ Clé, saisissez une clé.
    3. Dans le champ Valeur, saisissez une valeur pour la clé.
    4. Pour ajouter d'autres étiquettes, cliquez sur Ajouter un libellé et répétez la procédure.

  6. Cliquez sur Enregistrer.

REST

Pour créer un groupe d'entrées, utilisez la méthode entryGroups.Create.

Créer un type d'entrée

Pour ingérer une nouvelle source, vous devez créer un type d'entrée.

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'entrées > Personnalisé.

  3. Cliquez sur Créer.

  4. Dans la fenêtre Créer un type d'entrée, saisissez les informations suivantes :

    1. Facultatif: dans le champ Nom à afficher, saisissez un nom à afficher pour le type d'entrée.
    2. ID du type d'entrée : saisissez un ID unique pour votre type d'entrée. Vous ne pourrez plus modifier ce paramètre une fois le type d'entrée créé.
    3. Facultatif : Dans le champ Description, saisissez une description de votre type d'entrée.
    4. Facultatif : Dans le champ System (Système), saisissez le système source.
    5. Facultatif: dans le champ Plate-forme, saisissez la plate-forme qui correspond aux valeurs de ce type appartiennent. Exemple :Google Cloud
    6. Dans le champ Emplacement, sélectionnez un emplacement. Vous ne pouvez pas modifier l'emplacement une fois le type d'entrée créé.

  5. Facultatif : dans la section Type aliases (Alias de type), définissez le type de données pour votre type d'entrée. Le type de données peut être utilisé pour interroger les entrées.

    1. Cliquez sur Ajouter un alias de type.
    2. Dans le champ Alias de type, sélectionnez un type de données. Vous pouvez ajouter plusieurs alias de type.

  6. Dans la section Types d'aspects obligatoires, sélectionnez les types d'aspects obligatoires pour ce type d'entrée. Chaque entrée créée en fonction ces types d'aspects obligatoires seront attribués à ce type.

    1. Cliquez sur Choisir un type d'aspect.
    2. Dans la fenêtre Sélectionner les types d'aspects, sélectionnez le type d'aspect.
    3. Cliquez sur Sélectionner.

    Vous ne pouvez pas supprimer les aspects obligatoires d'une entrée.

  7. Facultatif : Dans la section Libellés, ajoutez des libellés arbitraires sous forme de paires clé/valeur à vos ressources :

    1. Cliquez sur Ajouter une étiquette.
    2. Dans le champ Clé, saisissez une clé.
    3. Dans le champ Valeur, saisissez une valeur pour la clé.
    4. Pour ajouter d'autres étiquettes, cliquez sur Ajouter un libellé et répétez la procédure.

  8. Cliquez sur Enregistrer.

REST

Pour créer un type d'entrée, utilisez la méthode entryType.create .

Créer une entrée personnalisée

Avant de créer une entrée personnalisée, assurez-vous d'avoir créé un groupe d'entrées et un type d'entrée.

Console

La création d'une entrée personnalisée n'est pas possible dans la console Google Cloud. Utilisez plutôt la Google Cloud CLI ou API.

REST

Pour créer une entrée personnalisée, utilisez la méthode entries.create.

Une fois que vous avez créé une entrée personnalisée, vous pouvez y ajouter des aspects. Pour Pour en savoir plus, consultez Ajouter des aspects à une entrée

Gérer les groupes d'entrées

Cette section explique comment afficher la liste des groupes d'entrées disponibles, afficher détails, mettre à jour et supprimer des groupes d'entrées.

Afficher la liste des groupes d'entrées disponibles

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Groupes d'entrées.

    Vous pouvez accéder à la liste des groupes d'entrées système et personnalisés. Pour en savoir plus, consultez la section Catégories de groupes d'entrées de ce document.

    Dans l'onglet Personnalisé, les groupes d'entrées avec le suffixe (Data Catalog) sont les groupes d'entrées importés depuis Data Catalog.

  3. Pour afficher la liste des groupes d'entrées de tous les projets, cliquez sur l'onglet Personnalisé, puis activez l'option Afficher à partir de tous les projets.

REST

Pour afficher la liste des groupes d'entrée disponibles, utilisez la méthode entryGroups.list.

Afficher les détails d'un groupe d'entrées

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Groupes d'entrées.

  3. Cliquez sur le groupe d'entrées dont vous souhaitez consulter les détails.

    La page des détails du groupe d'entrées s'ouvre. Vous pouvez accéder à des informations telles que nom à afficher, ID du groupe d'entrées, description, ID du projet, emplacement, libellés, la date de création et la date de la dernière modification du groupe d'entrées sélectionné.

  4. Si le groupe d'entrées est importé depuis Data Catalog, désigné par le suffixe (Data Catalog), vous pouvez en consulter les détails dans Data Catalog et Dataplex Catalog de commande. Pour ce faire, sur la page d'informations du groupe d'entrées, sélectionnez Data Catalog ou Dataplex Catalog.

  5. Pour afficher la liste des 10 entrées associées créées récemment, cliquez sur l'onglet Exemples d'entrées.

REST

Pour récupérer les détails d'un groupe d'entrées, utilisez la méthode entryGroups.get.

Mettre à jour un groupe d'entrées

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Groupes d'entrées > Personnalisé.

  3. Cliquez sur le groupe d'entrées que vous souhaitez mettre à jour.

  4. Sur la page Détails du groupe d'entrées, cliquez sur Modifier.

  5. Modifiez le nom à afficher, la description et les libellés, si nécessaire.

  6. Cliquez sur Enregistrer.

REST

Pour mettre à jour un groupe d'entrées, utilisez la méthode entryGroups.patch.

Supprimer un groupe d'entrées

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Groupes d'entrées > Personnalisé.

  3. Cliquez sur le groupe d'entrées que vous souhaitez supprimer.

  4. Sur la page Détails du groupe d'entrées, cliquez sur Supprimer. Confirmer quand vous y êtes invité.

REST

Pour supprimer un groupe d'entrées, utilisez la méthode entryGroups.delete.

Gérer les types d'entrées

Cette section explique comment afficher la liste des groupes d'entrées disponibles, afficher mettre à jour et supprimer des types d'entrées.

Afficher la liste des types d'entrées disponibles

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'entrées.

    Vous pouvez accéder à la liste des types d'entrées système et personnalisées. Pour en savoir plus, consultez la section Catégories de types d'entrées de ce document.

  3. Pour afficher la liste des types d'entrées de tous les projets, cliquez sur l'icône Personnalisé et cliquez sur le bouton Afficher depuis tous les projets pour activer en position activée.

REST

Pour afficher la liste des types d'entrées disponibles, utilisez les entryTypes.list .

Afficher les détails d'un type d'entrée

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types de saisie > Personnalisé.

  3. Cliquez sur le type d'entrée dont vous souhaitez afficher les détails.

    La page d'informations sur le type d'entrée s'ouvre. Vous pouvez accéder à des informations telles que nom à afficher, ID du type d'entrée, description, ID du projet, emplacement, plate-forme, système, alias de type, libellés, date de création et date de dernière modification le type d'entrée sélectionné.

  4. Pour afficher la liste des 10 entrées associées récemment créées, Cliquez sur l'onglet Exemples d'entrées.

REST

Pour récupérer les détails d'un type d'entrée, utilisez la méthode entryTypes.get .

Mettre à jour un type d'entrée

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'entrées > Personnalisé.

  3. Cliquez sur le type d'entrée que vous souhaitez mettre à jour.

  4. Sur la page Détails du type d'entrée, cliquez sur Modifier.

  5. Modifiez le nom à afficher, la description, le système, la plate-forme, les alias de type et les libellés, si nécessaire.

  6. Cliquez sur Enregistrer.

REST

Pour mettre à jour un type d'entrée, utilisez la méthode entryTypes.patch.

Supprimer un type d'entrée

Console

  1. Dans la console Google Cloud, accédez à la page Catalogue de Dataplex.

    Accéder au catalogue

  2. Cliquez sur l'onglet Types d'entrées > Personnalisé.

  3. Cliquez sur le type d'entrée que vous souhaitez supprimer.

  4. Sur la page Détails du type d'entrée, cliquez sur Supprimer. Confirmer quand vous y êtes invité.

REST

Pour supprimer un type d'entrée, utilisez la méthode entryTypes.delete.

Étape suivante