Rechercher des éléments de données dans le catalogue Dataplex

Utilisez la recherche dans le catalogue Dataplex pour rechercher des éléments de données tels que des ensembles de données BigQuery, des instances Cloud SQL, etc. Pour en savoir plus sur les éléments Google Cloud compatibles avec Dataplex Catalog, consultez la page Sources Google Cloud compatibles.

Portée de la recherche

Les résultats de la recherche dans le catalogue Dataplex respectent les autorisations dont vous disposez sur les ressources correspondantes dans les systèmes sources.

Par exemple, si vous disposez d'un accès en lecture aux métadonnées BigQuery sur un objet, celui-ci apparaît dans les résultats de recherche du catalogue Dataplex. Si vous avez accès à une table BigQuery, mais pas à l'ensemble de données contenant cette table, la table s'affiche toujours comme prévu dans les résultats de recherche dans le catalogue Dataplex.

Les résultats de la recherche n'incluent que les ressources appartenant au même périmètre VPC-SC que le projet dans lequel la recherche est effectuée. Lorsque vous utilisez la console Google Cloud, il s'agit du projet sélectionné dans la console.

Pour en savoir plus sur les rôles IAM du catalogue Dataplex, consultez la page Rôles IAM Dataplex.

Limites du rappel dans la recherche

Les requêtes de recherche du catalogue Dataplex ne garantissent pas un rappel complet. Les résultats correspondant à votre requête peuvent ne pas être renvoyés, même dans les pages de résultats suivantes. De plus, les résultats renvoyés (et non renvoyés) peuvent varier si vous répétez les requêtes de recherche.

Tables segmentées par date

Dataplex Catalog agrège les tables segmentées par date en une seule entrée logique. Cette entrée a le même schéma que la partition de table avec la date la plus récente. L'entrée dérive son niveau d'accès de l'ensemble de données auquel il appartient. La recherche dans le catalogue Dataplex n'affiche ces entrées logiques que si vous avez accès à l'ensemble de données qui les contient. Les tables segmentées par date individuelles ne sont pas visibles dans la recherche dans le catalogue Dataplex, même si elles sont présentes dans le catalogue Dataplex et peuvent être taguées.

Filtres

Les filtres vous permettent d'affiner les résultats de recherche. Tous les filtres sont regroupés dans des sections:

  • Systèmes tels que BigQuery, Cloud SQL, etc. Le système Dataplex contient des entrées personnalisées.
  • L'onglet Aspects (tags) liste tous les aspects à votre disposition.
  • L'onglet Projet liste tous les projets à votre disposition.
  • Alias de type qui décrivent les types de ressources, tels que les bases de données, les ensembles de données, les modèles, les tables, les vues, les services et les types personnalisés.
  • Les ensembles de données proviennent de BigQuery.

Vous pouvez combiner les filtres de plusieurs sections pour trouver les éléments qui correspondent à au moins une condition de chaque section sélectionnée. Les plusieurs filtres sélectionnés dans une même section sont évalués à l'aide de l'opérateur logique OR.

Prenons l'exemple de la combinaison de filtres de l'image suivante (cliquez sur l'image pour l'agrandir). Ces filtres de recherche sont sélectionnés: systèmes BigQuery, alias de type table et view, aspects My aspect type 1 et My aspect type 2, projet my-test-project et ensembles de données test_bq_dataset.

Filtres de recherche affichant plusieurs sélections.

Le catalogue Dataplex recherche les éléments suivants:

  • Tables BigQuery dans test_bq_dataset avec l'aspect My aspect type 1
  • Tables BigQuery dans test_bq_dataset avec l'aspect My aspect type 2
  • Vues BigQuery dans test_bq_dataset avec l'aspect My aspect type 1
  • Vues BigQuery dans test_bq_dataset avec l'aspect My aspect type 2

Filtrer par valeur d'aspect

Les filtres Aspects vous permettent d'interroger des éléments tagués à l'aide d'un modèle spécifique. Vous pouvez utiliser le menu Customize (Personnaliser) pour affiner les résultats et filtrer selon des valeurs d'aspect spécifiques. Les conditions de filtre de la valeur d'aspect dépendent du type de données de ce champ d'aspect. Par exemple, pour les champs datetime et number, vous pouvez spécifier une date ou une plage spécifique.

Visibilité du filtre

Les filtres Systèmes, Alias de type, Projet et Ensembles de données s'affichent en fonction de la requête en cours dans le champ Rechercher.

Avant de commencer

Avant de rechercher des éléments de données, procédez comme suit :

Rôles requis

Les résultats de recherche dans le catalogue Dataplex sont limités en fonction de votre rôle. Pour rechercher un élément dans le catalogue Dataplex, vous devez disposer des autorisations nécessaires pour accéder à la ressource correspondante dans le système source. Pour en savoir plus, consultez la section Champ d'application de la recherche de ce document.

Par exemple, pour rechercher des ensembles de données, des tables, des vues et des modèles BigQuery, vous devez disposer des autorisations correspondantes pour ces entrées. Pour en savoir plus, consultez la page Autorisations BigQuery. La liste suivante décrit les autorisations minimales requises:

  • Pour rechercher une table, vous devez disposer de l'autorisation bigquery.tables.get pour cette table.
  • Pour rechercher un ensemble de données, vous devez disposer de l'autorisation bigquery.tables.get pour cet ensemble de données.
  • Pour rechercher des métadonnées pour un ensemble de données ou une table, vous devez disposer du rôle Lecteur de métadonnées BigQuery (roles/bigquery.metadataViewer).

Autre exemple, pour rechercher des instances, des bases de données, des schémas, des tables et des vues Cloud SQL, vous devez disposer des autorisations respectives sur ces entrées. Pour en savoir plus, consultez la page Rôles et autorisations Cloud SQL.

Pour rechercher des entrées personnalisées, vous devez disposer du rôle Lecteur de catalogue Dataplex (roles/dataplex.catalogViewer).

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Activer l'API

Activez l'API Dataplex

Activer l'API

Rechercher des éléments de données

Console

Pour rechercher des éléments de données, procédez comme suit:

  1. Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

    Accéder à la recherche

  2. Dans Choisir une plate-forme de recherche, choisissez Catalogue Dataplex comme mode de recherche.

    La sélection de Catalogue Dataplex vous permet d'effectuer une recherche dans le stockage de métadonnées du catalogue Dataplex. Si vous êtes un utilisateur Data Catalog existant, sélectionnez Data Catalog pour pouvoir effectuer des recherches dans votre dépôt Data Catalog.

  3. Dans le champ de recherche, saisissez votre requête ou utilisez le panneau Filtres pour affiner les paramètres de recherche.

    Vous pouvez ajouter manuellement les filtres suivants :

    • Ajoutez un filtre de projet: dans Projet, cliquez sur Ajouter un projet. Recherchez un projet spécifique, sélectionnez-le, puis cliquez sur Ouvrir.
    • Ajoutez un filtre de type d'aspect: dans Aspects, cliquez sur le menu Ajouter d'autres types d'aspects. Recherchez un modèle spécifique, sélectionnez-le, puis cliquez sur OK.

  4. Facultatif: En plus des éléments de données mis à votre disposition, vous pouvez rechercher des éléments de données accessibles au public dans Google Cloud en sélectionnant Inclure les ensembles de données publics.

Suivez les conseils suivants pour créer une requête de recherche:

  • Si votre expression de recherche contient des espaces, mettez-la entre guillemets. (par exemple, "search terms")

  • Vous pouvez faire précéder un mot clé de NOT pour qu'il corresponde à la négation logique du filtre keyword:term. Vous pouvez également utiliser les opérateurs booléens AND et OR pour combiner des expressions de recherche. Les opérateurs AND, OR et NOT ne sont pas sensibles à la casse.

    Par exemple, NOT column:term répertorie toutes les colonnes à l'exception de celles qui correspondent au terme spécifié. Pour obtenir la liste des mots clés et d'autres termes que vous pouvez utiliser dans une expression de recherche du catalogue Dataplex, consultez la page Syntaxe de recherche.

gcloud

Pour rechercher des éléments de données, utilisez la commande gcloud dataplex entries search.

REST

Pour rechercher des éléments de données, utilisez la méthode searchEntries.

Afficher les détails d'une entrée

Console

Utilisez la recherche dans le catalogue Dataplex pour afficher les détails d'une entrée.

  1. Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

    Accéder à la recherche

  2. Sélectionnez Catalogue Dataplex comme mode de recherche.

  3. Dans le champ de recherche, saisissez le nom d'une entrée.

  4. Cliquez sur l'entrée.

    La page des détails de l'entrée s'affiche. Cette page comprend les sections suivantes:

    • Détails de l'entrée: comprend des informations telles que le type d'entrée, le système, la plate-forme, le nom complet, l'heure de création, l'heure de la dernière modification, la description et les responsables.
    • Overview (Aperçu) : présentation de l'entrée, si disponible.
    • Aspects: aspects obligatoires et facultatifs définis pour l'entrée. Pour en savoir plus, consultez la section Catégories d'aspects.

gcloud

Pour afficher les détails d'une entrée, utilisez la commande gcloud dataplex entries lookup.

REST

Pour afficher les détails d'une entrée, utilisez la méthode lookupEntry.

Étapes suivantes