Rechercher des ressources dans le catalogue Dataplex

Ce document explique comment utiliser la recherche dans Dataplex Catalog pour rechercher des ressources telles que des ensembles de données BigQuery, des instances Cloud SQL, etc. Pour en savoir plus sur les Google Cloud composants compatibles avec Dataplex Catalog, consultez la section Sources Google Cloud compatibles.

Portée de la recherche

Les résultats de recherche dans le catalogue Dataplex respectent les autorisations dont vous disposez sur les ressources correspondantes dans les systèmes sources.

Par exemple, si vous disposez d'un accès en lecture aux métadonnées BigQuery pour un objet, cet objet s'affiche dans les résultats de recherche du catalogue Dataplex. Si vous avez accès à une table BigQuery, mais pas à l'ensemble de données contenant cette table, celle-ci apparaîtra toujours comme prévu dans la recherche du catalogue Dataplex.

Les résultats de recherche n'incluent que les ressources appartenant à la même organisation que le projet pour lequel la recherche est effectuée.

Les résultats de recherche n'incluent que les ressources appartenant au même périmètre VPC-SC que le projet pour lequel la recherche est effectuée. Lorsque vous utilisez la console Google Cloud, il s'agit du projet sélectionné dans la console.

Pour élargir le champ d'application de vos résultats de recherche au-delà des ressources du périmètre VPC Service Controls de votre projet, utilisez les règles d'entrée et de sortie VPC Service Controls. Ces règles facilitent l'échange de données privé et efficace au sein de votre organisation. Vous pouvez configurer des règles d'entrée et de sortie à l'aide de la console Google Cloud ou via des fichiers JSON ou YAML. Reportez-vous à l'exemple YAML suivant et consultez la documentation VPC Service Controls pour adapter la règle à vos exigences spécifiques.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Pour en savoir plus sur les rôles de gestion de l'authentification et des accès (IAM) dans Dataplex Catalog, consultez la section Rôles IAM Dataplex.

Remarque :La propagation des autorisations vers la recherche peut être retardée si la modification affecte un grand nombre de ressources ou de principaux.

Limites de la mémorisation dans la recherche

Les requêtes de recherche dans le catalogue Dataplex ne garantissent pas un rappel complet. Les résultats correspondant à votre requête peuvent ne pas être renvoyés, même sur les pages de résultats suivantes. En outre, les résultats renvoyés (et non renvoyés) peuvent varier si vous répétez des requêtes de recherche.

Filtres

Les filtres vous permettent d'affiner les résultats de recherche. Tous les filtres sont regroupés en sections:

• Systèmes tels que BigQuery, Cloud SQL, etc. Le système Dataplex contient des entrées personnalisées.
• La section Aspects (tags) répertorie tous les aspects disponibles.
• L'onglet Projet répertorie tous les projets disponibles.
• Les alias de type décrivent les types de ressources, tels que les bases de données, les ensembles de données, les modèles, les tables, les vues, les services et les types personnalisés.
• Les ensembles de données proviennent de BigQuery.

Vous pouvez combiner des filtres de plusieurs sections pour trouver les éléments qui correspondent à au moins une condition de chaque section sélectionnée. Les filtres sélectionnés dans une même section sont évalués à l'aide de l'opérateur logique OR.

Par exemple, considérons la combinaison de filtres de l'image suivante (cliquez sur l'image pour l'agrandir). Les filtres de recherche suivants sont sélectionnés: systèmes BigQuery, alias de type table et view, aspects My aspect type 1 et My aspect type 2, projet my-test-project et ensembles de données test_bq_dataset.

Dataplex Catalog recherche les éléments suivants:

• Tables BigQuery au format test_bq_dataset avec format My aspect type 1
• Tables BigQuery au format test_bq_dataset avec format My aspect type 2
• Vues BigQuery au format test_bq_dataset avec format My aspect type 1
• Vues BigQuery au format test_bq_dataset avec format My aspect type 2

Filtrer par valeur d'aspect

Les filtres Aspects vous permettent d'interroger les éléments tagués à l'aide d'un modèle spécifique. Vous pouvez utiliser le menu Personnaliser pour affiner davantage les résultats et filtrer par valeurs d'aspect spécifiques. Les conditions de filtrage de la valeur de l'aspect dépendent du type de données du champ de cet aspect. Par exemple, pour les champs datetime et number, vous pouvez spécifier une date spécifique ou une plage.

Visibilité des filtres

Les filtres Systèmes, Type aliases (Alias de type), Project (Projet) et Datasets (Ensembles de données) s'affichent en fonction de la requête actuelle dans le champ Search (Rechercher).

Remarque :Les ensembles de filtres ne sont pas actualisés si vous modifiez les filtres sélectionnés. Par exemple, si vous sélectionnez le système BigQuery dans la section "Systèmes", les filtres de type de données ne se limitent pas aux filtres spécifiques à BigQuery, tels que "Table", "Vue" ou "Ensemble de données".

Avant de commencer

Avant de rechercher des ressources, assurez-vous de disposer des rôles requis et d'activer l'API.

Rôles requis

Cette section décrit les rôles et les autorisations requis pour rechercher des ressources et accéder aux résultats de recherche.

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Rôles requis pour rechercher des entrées

Pour rechercher des entrées, vous devez disposer d'au moins un des rôles IAM du catalogue Dataplex sur le projet utilisé pour la recherche. Les autorisations sur les résultats de recherche sont vérifiées indépendamment du projet sélectionné.

Rôles requis pour accéder aux résultats de recherche

La portée des résultats de recherche dans le catalogue Dataplex dépend de votre rôle. Pour rechercher un élément dans le catalogue Dataplex, vous devez disposer des autorisations nécessaires pour accéder à la ressource correspondante dans le système source. Pour en savoir plus, consultez la section Champ d'application de la recherche de ce document.

Par exemple, pour rechercher des ensembles de données, des tables, des vues et des modèles BigQuery, vous devez disposer des autorisations respectives pour ces entrées. Pour en savoir plus, consultez la section Autorisations BigQuery.

La liste suivante décrit les autorisations minimales requises:

• Pour rechercher une table, vous devez disposer de l'autorisation bigquery.tables.get pour celle-ci.
• Pour rechercher un ensemble de données, vous devez disposer de l'autorisation bigquery.datasets.get pour cet ensemble de données.
• Pour rechercher des métadonnées pour un ensemble de données ou une table, vous avez besoin du rôle "Lecteur de métadonnées BigQuery" (roles/bigquery.metadataViewer).

Par exemple, pour rechercher des instances, des bases de données, des schémas, des tables et des vues Cloud SQL, vous devez disposer des autorisations respectives pour ces entrées. Pour en savoir plus, consultez la page Rôles et autorisations Cloud SQL.

Pour rechercher des entrées personnalisées, vous devez disposer du rôle Lecteur de catalogue Dataplex (roles/dataplex.catalogViewer).

Activer l'API

Enable the Dataplex API.

Enable the API

Rechercher des ressources

Console

Pour rechercher des ressources, procédez comme suit:

1. Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

   Accéder à la recherche

2. Pour Choisir une plate-forme de recherche, sélectionnez Dataplex Catalog comme mode de recherche.

   Si vous sélectionnez Dataplex Catalog, vous pouvez effectuer une recherche dans l'espace de stockage des métadonnées du catalogue Dataplex. Si vous êtes déjà un utilisateur de Data Catalog, vous pouvez sélectionner Data Catalog pour effectuer une recherche dans votre dépôt Data Catalog.

3. Dans le champ de recherche, saisissez votre requête ou utilisez le panneau Filtres pour affiner les paramètres de recherche.

   Vous pouvez ajouter manuellement les filtres suivants :

   • Ajouter un filtre de projet: dans Projet, cliquez sur Ajouter un projet. Recherchez un projet spécifique, sélectionnez-le, puis cliquez sur Ouvrir.
   • Ajouter un filtre de type d'aspect: dans Aspects, cliquez sur le menu Ajouter d'autres types d'aspects. Recherchez un modèle spécifique, sélectionnez-le, puis cliquez sur OK.

4. Facultatif: en plus des éléments disponibles, vous pouvez rechercher des ressources disponibles publiquement dans Google Cloud en sélectionnant Inclure les ensembles de données publics.

Suivez les conseils ci-dessous pour créer une requête de recherche:

• Placez votre expression de recherche entre guillemets si elle contient des espaces. (par exemple, "search terms")

• Vous pouvez faire précéder un mot clé par NOT pour faire correspondre la négation logique du filtre keyword:term. Vous pouvez également utiliser les opérateurs booléens AND et OR pour combiner des expressions de recherche. Les opérateurs AND, OR et NOT ne sont pas sensibles à la casse.

  Par exemple, NOT column:term liste toutes les colonnes, sauf celles qui correspondent au terme spécifié. Pour obtenir la liste des mots clés et autres termes que vous pouvez utiliser dans une expression de recherche Dataplex Catalog, consultez la section Syntaxe de recherche.

gcloud

Pour rechercher des ressources, utilisez la commande gcloud dataplex entries search.

REST

Pour rechercher des ressources, utilisez la méthode searchEntries.

Afficher les détails d'une entrée

Console

Utilisez la recherche dans le catalogue Dataplex pour afficher les détails d'une entrée.

1. Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

   Accéder à la recherche

2. Sélectionnez Dataplex Catalog comme mode de recherche.

3. Dans le champ de recherche, saisissez le nom d'une entrée.

4. Cliquez sur l'entrée.

   La page des détails de l'entrée s'ouvre. La page comprend les sections suivantes:

   • Détails de l'entrée: inclut des informations telles que le type d'entrée, le système, la plate-forme, le nom complet, l'heure de création, l'heure de la dernière modification, la description et les responsables.
   • Vue d'ensemble: présentation de l'entrée, le cas échéant.
   • Aspects: aspects obligatoires et facultatifs définis pour l'entrée. Pour en savoir plus, consultez la section Catégories d'aspects.

gcloud

Pour afficher les détails d'une entrée, utilisez la commande gcloud dataplex entries lookup.

REST

Pour afficher les détails d'une entrée, utilisez la méthode lookupEntry.

Étape suivante

• Découvrez la syntaxe de recherche pour Dataplex Catalog.
• En savoir plus sur Dataplex Catalog
• Découvrez comment enrichir des entrées avec des métadonnées à l'aide d'aspects.
• Découvrez comment gérer les entrées et ingérer des sources personnalisées.