Cette page a été traduite par l'API Cloud Translation.

Rechercher des éléments de données dans le catalogue Dataplex

Utilisez la recherche dans le catalogue Dataplex pour rechercher des éléments de données tels que comme les ensembles de données BigQuery, les instances Cloud SQL, etc. Pour plus des informations sur les éléments Google Cloud compatibles Catalogue Dataplex, consultez la page Sources Google Cloud compatibles

Portée de la recherche

Les résultats de recherche dans le catalogue Dataplex respectent les autorisations dont vous disposez sur les ressources correspondantes dans les systèmes sources.

Par exemple, si vous disposez d'un accès en lecture aux métadonnées BigQuery pour un objet, cet objet s'affiche dans les résultats de recherche du catalogue Dataplex. Si vous avez accès à une table BigQuery, mais pas à l'ensemble de données contenant cette table, celle-ci apparaîtra toujours comme prévu dans la recherche du catalogue Dataplex.

Les résultats de la recherche n'incluent que les ressources appartenant au même VPC-SC périmètre comme le projet dans lequel la recherche est effectuée. Lorsque vous utilisez la console Google Cloud, il s'agit du projet sélectionné dans la console.

Pour étendre la portée de vos résultats de recherche au-delà des ressources du périmètre VPC Service Controls de votre projet, utilisez les règles d'entrée et de sortie de VPC Service Controls. Ces règles facilitent l'échange de données privé et efficace au sein de votre organisation. Vous pouvez configurer des règles d'entrée et de sortie à l'aide de la console Google Cloud ou via des fichiers JSON ou YAML. Reportez-vous à l'exemple YAML suivant et consultez la documentation VPC Service Controls pour adapter la règle à vos exigences spécifiques.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Pour en savoir plus sur les rôles IAM du catalogue Dataplex, consultez la page Rôles IAM Dataplex

Limites de rappel dans la recherche

Les requêtes de recherche du catalogue Dataplex ne garantissent pas un rappel complet. Il est possible que les résultats correspondant à votre requête ne soient pas renvoyés, même dans les résultats suivants . En outre, les résultats renvoyés (et non renvoyés) peuvent varier si vous répétez des requêtes de recherche.

Filtres

Les filtres vous permettent d'affiner les résultats de recherche. Tous les filtres sont regroupés sections:

Systèmes tels que BigQuery, Cloud SQL et d'autres. La Le système Dataplex contient des entrées personnalisées.
L'onglet Aspects (tags) liste tous les aspects à votre disposition.
L'onglet Projet liste tous les projets disponibles.
Les alias de type qui décrivent les types de ressources, tels que les bases de données, les ensembles de données modèles, tables, vues, services et types personnalisés.
Les ensembles de données proviennent de BigQuery.

Vous pouvez combiner les filtres de plusieurs sections pour trouver des éléments qui correspondent à au moins une condition pour chaque section sélectionnée. Les filtres sélectionnés dans une même section sont évalués à l'aide de l'opérateur logique OR.

Prenons l'exemple de la combinaison de filtres illustrée dans l'image ci-dessous (cliquez sur l'image pour l'agrandir). Ces filtres de recherche sont sélectionnés: systèmes BigQuery, alias de type table et view, aspects My aspect type 1 et My aspect type 2, projet my-test-project et ensembles de données test_bq_dataset

Dataplex Catalog recherche les éléments suivants :

Tables BigQuery au format test_bq_dataset avec format My aspect type 1
Tables BigQuery au format test_bq_dataset avec format My aspect type 2
Vues BigQuery dans test_bq_dataset avec l'aspect My aspect type 1
Vues BigQuery au format test_bq_dataset avec format My aspect type 2

Filtrer par valeur d'aspect

Les filtres Aspects vous permettent d'interroger les éléments tagués à l'aide d'un modèle spécifique. Vous pouvez utiliser le menu Personnaliser pour affiner davantage les résultats. filtrer selon des valeurs d'aspect spécifiques. Les conditions de filtrage de la valeur de l'aspect dépendent du type de données du champ de cet aspect. Par exemple, pour datetime et number vous pouvez spécifier une date ou une plage spécifique.

Visibilité des filtres

Les filtres Systèmes, Alias de type, Projet et Ensembles de données sont affiché en fonction de la requête en cours dans le champ Rechercher.

Avant de commencer

Avant de rechercher des composants de données, procédez comme suit :

Rôles requis

Cette section décrit les rôles et les autorisations requis pour rechercher des données. et d'accéder aux résultats de recherche.

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Rôles requis pour la recherche d'entrées

Pour rechercher des entrées, vous devez disposer d'au moins un des rôles IAM du catalogue Dataplex sur le projet utilisé pour la recherche. Les autorisations sur les résultats de recherche sont vérifiées indépendamment du projet sélectionné.

Rôles requis pour accéder aux résultats de recherche

La portée des résultats de recherche dans le catalogue Dataplex dépend de votre rôle. Pour rechercher un élément dans le catalogue Dataplex, vous devez : disposer des autorisations d’accès à la ressource correspondante dans le système source. Pour en savoir plus, consultez la section Portée de la recherche. de ce document.

Par exemple, pour rechercher des ensembles de données, des tables, des vues et des modèles BigQuery, vous devez disposer des autorisations respectives pour ces entrées. Pour en savoir plus, consultez la section Autorisations BigQuery. La liste suivante décrit les autorisations minimales requises :

Pour rechercher une table, vous devez disposer de l'autorisation bigquery.tables.get. tableau.
Pour rechercher un ensemble de données, vous devez disposer de l'autorisation bigquery.datasets.get correspondante ensemble de données.
Pour rechercher des métadonnées pour un ensemble de données ou une table, vous avez besoin du rôle Lecteur de métadonnées BigQuery (roles/bigquery.metadataViewer).

Autre exemple : pour rechercher des instances, des bases de données, des schémas, tables et vues, vous avez besoin d'autorisations pour ces entrées. Pour plus pour en savoir plus, consultez Rôles et autorisations Cloud SQL

Pour rechercher des entrées personnalisées, vous devez disposer du rôle "Lecteur de catalogue Dataplex" (roles/dataplex.catalogViewer).

Activer l'API

Enable the Dataplex API.

Enable the API

Rechercher des éléments de données

Console

Pour rechercher des composants de données, procédez comme suit :

Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

Accéder à la recherche
Dans Choisir une plate-forme de recherche, choisissez Catalogue Dataplex comme mode de recherche.

La sélection de Catalogue Dataplex vous permet d'effectuer des recherches dans le Stockage des métadonnées du catalogue Dataplex Sélection... Data Catalog vous permet d'effectuer des recherches dans Data Catalog à un dépôt Data Catalog, si vous en utilisez déjà.
Dans le champ de recherche, saisissez votre requête ou utilisez le panneau Filtres pour affiner les paramètres de recherche.

Vous pouvez ajouter manuellement les filtres suivants :
- Ajoutez un filtre de projet: dans Projet, cliquez sur Ajouter un projet. Réseau de Recherche Pour un projet spécifique, sélectionnez le projet, puis cliquez sur Ouvrir.
- Ajoutez un filtre de type d'aspect: dans Aspects, cliquez sur le Menu Ajouter d'autres types d'aspects Recherchez un modèle spécifique, sélectionnez puis cliquez sur OK.
Facultatif: En plus des assets à votre disposition, vous pouvez rechercher les éléments de données publics dans Google Cloud en sélectionnant Inclure des ensembles de données publics

Suivez les conseils suivants pour créer une requête de recherche:

Placez votre expression de recherche entre guillemets si elle contient des espaces. (par exemple, "search terms")
Vous pouvez faire précéder un mot clé de NOT pour qu'il corresponde à la négation logique du Filtre keyword:term. Vous pouvez également utiliser les opérateurs booléens AND et OR pour combiner des expressions de recherche. Les opérateurs AND, OR et NOT ne sont pas sensibles à la casse.

Par exemple, NOT column:term répertorie toutes les colonnes, à l'exception de celles qui correspondent pour le terme spécifié. Pour obtenir la liste des mots clés et autres termes que vous pouvez utiliser dans une expression de recherche Dataplex Catalog, consultez la section Syntaxe de recherche.

gcloud

Pour rechercher des composants de données, utilisez la commande gcloud dataplex entries search.

REST

Pour rechercher des éléments de données, utilisez la méthode searchEntries.

Afficher les détails d'une entrée

Console

Utilisez la recherche dans Dataplex Catalog pour afficher les détails d'une entrée.

Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

Accéder à la recherche
Sélectionnez Dataplex Catalog comme mode de recherche.
Dans le champ de recherche, saisissez le nom d'une entrée.
Cliquez sur l'entrée.

La page des détails de l'entrée s'affiche. Cette page comprend les sections suivantes:
- Détails de l'entrée: comprend des informations telles que le type d'entrée, le système, plate-forme, nom complet, date et heure de création, date et heure de la dernière modification, la description et les responsables.
- Vue d'ensemble : présentation de l'entrée, le cas échéant.
- Aspects: aspects obligatoires et facultatifs définis pour l'entrée. Pour en savoir plus, consultez la section Catégories d'aspects.

gcloud

Pour afficher les détails d'une entrée, utilisez la commande gcloud dataplex entries lookup.

REST

Pour afficher les détails d'une entrée, utilisez la méthode Méthode lookupEntry.

Étape suivante

Découvrez la syntaxe de recherche pour Dataplex Catalog.
En savoir plus sur Dataplex Catalog
Découvrez comment enrichir des entrées avec des métadonnées à l'aide d'aspects.
Découvrez comment gérer les entrées et ingérer des sources personnalisées.