Cette page a été traduite par l'API Cloud Translation.

Rechercher des éléments de données dans le catalogue Dataplex

Utilisez la recherche dans le catalogue Dataplex pour rechercher des éléments de données tels que comme les ensembles de données BigQuery, les instances Cloud SQL, etc. Pour plus des informations sur les éléments Google Cloud compatibles Catalogue Dataplex, consultez la page Sources Google Cloud compatibles

Portée de la recherche

Les résultats de recherche dans le catalogue Dataplex respectent les autorisations dont vous disposez sur les ressources correspondantes dans les systèmes sources.

Par exemple, si vous disposez d'un accès en lecture aux métadonnées BigQuery objet, il apparaît dans votre recherche dans le catalogue Dataplex résultats. Si vous avez accès à une table BigQuery, mais pas à la contenant cette table, celle-ci s'affiche toujours comme prévu dans la Recherche dans le catalogue Dataplex

Les résultats de la recherche n'incluent que les ressources appartenant au même VPC-SC périmètre comme le projet dans lequel la recherche est effectuée. Lorsque vous utilisez la console Google Cloud, il s'agit du projet sélectionné dans console.

Pour étendre la portée de vos résultats de recherche au-delà des ressources du périmètre VPC Service Controls de votre projet, utilisez les règles d'entrée et de sortie de VPC Service Controls. Ces règles facilitent l'échange de données privé et efficace au sein de votre organisation. Vous pouvez configurer des règles d'entrée et de sortie à l'aide de la console Google Cloud ou via des fichiers JSON ou YAML. Consultez l'exemple YAML suivant et consultez la documentation de VPC Service Controls pour adapter la règle à vos exigences spécifiques.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Pour en savoir plus sur les rôles IAM du catalogue Dataplex, consultez la page Rôles IAM Dataplex

Limites du rappel dans la recherche

Les requêtes de recherche du catalogue Dataplex ne garantissent pas un rappel complet. Il est possible que les résultats correspondant à votre requête ne soient pas renvoyés, même dans les résultats suivants . De plus, les résultats renvoyés (et non renvoyés) peuvent varier si vous répétez requêtes de recherche.

Filtres

Les filtres vous permettent d'affiner les résultats de recherche. Tous les filtres sont regroupés sections:

Systèmes tels que BigQuery, Cloud SQL, etc. La Le système Dataplex contient des entrées personnalisées.
L'onglet Aspects (tags) liste tous les aspects à votre disposition.
L'onglet Projet liste tous les projets à votre disposition.
Les alias de type qui décrivent les types de ressources, tels que les bases de données, les ensembles de données modèles, tables, vues, services et types personnalisés.
Les ensembles de données proviennent de BigQuery.

Vous pouvez combiner les filtres de plusieurs sections pour trouver des éléments qui correspondent à au moins une condition pour chaque section sélectionnée. Plusieurs filtres sélectionnées dans une même section sont évaluées à l'aide de l'opérateur logique OR.

Prenons l'exemple de la combinaison de filtres illustrée dans l'image ci-dessous (cliquez sur l'image pour l'agrandir). Ces filtres de recherche sont sélectionnés: systèmes BigQuery, alias de type table et view, aspects My aspect type 1 et My aspect type 2, projet my-test-project et ensembles de données test_bq_dataset

Le catalogue Dataplex recherche les éléments suivants:

Tables BigQuery dans test_bq_dataset avec l'aspect My aspect type 1
Tables BigQuery dans test_bq_dataset avec l'aspect My aspect type 2
Vues BigQuery dans test_bq_dataset avec l'aspect My aspect type 1
Vues BigQuery dans test_bq_dataset avec l'aspect My aspect type 2

Filtrer par valeur d'aspect

Les filtres Aspects vous permettent de rechercher des éléments tagués à l'aide d'une modèle. Vous pouvez utiliser le menu Personnaliser pour affiner davantage les résultats. filtrer selon des valeurs d'aspect spécifiques. Les conditions de filtre de la valeur d'aspect dépendent le type de données de ce champ d'aspect. Par exemple, pour datetime et number vous pouvez spécifier une date ou une plage spécifique.

Visibilité du filtre

Les filtres Systèmes, Alias de type, Projet et Ensembles de données sont affiché en fonction de la requête en cours dans le champ Rechercher.

Avant de commencer

Avant de rechercher des éléments de données, procédez comme suit :

Rôles requis

Cette section décrit les rôles et les autorisations requis pour rechercher des données. et d'accéder aux résultats de recherche.

Pour en savoir plus sur l'attribution de rôles, consultez la section Gérer les accès.

Vous pouvez également obtenir les autorisations requises via des rôles personnalisés ou d'autres rôles prédéfinis.

Rôles requis pour la recherche d'entrées

Pour rechercher des entrées, vous devez disposer d'au moins l'un des éléments suivants : Rôles IAM pour le catalogue Dataplex sur le projet utilisé pour la recherche. Les autorisations sur les résultats de recherche sont coché indépendamment du projet sélectionné.

Rôles requis pour accéder aux résultats de recherche

Le champ d'application des résultats de recherche dans le catalogue Dataplex est votre rôle. Pour rechercher un élément dans le catalogue Dataplex, vous devez : disposer des autorisations d’accès à la ressource correspondante dans le système source. Pour en savoir plus, consultez la section Portée de la recherche. de ce document.

Par exemple, pour rechercher BigQuery ensembles de données, des tables, des vues et modèles, vous avez besoin des autorisations correspondantes pour ces entrées. Pour plus d'informations, voir Autorisations BigQuery. La liste suivante décrit les autorisations minimales requises:

Pour rechercher une table, vous devez disposer de l'autorisation bigquery.tables.get. tableau.
Pour rechercher un ensemble de données, vous devez disposer de l'autorisation bigquery.datasets.get correspondante ensemble de données.
Pour rechercher des métadonnées pour un ensemble de données ou une table, vous avez besoin BigQuery Lecteur de métadonnées (roles/bigquery.metadataViewer).

Autre exemple : pour rechercher des instances, des bases de données, des schémas, tables et vues, vous avez besoin d'autorisations pour ces entrées. Pour plus pour en savoir plus, consultez Rôles et autorisations Cloud SQL

Pour rechercher des entrées personnalisées, vous devez disposer du rôle "Lecteur de catalogue Dataplex" (roles/dataplex.catalogViewer).

Activer l'API

Activez l'API Dataplex

Activer l'API

Rechercher des éléments de données

Console

Pour rechercher des éléments de données, procédez comme suit:

Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

Accéder à la recherche
Dans Choisir une plate-forme de recherche, choisissez Catalogue Dataplex comme mode de recherche.

La sélection de Catalogue Dataplex vous permet d'effectuer des recherches dans le Stockage des métadonnées du catalogue Dataplex Sélection... Data Catalog vous permet d'effectuer des recherches dans Data Catalog à un dépôt Data Catalog, si vous en utilisez déjà.
Dans le champ de recherche, saisissez votre requête ou utilisez le panneau Filtres pour affiner les paramètres de recherche.

Vous pouvez ajouter manuellement les filtres suivants :
- Ajoutez un filtre de projet: dans Projet, cliquez sur Ajouter un projet. Réseau de Recherche Pour un projet spécifique, sélectionnez le projet, puis cliquez sur Ouvrir.
- Ajoutez un filtre de type d'aspect: dans Aspects, cliquez sur le Menu Ajouter d'autres types d'aspects Recherchez un modèle spécifique, sélectionnez puis cliquez sur OK.
Facultatif: En plus des assets à votre disposition, vous pouvez rechercher des éléments de données publics dans Google Cloud en sélectionnant Inclure des ensembles de données publics

Suivez les conseils suivants pour créer une requête de recherche:

Si votre expression de recherche contient des espaces, mettez-la entre guillemets. (par exemple, "search terms")
Vous pouvez faire précéder un mot clé de NOT pour qu'il corresponde à la négation logique du Filtre keyword:term. Vous pouvez également utiliser les opérateurs booléens AND et OR. pour combiner des expressions de recherche. Les opérateurs AND, OR et NOT ne sont pas sensible à la casse.

Par exemple, NOT column:term répertorie toutes les colonnes, à l'exception de celles qui correspondent pour le terme spécifié. Pour obtenir une liste de mots clés et d'autres termes que vous pouvez utiliser dans une expression de recherche dans le catalogue Dataplex, consultez la page Syntaxe de recherche :

gcloud

Pour rechercher des éléments de données, utilisez la Commande gcloud dataplex entries search

REST

Pour rechercher des éléments de données, utilisez la méthode searchEntries.

Afficher les détails d'une entrée

Console

Utilisez la recherche dans le catalogue Dataplex pour afficher les détails d'une entrée.

Dans la console Google Cloud, accédez à la page Recherche de Dataplex.

Accéder à la recherche
Sélectionnez Catalogue Dataplex comme mode de recherche.
Dans le champ de recherche, saisissez le nom d'une entrée.
Cliquez sur l'entrée.

La page des détails de l'entrée s'affiche. Cette page comprend les sections suivantes:
- Détails de l'entrée: comprend des informations telles que le type d'entrée, le système, plate-forme, nom complet, date et heure de création, date et heure de la dernière modification, la description et les responsables.
- Overview (Aperçu) : présentation de l'entrée, si disponible.
- Aspects: aspects obligatoires et facultatifs définis pour l'entrée. Pour en savoir plus, consultez Catégories d'aspects.

gcloud

Pour afficher les détails d'une entrée, utilisez la méthode Commande gcloud dataplex entries lookup

REST

Pour afficher les détails d'une entrée, utilisez la méthode Méthode lookupEntry.

Étape suivante

Découvrez la syntaxe de recherche dans le catalogue Dataplex.
En savoir plus sur le catalogue Dataplex
Découvrez comment enrichir des entrées avec des métadonnées à l'aide d'aspects.
Découvrez comment gérer les entrées et ingérer des sources personnalisées.