Voici des exemples d'éléments de données que vous pouvez rechercher:
- Ensembles de données associés à Analytics Hub
- Ensembles de données, tables, vues et modèles BigQuery
- Instances, clusters et tables Bigtable (y compris les informations sur les familles de colonnes)
- Modèles de tag, groupes d'entrées et groupes d'entrées Data Catalog entrées personnalisées
- Lacs, zones, tables et ensembles de fichiers Dataplex
- les services Dataproc Metastore, bases de données et tables
- Flux de données Pub/Sub
- Les instances, bases de données, tables et tables Spanner et vues
- Modèles, ensembles de données et ressources Vertex AI Feature Store
- Les éléments présents dans les silos de données d'entreprise Data Catalog
Portée de la recherche
Les résultats de recherche peuvent varier en fonction des autorisations dont vous disposez. Le champ d'application des résultats de recherche de Data Catalog est défini en fonction de votre rôle.
Vous pouvez examiner les différents types Rôle et autorisations IAM disponibles pour Data Catalog.
Par exemple, si vous disposez d'un accès en lecture aux métadonnées BigQuery s'affiche dans vos résultats de recherche Data Catalog résultats. La liste suivante décrit les autorisations minimales requises:
Pour rechercher une table, vous devez disposer de l'autorisation
bigquery.tables.get
pour ce tableau.Pour rechercher un ensemble de données, vous devez disposer de l'autorisation
bigquery.datasets.get
pour cet ensemble de données.Pour rechercher des métadonnées pour un ensemble de données ou une table, vous devez disposer du rôle
roles/bigquery.metadataViewer
.Pour rechercher toutes les ressources d'un projet ou d'une organisation, vous devez disposer de l'autorisation
datacatalog.catalogs.searchAll
. Elle fonctionne pour toutes les ressources, indépendamment du système source.
Si vous avez accès à une table BigQuery, mais pas à l'ensemble de données contenant cette table, elle s'affiche toujours comme prévu dans la section Recherche Data Catalog. La même logique d'accès s'applique comme Pub/Sub et Data Catalog, lui-même.
Problèmes de rappel dans la recherche
Les requêtes de recherche Data Catalog ne garantissent pas un rappel complet. Les résultats correspondant à votre requête peuvent ne pas être renvoyés, même sur les pages de résultats suivantes. En outre, les résultats renvoyés (et non renvoyés) peuvent varier si vous répétez des requêtes de recherche.
Si vous rencontrez des problèmes de rappel et que vous n'avez pas besoin d'extraire
dans un ordre spécifique, envisagez de définir le paramètre orderBy
sur
default
lors de l'appel de la méthode
catalog.search.
Utilisez l'option admin_search
.
L'utilisation de l'indicateur admin_search
dans la requête de recherche garantit un rappel complet.
La recherche d'administrateurs nécessite l'autorisation datacatalog.catalogs.searchAll
défini sur l'ensemble des projets et organisations dans le champ d'application de la recherche. Lorsque vous utilisez
admin_search
, seul default
orderBy
est autorisé.
Tables segmentées par date
Data Catalog agrège les tables segmentées par date en une seule entrée logique. Cette entrée possède le même schéma que le segment de table avec la date la plus récente, et contient des informations agrégées sur le nombre total de segments. L'entrée dérive son niveau d'accès de l'ensemble de données auquel il appartient. La recherche Data Catalog n'affiche ces entrées logiques que si l'utilisateur a accès à l'ensemble de données qui les contient. Partitionnement par date individuel ne sont pas visibles lors des recherches dans Data Catalog, même si elles sont présents dans Data Catalog et peuvent être tagués.
Filtres
Les filtres vous permettent d'affiner les résultats de recherche. Tous les filtres sont regroupés en sections :
- Champ d'application pour limiter la recherche aux éléments favoris uniquement
- Systèmes tels que BigQuery, Pub/Sub, Dataplex et Dataproc Metastore , personnalisé Vertex AI, Vertex AI et Data Catalog lui-même. Le système Data Catalog contient des ensembles de fichiers et des entrées personnalisées.
- Les lacs et les zones proviennent de Dataplex.
- Types de données : flux de données, ensembles de données, lacs, zones, ensembles de fichiers, modèles, tables, vues, services, bases de données et types personnalisés
- L'onglet Projets répertorie tous les projets disponibles.
- L'onglet Balises liste tous les modèles de tag (et leurs champs individuels) à votre disposition.
- Les ensembles de données proviennent de BigQuery et de Vertex AI.
- Les ensembles de données publics sont des données publiques de BigQuery.
Vous pouvez combiner les filtres de plusieurs sections pour trouver des assets qui correspondent au minimum une condition pour chaque section sélectionnée. Plusieurs filtres sélectionnés dans une seule section sont évaluées à l'aide de l'opérateur un opérateur logique. Par exemple : compte tenu de la combinaison de filtres suivante:
![Panneau du filtre des valeurs de tag avec plusieurs sections sélectionnées.](https://cloud.google.com/static/data-catalog/images/multiple-filter-sections.png?authuser=9&hl=fr)
Data Catalog recherche:
Ensembles de données BigQuery tagués avec le modèle MyTemplate1.
Ensembles de données BigQuery tagués avec le modèle MyTemplate2.
Tables BigQuery taguées avec le modèle MyTemplate1.
Tables BigQuery taguées avec le modèle MyTemplate2.
Filtrer par valeur de tag
Les filtres Tags vous permettent de rechercher des éléments tagués à l'aide d'un modèle spécifique. Vous pouvez utiliser le menu
Personnaliser pour affiner davantage les résultats et filtrer selon des valeurs de tag spécifiques. Les conditions de filtre des valeurs de tag dépendent du type de données de ce champ de tag. Par exemple, pour les champs de date et d'heure (date et heure) et de nombre, vous pouvez spécifier une date ou une plage spécifique.Visibilité des filtres
Les filtres affichés dans chaque section dépendent de la requête actuellement saisie dans le champ de recherche. L'ensemble des résultats de recherche peut inclure des entrées qui correspondent à la requête actuelle, mais il est possible que les filtres qui y correspondent s'affichent dans le panneau Filtres.
Rechercher des éléments de données
Console
Console
Pour lancer une requête de recherche Dataplex dans la console Google Cloud, accédez à la page Recherche Dataplex.
Dans Choisir une plate-forme de recherche, sélectionnez Data Catalog comme mode de recherche.
Dans le champ de recherche, saisissez votre requête ou utilisez le panneau Filtres pour affiner les paramètres de recherche.
Vous pouvez ajouter manuellement les filtres suivants :
- Pour ajouter un filtre de projet, dans Projets, cliquez sur le bouton AJOUTER UN PROJET, recherchez un projet spécifique, sélectionnez-le, puis cliquez sur OUVRIR.
- Dans Balises, appliquez un filtre de modèle de tag. Pour ce faire, cliquez sur la liste déroulante Ajouter des modèles de tag, recherchez un modèle spécifique, sélectionnez-le, puis cliquez sur OK.
Vous pouvez en outre :
- Cochez la case Inclure les ensembles de données publics pour rechercher des éléments de données publiquement. disponibles dans Google Cloud en plus de celles mises à votre disposition.
Exemple de recherche
Par exemple, pour rechercher la table trips
que vous avez configurée dans Configurer les modèles de balise, les balises, les vues d'ensemble et les responsables des données:
- Saisissez
trips
dans le champ de recherche, puis cliquez sur Rechercher. - Sélectionnez BigQuery dans la section Systèmes pour exclure les éléments de données avec le même nom qui appartiennent à d’autres systèmes.
- Sélectionnez l'ID de votre projet dans la section Projets pour exclure des éléments de données d'autres projets. Si votre projet n'apparaît pas dans cette section, Cliquez sur AJOUTER UN PROJET et sélectionnez-le dans la boîte de dialogue.
- Sélectionnez Modèle de tag de démonstration dans la section Modèles de tag pour
voir si un tag qui utilise ce modèle est associé à la table
trips
. Si ce modèle n'apparaît pas dans la section, cliquez sur le bouton Ajouter d'autres balises recherchez-la et sélectionnez-la, puis cliquez sur OK.
Avec tous les filtres sélectionnés, les résultats de recherche ne contiennent qu'un seul filtre
entrée : la table BigQuery trips
de votre projet avec une balise associée
qui utilise Demo Tag Template
.
![](https://cloud.google.com/static/data-catalog/images/search-filter-for-trips.png?authuser=9&hl=fr)
Vous pouvez également effectuer les opérations suivantes :
Filtrez votre recherche en ajoutant un(e) keyword:value à vos termes de recherche dans le champ de recherche:
Keyword Description name:
Correspond au nom de l'élément de données column:
Correspond au nom de la colonne ou de la colonne imbriquée description:
Correspond à la description du tableau Effectuez une recherche par tag en ajoutant l'une des balises suivantes préfixes de mot clé à vos termes de recherche dans le champ de recherche:
Tag Description tag:project-name.tag_template_name
Correspond au nom du tag tag:project-name.tag_template_name.key
Correspond à la clé du tag tag:project-name.tag_template_name.key:value
Correspond à la paire key:string value
du tag
Conseils sur les expressions de recherche
Placez votre expression de recherche entre guillemets ("
search terms
") si elle contient des espaces.Vous pouvez faire précéder un mot clé de la chaîne "NOT". (en majuscules) pour correspondre à la logique négation du filtre
keyword:term
. Vous pouvez également utiliser les opérateurs booléens "AND" et "OR" (obligatoirement en MAJUSCULES) pour combiner des expressions de recherche.Par exemple:
NOT column:term
répertorie toutes les colonnes, à l'exception de celles correspondant aux pour le terme spécifié. Pour obtenir une liste de mots clés et d'autres termes à utiliser dans une l'expression de recherche Data Catalog, consultez la page Syntaxe de recherche Data Catalog
Java
Avant d'essayer cet exemple, suivez les instructions de configuration de Java dans le Guide de démarrage rapide de Data Catalog avec bibliothèques clientes. Pour en savoir plus, consultez les API Java Data Catalog documentation de référence.
Pour vous authentifier auprès de Data Catalog, configurez les identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Avant d'essayer cet exemple, suivez les instructions de configuration de Node.js dans le Guide de démarrage rapide de Data Catalog avec bibliothèques clientes. Pour en savoir plus, consultez les API Node.js Data Catalog documentation de référence.
Pour vous authentifier auprès de Data Catalog, configurez les identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Avant d'essayer cet exemple, suivez les instructions de configuration de Python dans le Guide de démarrage rapide de Data Catalog avec bibliothèques clientes. Pour en savoir plus, consultez les API Python Data Catalog documentation de référence.
Pour vous authentifier auprès de Data Catalog, configurez les identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
API REST et ligne de commande
REST
Si vous n'avez pas accès aux bibliothèques clientes cloud pour votre langage ou si vous souhaitez tester l'API à l'aide de requêtes REST, consultez les exemples suivants et la documentation API REST de Data Catalog.
1. Rechercher dans le catalogue
Avant d'utiliser les données de requête ci-dessous, effectuez les remplacements suivants :
- organization-id: ID de l'organisation GCP
- project-id : ID du projet GCP
Méthode HTTP et URL :
POST https://datacatalog.googleapis.com/v1/catalog:search
Corps JSON de la requête :
{ "query":"trips", "scope":{ "includeOrgIds":[ "organization-id" ] } }
Pour envoyer votre requête, développez l'une des options suivantes :
Vous devriez recevoir une réponse JSON de ce type :
{ "results":[ { "searchResultType":"ENTRY", "searchResultSubtype":"entry.table", "relativeResourceName":"projects/project-id/locations/US/entryGroups/@bigquery/entries/entry1-id", "linkedResource":"//bigquery.googleapis.com/projects/project-id/datasets/demo_dataset/tables/taxi_trips" }, { "searchResultType":"ENTRY", "searchResultSubtype":"entry.table", "relativeResourceName":"projects/project-id/locations/US/entryGroups/@bigquery/entries/entry2-id", "linkedResource":"//bigquery.googleapis.com/projects/project-id/datasets/demo_dataset/tables/tlc_yellow_trips_2018" } ] }
Afficher les détails de la table
Dans la console Cloud, vous pouvez utiliser Data Catalog pour afficher les détails d'une table.
Accédez à la page de recherche de Dataplex.
Dans Choisir une plate-forme de recherche, sélectionnez Data Catalog comme mode de recherche.
Dans le champ de recherche, saisissez le nom d'un ensemble de données contenant une table.
Par exemple, si vous avez terminé le guide de démarrage rapide, vous pouvez rechercher
demo-dataset
et sélectionner la tabletrips
.Cliquez sur le tableau.
La page Détails de la table BigQuery s'ouvre.
Les détails du tableau incluent les sections suivantes:
Détails de la table BigQuery. Inclut des informations telles que l'heure de création, l'heure de la dernière modification, l'heure d'expiration, les URL de ressources, les libellés, etc.
Tags : Liste les balises appliquées.Vous pouvez modifier les balises à partir de cette page et afficher le modèle de tag. Cliquez sur l'icône
Icône Actions.Tags de colonne et de schéma Liste le schéma appliqué et ses valeurs.
Ajoutez vos entrées préférées à vos favoris et recherchez-les
Si vous parcourez fréquemment les mêmes éléments de données, vous pouvez inclure leurs entrées dans une liste personnalisée en leur attribuant des étoiles. Pour ce faire dans l'UI Dataplex:
Accédez à la page de recherche de Dataplex.
Dans Choisir une plate-forme de recherche, sélectionnez Data Catalog comme mode de recherche.
Recherchez votre composant, puis ajoutez-le aux favoris de l'une des deux manières suivantes:
- Cliquez sur l'icône à côté du bouton dans les résultats de recherche.
- Cliquez sur le nom de l'entrée pour ouvrir sa page d'informations, puis sur l'icône Bouton AJOUTER AUX FAVORIS sur la barre d'action en haut.
Vous pouvez ajouter jusqu'à 200 entrées à vos favoris.
Les entrées suivies apparaissent dans la liste Entrées favorites de la page de recherche avant vous saisissez une requête de recherche dans la barre de recherche. Cette liste n'est visible que par vous.
Pour rechercher uniquement les entrées ajoutées aux favoris, sélectionnez Portée > Option Suivis activée le panneau Filtres.
Vous pouvez également utiliser les méthodes correspondantes
l'API Data Catalog pour ajouter
supprimer des entrées des favoris. Lorsque vous recherchez des assets, utilisez le paramètre starredOnly
dans
l'objet scope
. Consultez la méthode catalogue.search.