Voici des exemples d'éléments de données que vous pouvez rechercher:
- Ensembles de données associés à Analytics Hub
- Ensembles de données, tables, vues et modèles BigQuery
- Instances, clusters et tables Bigtable (y compris les informations sur les familles de colonnes)
- Modèles de tag, groupes d'entrées et entrées personnalisées Data Catalog
- Lacs, zones, tables et ensembles de fichiers Dataplex
- Les services, bases de données et tables Dataproc Metastore
- Flux de données Pub/Sub
- Les instances, bases de données, tables et vues Spanner
- Modèles, ensembles de données et ressources Vertex AI Feature Store
- Les éléments dans les silos de données d'entreprise connectés à Data Catalog
Portée de la recherche
Les résultats de recherche peuvent varier en fonction des autorisations dont vous disposez. Le champ d'application des résultats de recherche de Data Catalog est défini en fonction de votre rôle.
Vous pouvez examiner les différents types de rôles et autorisations IAM disponibles pour Data Catalog.
Par exemple, si vous disposez d'un accès en lecture aux métadonnées BigQuery sur un objet, celui-ci apparaît dans les résultats de recherche Data Catalog. La liste suivante décrit les autorisations minimales requises:
Pour rechercher une table, vous devez disposer de l'autorisation
bigquery.tables.get
pour cette table.Pour rechercher un ensemble de données, vous devez disposer de l'autorisation
bigquery.datasets.get
pour cet ensemble de données.Pour rechercher des métadonnées pour un ensemble de données ou une table, vous devez disposer du rôle
roles/bigquery.metadataViewer
.Pour rechercher toutes les ressources d'un projet ou d'une organisation, vous devez disposer de l'autorisation
datacatalog.catalogs.searchAll
. Elle fonctionne pour toutes les ressources, indépendamment du système source.
Si vous avez accès à une table BigQuery, mais pas à l'ensemble de données contenant cette table, la table s'affiche toujours comme prévu dans la recherche Data Catalog. La même logique d'accès s'applique à tous les systèmes compatibles tels que Pub/Sub et Data Catalog lui-même.
Problèmes de rappel dans la recherche
Les requêtes de recherche Data Catalog ne garantissent pas un rappel complet. Les résultats correspondant à votre requête peuvent ne pas être renvoyés, même sur les pages de résultats suivantes. En outre, les résultats renvoyés (et non renvoyés) peuvent varier si vous répétez des requêtes de recherche.
Si vous rencontrez des problèmes de rappel et que vous n'avez pas besoin d'extraire les résultats dans un ordre spécifique, envisagez de définir le paramètre orderBy
sur default
lorsque vous appelez la méthode catalog.search.
Utilisez l'option admin_search
.
L'utilisation de l'indicateur admin_search
dans la requête de recherche garantit un rappel complet.
La recherche d'administrateur nécessite que l'autorisation datacatalog.catalogs.searchAll
soit définie sur tous les projets et organisations compris dans le champ d'application de la recherche. Lorsque vous utilisez admin_search
, seul default
orderBy
est autorisé.
Tables segmentées par date
Data Catalog agrège les tables segmentées par date en une seule entrée logique. Cette entrée possède le même schéma que le segment de table avec la date la plus récente, et contient des informations agrégées sur le nombre total de segments. L'entrée dérive son niveau d'accès de l'ensemble de données auquel il appartient. La recherche Data Catalog n'affiche ces entrées logiques que si l'utilisateur a accès à l'ensemble de données qui les contient. Les tables segmentées par date individuelles ne sont pas visibles dans la recherche Data Catalog, même si elles sont présentes dans Data Catalog et peuvent être taguées.
Filtres
Les filtres vous permettent d'affiner les résultats de recherche. Tous les filtres sont regroupés en sections :
- Champ d'application pour limiter la recherche aux éléments favoris uniquement
- Systèmes tels que BigQuery, Pub/Sub, Dataplex, Dataproc Metastore, les systèmes personnalisés, Vertex AI et Data Catalog lui-même. Le système Data Catalog contient des ensembles de fichiers et des entrées personnalisées.
- Les lacs et les zones proviennent de Dataplex.
- Types de données : flux de données, ensembles de données, lacs, zones, ensembles de fichiers, modèles, tables, vues, services, bases de données et types personnalisés
- L'onglet Projets répertorie tous les projets disponibles.
- L'onglet Balises liste tous les modèles de tag (et leurs champs individuels) à votre disposition.
- Les ensembles de données proviennent de BigQuery et de Vertex AI.
- Les ensembles de données publics sont des données publiques de BigQuery.
Vous pouvez combiner les filtres de plusieurs sections pour trouver les éléments qui correspondent à au moins une condition de chaque section sélectionnée. Plusieurs filtres sélectionnés dans une même section sont évalués à l'aide de l'opérateur logique "OR". Par exemple, pour la combinaison de filtres suivante:
Data Catalog recherche:
Ensembles de données BigQuery tagués avec le modèle MyTemplate1.
Ensembles de données BigQuery tagués avec le modèle MyTemplate2.
Tables BigQuery taguées avec le modèle MyTemplate1.
Tables BigQuery taguées avec le modèle MyTemplate2.
Filtrer par valeur de tag
Les filtres Tags vous permettent de rechercher des éléments tagués à l'aide d'un modèle spécifique. Vous pouvez utiliser le menu
Personnaliser pour affiner davantage les résultats et filtrer selon des valeurs de balise spécifiques. Les conditions de filtre des valeurs de tag dépendent du type de données de ce champ de tag. Par exemple, pour les champs de type date/heure et nombre, vous pouvez spécifier une date ou une plage spécifique.Visibilité des filtres
Les filtres affichés dans chaque section dépendent de la requête actuellement saisie dans le champ de recherche. L'ensemble des résultats de recherche peut inclure des entrées correspondant à la requête actuelle, mais les filtres correspondants peuvent ne pas apparaître dans le panneau Filters (Filtres).
Rechercher des éléments de données
Console
Console
Pour lancer une requête de recherche Dataplex dans la console Google Cloud, accédez à la page Recherche Dataplex.
Dans Choisir une plate-forme de recherche, sélectionnez Data Catalog comme mode de recherche.
Dans le champ de recherche, saisissez votre requête ou utilisez le panneau Filtres pour affiner les paramètres de recherche.
Vous pouvez ajouter manuellement les filtres suivants :
- Pour ajouter un filtre de projet, dans Projets, cliquez sur le bouton AJOUTER UN PROJET, recherchez un projet spécifique, sélectionnez-le, puis cliquez sur OUVRIR.
- Dans Balises, appliquez un filtre de modèle de tag. Pour ce faire, cliquez sur la liste déroulante Ajouter des modèles de tag, recherchez un modèle spécifique, sélectionnez-le, puis cliquez sur OK.
Vous pouvez en outre :
- Cochez la case Inclure les ensembles de données publics pour rechercher des éléments de données accessibles publiquement dans Google Cloud en plus des éléments à votre disposition.
Exemple de recherche
Par exemple, pour rechercher la table trips
que vous avez configurée dans Configurer les modèles de balise, les balises, les vues d'ensemble et les responsables des données:
- Saisissez
trips
dans le champ de recherche, puis cliquez sur Rechercher. - Sélectionnez BigQuery dans la section Systèmes pour exclure les éléments de données portant le même nom qui appartiennent à d'autres systèmes.
- Sélectionnez votre ID de projet dans la section Projets pour exclure des éléments de données d'autres projets. Si votre projet ne s'affiche pas dans la section, cliquez sur AJOUTER UN PROJET et sélectionnez-le dans la boîte de dialogue.
- Sélectionnez Modèle de tag de démonstration dans la section Modèles de tag pour voir si un tag qui utilise ce modèle est associé à la table
trips
. Si ce modèle ne s'affiche pas dans la section, cliquez sur le menu déroulant Ajouter d'autres balises, recherchez-le et sélectionnez-le, puis cliquez sur OK.
Avec tous les filtres sélectionnés, les résultats de la recherche ne contiennent qu'une seule entrée : la table BigQuery trips
de votre projet, associée à un tag utilisant la valeur Demo Tag Template
.
Vous pouvez également effectuer les opérations suivantes :
Filtrez votre recherche en ajoutant keyword:value à vos termes de recherche dans le champ de recherche:
Mot clé Description name:
Correspond au nom de l'élément de données column:
Correspond au nom de la colonne ou de la colonne imbriquée description:
Correspond à la description du tableau Effectuez une recherche par tag en ajoutant l'un des préfixes de mot clé de tag suivants à vos termes de recherche dans le champ de recherche:
Tag Description tag:project-name.tag_template_name
Correspond au nom du tag tag:project-name.tag_template_name.key
Correspond à la clé du tag tag:project-name.tag_template_name.key:value
Correspond à la paire key:string value
du tag
Conseils sur les expressions de recherche
Placez votre expression de recherche entre guillemets ("
search terms
") si elle contient des espaces.Vous pouvez faire précéder un mot clé par "NOT" (obligatoirement en MAJUSCULES) pour faire correspondre la négation logique du filtre
keyword:term
. Vous pouvez également utiliser les opérateurs booléens "AND" et "OR" (obligatoirement en MAJUSCULES) pour combiner des expressions de recherche.Par exemple:
NOT column:term
répertorie toutes les colonnes, à l'exception de celles qui correspondent au terme spécifié. Pour obtenir la liste des mots clés et d'autres termes que vous pouvez utiliser dans une expression de recherche Data Catalog, consultez la page Syntaxe de recherche de Data Catalog.
Java
Avant d'essayer cet exemple, suivez les instructions de configuration de Java dans le guide de démarrage rapide de Data Catalog à l'aide de bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Data Catalog Java.
Pour vous authentifier auprès de Data Catalog, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Node.js
Avant d'essayer cet exemple, suivez les instructions de configuration de Node.js dans le guide de démarrage rapide de Data Catalog à l'aide de bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Data Catalog Node.js.
Pour vous authentifier auprès de Data Catalog, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
Python
Avant d'essayer cet exemple, suivez les instructions de configuration de Python dans le guide de démarrage rapide de Data Catalog à l'aide de bibliothèques clientes. Pour en savoir plus, consultez la documentation de référence de l'API Data Catalog Python.
Pour vous authentifier auprès de Data Catalog, configurez les Identifiants par défaut de l'application. Pour en savoir plus, consultez Configurer l'authentification pour un environnement de développement local.
API REST et ligne de commande
REST
Si vous n'avez pas accès aux bibliothèques clientes cloud pour votre langage ou si vous souhaitez tester l'API à l'aide de requêtes REST, consultez les exemples suivants et la documentation API REST de Data Catalog.
1. Rechercher dans le catalogue
Avant d'utiliser les données de requête, effectuez les remplacements suivants:
- organization-id: ID de l'organisation GCP
- project-id : ID du projet GCP
Méthode HTTP et URL :
POST https://datacatalog.googleapis.com/v1/catalog:search
Corps JSON de la requête :
{ "query":"trips", "scope":{ "includeOrgIds":[ "organization-id" ] } }
Pour envoyer votre requête, développez l'une des options suivantes :
Vous devriez recevoir une réponse JSON de ce type :
{ "results":[ { "searchResultType":"ENTRY", "searchResultSubtype":"entry.table", "relativeResourceName":"projects/project-id/locations/US/entryGroups/@bigquery/entries/entry1-id", "linkedResource":"//bigquery.googleapis.com/projects/project-id/datasets/demo_dataset/tables/taxi_trips" }, { "searchResultType":"ENTRY", "searchResultSubtype":"entry.table", "relativeResourceName":"projects/project-id/locations/US/entryGroups/@bigquery/entries/entry2-id", "linkedResource":"//bigquery.googleapis.com/projects/project-id/datasets/demo_dataset/tables/tlc_yellow_trips_2018" } ] }
Afficher les détails de la table
Dans la console Cloud, vous pouvez utiliser Data Catalog pour afficher les détails d'une table.
Accédez à la page de recherche de Dataplex.
Dans Choisir une plate-forme de recherche, sélectionnez Data Catalog comme mode de recherche.
Dans le champ de recherche, saisissez le nom d'un ensemble de données contenant une table.
Par exemple, si vous avez terminé le guide de démarrage rapide, vous pouvez rechercher
demo-dataset
et sélectionner la tabletrips
.Cliquez sur le tableau.
La page Détails de la table BigQuery s'ouvre.
Les détails du tableau incluent les sections suivantes:
Détails de la table BigQuery. Elles incluent des informations telles que l'heure de création, l'heure de la dernière modification, la date d'expiration, les URL des ressources, les libellés, etc.
Tags : Liste les balises appliquées.Vous pouvez modifier les balises à partir de cette page et afficher le modèle de tag. Cliquez sur l'icône
Actions.Tags de colonne et de schéma Liste le schéma appliqué et ses valeurs.
Ajoutez vos entrées préférées à vos favoris et recherchez-les
Si vous parcourez fréquemment les mêmes éléments de données, vous pouvez inclure leurs entrées dans une liste personnalisée en les marquant avec des étoiles. Pour ce faire dans l'UI Dataplex:
Accédez à la page de recherche de Dataplex.
Dans Choisir une plate-forme de recherche, sélectionnez Data Catalog comme mode de recherche.
Recherchez votre composant, puis ajoutez-le aux favoris de l'une des deux manières suivantes:
- Cliquez sur l'icône à côté de l'entrée dans les résultats de recherche.
- Cliquez sur le nom de l'entrée pour ouvrir sa page d'informations, puis cliquez sur le bouton AJOUTER AUX FAVORIS dans la barre d'action en haut.
Vous pouvez ajouter jusqu'à 200 entrées à vos favoris.
Les entrées ajoutées aux favoris apparaissent dans la liste Entrées favorites de la page de recherche avant que vous ne saisissiez une requête dans la barre de recherche. Cette liste n'est visible que par vous.
Pour rechercher uniquement les entrées ajoutées aux favoris, sélectionnez l'option Champ d'application > Suivis dans le panneau Filtres.
Vous pouvez également utiliser les méthodes correspondantes de l'API Data Catalog pour activer ou désactiver le suivi des entrées. Lorsque vous recherchez des éléments, utilisez le paramètre starredOnly
dans l'objet scope
. Consultez la méthode catalogue.search.