Sintaxis de búsqueda de Data Catalog

Este documento describe la sintaxis de las búsquedas de Data Catalog. Antes de leer este documento, es importante que comprenda los conceptos de Data Catalog, como la entrada de datos, las etiquetas y las plantillas de etiquetas y otros tipos de metadatos. Consulte Qué es Data Catalog.

Para iniciar una búsqueda en Data Catalog, ve a la página Buscar en Console.

Ir a la búsqueda de Data Catalog

En su forma más simple, una consulta de búsqueda de Data Catalog consta de un solo predicado. Este predicado puede coincidir con varios fragmentos de metadatos:

  • Una substring de un nombre, nombre visible o descripción de un recurso de datos
  • Tipo exacto de un recurso de datos
  • Una substring de un nombre de columna (o nombre de la columna anidada) en el esquema de un recurso de datos
  • Una substring del ID del proyecto
  • (Vista previa) El valor de una etiqueta pública, el nombre de una plantilla de etiqueta pública o un nombre de campo en una plantilla de etiqueta pública adjunta a una entrada de datos.
  • (Vista previa) Una string para una dirección de correo electrónico o el nombre de un administrador de datos
  • (Vista previa) Una string de una descripción general

La búsqueda simple no admite campos de plantilla de etiqueta del tipo datetime.

Por ejemplo, el predicado foo coincide con las siguientes entidades:

  • Elemento de datos con el nombre foo.bar
  • Elemento de datos con el nombre visible Foo Bar
  • Elemento de datos con la descripción This is the foo script.
  • Elemento de datos con el tipo exacto foo
  • Columna foo_bar en el esquema de un recurso de datos
  • Columna foo_bar anidada en el esquema de un recurso de datos
  • prod-foo-bar del proyecto
  • (Vista previa) Plantilla de etiqueta pública llamada foo, entradas de datos etiquetadas con la plantilla de etiqueta foo, nombre visible de la plantilla de la etiqueta foo, nombre del campo de la plantilla de etiqueta de foo y valor del campo de etiqueta de foo en una string, una enumeración o un texto enriquecido.
  • (Vista previa) Elemento de datos con un administrador de datos llamado foo.
  • (Vista previa) Elemento de datos con una descripción general que contiene la palabra foo.

Si desea obtener más información sobre las funciones y los permisos para ver las etiquetas públicas y privadas, consulte Funciones a fin de ver las etiquetas públicas y privadas.

Predicados calificados

Puedes calificar un predicado si le antepones una clave que restrinja la coincidencia a una pieza de metadatos específica.

Un signo igual (=) restringe la búsqueda a una concordancia exacta.

Dos puntos (:) después de la clave hacen coincidir el predicado con una substring o un token dentro del valor en los resultados de la búsqueda.

La asignación de token divide el flujo del texto en una serie de tokens, cada uno correspondiente a una sola palabra.

Por ejemplo:

  • name=foo selecciona entidades con el nombre exacto foo.
  • name:foo selecciona entidades con nombres que contienen la substring foo: foo1 y barfoo.
  • description:foo selecciona entidades con el token foo en la descripción: bar and foo.

Data Catalog admite los siguientes calificadores:

Calificador Descripción
name:x Coincide con x como una substring del ID del recurso de datos.
displayname:x Haga coincidir x como una substring del nombre comercial del recurso de datos.
column:x Coincide con x como una substring del nombre de la columna (o el nombre de la columna anidada) en el esquema del recurso de datos.
En la actualidad, puedes buscar una columna anidada por su ruta de acceso con el operador lógico AND.
Por ejemplo, column:(foo bar) coincide con una columna anidada con la ruta foo.bar.
description:x Coincide con x como un token en la descripción del recurso de datos.
label:bar Coincide con los recursos de datos de BigQuery que tienen una etiqueta (con algún valor) y la clave de etiqueta tiene bar como una substring.
label=bar Coincide con los recursos de datos de BigQuery que tienen una etiqueta (con algún valor) y la clave de la etiqueta es igual a bar como string.
label:bar:x Coincide con x como una substring en el valor de una etiqueta con la clave bar adjunta a un elemento de datos de BigQuery.
label=foo:bar Coincide con los recursos de datos de BigQuery en los que la clave es igual a foo y el valor a bar.
label.foo=bar Coincide con los recursos de datos de BigQuery en los que la clave es igual a foo y el valor a bar.
label.foo Coincide con los recursos de datos de BigQuery que tienen una etiqueta cuya clave equivale a foo como una string.
type=<type> Coincide con los elementos de datos de un tipo o subtipo de un objeto específico. Los subtipos se pueden agregar con el formato <type>.<sub-type>.
Los tipos y subtipos incluyen lo siguiente:
  • type=table coincide con todas las tablas.
  • type=dataset coincide con todos los conjuntos de datos.
  • type=table.view o type=view coinciden con todas las vistas.
  • type=lake coincide con todos los lakes.
  • type=zone coincide con todas las zonas.
  • type=tag_template coincide con todas las plantillas de etiqueta.
  • type=entry_group coincide con todos los grupos de entrada.
  • type=data_stream coincide con todos los temas de Pub/Sub.
  • (Vista previa pública) type=dataset.linked coincide con todos los conjuntos de datos vinculados de Analytics Hub.
projectid:bar Coincide con los recursos de datos de los proyectos de Cloud que coinciden con bar como una substring en el ID.
parent:x Coincide con x como una substring de la ruta jerárquica de un recurso de datos de BigQuery. La ruta tiene el formato <project_id>.<dataset_name>.
Por ejemplo, parent:foo.bar hace coincidir todas las tablas y vistas de un conjunto de datos con la ruta project-foo.bar-dataset.
orgid=number Hace coincidir los recursos de datos dentro de una organización de Cloud con el valor de ID exacto de number.
system=<system> Coincide con todos los recursos de datos de un sistema específico.
Los sistemas incluyen:
  • system=bigquery coincide con todos los recursos de datos de BigQuery.
  • system=cloud_pubsub coincide con todos los recursos de datos de Pub/Sub.
  • system=dataproc_metastore coincide con todos los recursos de datos de Dataproc Metastore.
  • system=data_catalog coincide con todos los recursos de datos creados en Data Catalog.
  • system=dataplex coincide con todos los recursos de datos creados en Dataplex
location=<location> Haz coincidir todos los recursos de datos en una ubicación especificada con un nombre exacto. Por ejemplo, location=us-central1 coincide con todos los elementos alojados en Iowa.
Para obtener una lista completa de las ubicaciones admitidas, consulta Regiones de Data Catalog.
tag:x Coincide con los recursos de datos en los que x coincide con cualquier substring en la etiqueta privada &tag_template_project_id;tag_template_id>.<tag_field_id> de una etiqueta pública o privada.
Ejemplos:
  • tag:data_owner coincide con los recursos de datos que tienen la etiqueta data_owner.
  • tag:data_gov_template coincide con los recursos de datos etiquetados con la plantilla de etiqueta data_gov_template.
  • tag:mycloudproject.data_gov_template coincide con los recursos de datos etiquetados con la plantilla data_gov_template en el proyecto mycloudproject.
tag:key<operator>val Primero, hace coincidir key con cualquier substring del ID de campo de etiqueta, el ID de plantilla de etiqueta o el ID del proyecto de Cloud de una plantilla de etiqueta. Luego, hace coincidir val con el valor de la etiqueta key según el tipo de campo de la etiqueta.
Los conjuntos <operator> dependientes del tipo que se permiten para los valores de la etiqueta son los siguientes:
  • string: ":"
    Nota: Los dos puntos de esta búsqueda de string indican una coincidencia exacta de token, no una substring.
  • booleano y enumerado: "="
  • doble: "=", "<", ">", "<=", ">="
  • marca de tiempo: ":", "=", "<", ">", "<=", ">="
Ejemplos
  • string: tag:data_owner:@mail.com coincide con los recursos de datos que tienen valores @mail.com.
  • booleano: tag:data_gov_template.hasPII=true coincide con etiquetas booleanas hasPII en data_gov_template que son true.
  • enumerado: tag:certification_level_1=HIGHEST
  • doble: tag:datascore=9 hace coincidir los recursos de datos etiquetas dobles datascore que tienen el valor 9.
  • marca de tiempo: tag:expiredDate:2019-01-01 coincide con los recursos de datos que tienen una etiqueta expiredDate de 2019-01-01.
  • marca de tiempo: tag:expiredDate<2019-02 coincide con los recursos de datos que tienen una etiqueta expiredDate anterior a 2019-02-01T00:00:00.
createtime Encuentra los recursos de datos que se crearon antes, durante o después de una fecha u hora determinadas.
Ejemplos:
  • createtime:2019-01-01 coincide con los recursos de datos creados en 2019-01-01.
  • createtime<2019-02 coincide con los recursos de datos creados antes del 2019-02-01T00:00:00.
  • createtime>2019-02 coincide con los elementos de datos creados después de 2019-02-01T00:00:00.
updatetime Busca los recursos de datos que se actualizaron antes, durante o después de una fecha u hora determinadas.
Ejemplos:
  • updatetime:2019-01-01 coincide con los recursos de datos actualizados en 2019-01-01.
  • updatetime<2019-02 coincide con los recursos de datos actualizados antes del 2019-02-01T00:00:00.
  • updatetime>2019-02 coincide con los recursos de datos actualizados después del 2019-02-01T00:00:00.
policytag:x Haz coincidir x como una substring del nombre visible de la etiqueta de política. Encuentra todos los recursos mediante la etiqueta de política de coincidencias o sus descendientes.
policytagid=x Coincide con x como un ID de etiqueta de política o taxonomía. Encuentra todos los recursos mediante la etiqueta de política de coincidencias o sus descendientes.

Operadores lógicos

Una consulta puede constar de varios predicados con operadores lógicos. Si no especificas un operador, el valor lógico AND está implícito. Por ejemplo, foo bar muestra entidades que coinciden con el predicado foo y el predicado bar.

Se admiten AND lógico y OR lógico, por ejemplo, foo OR bar.

Puedes negar un predicado con un prefijo - o NOT. Por ejemplo, -name:foo muestra todas las entidades con nombres que no coinciden con el predicado foo.

Sintaxis abreviada

También hay una sintaxis de búsqueda abreviada disponible mediante | para los operadores OR y , para los operadores AND.

Por ejemplo, para buscar entradas dentro de uno de muchos proyectos con el operador OR, puedes usar el siguiente comando:

projectid:(pid1|pid2|pid3|pid4)

En lugar de esta sintaxis:

projectid:pid1 OR projectid:pid2 OR projectid:pid3 OR projectid:pid4

Para buscar entradas con nombres de columnas coincidentes, haz lo siguiente:

  • Y: column:(name1, name2, name3)
  • O: column:(name1|name2|name3)

Esta sintaxis abreviada funciona para todos los predicados calificados mencionados anteriormente.