Busca recursos de datos en Dataplex Catalog

Usa la búsqueda en Dataplex Catalog para buscar recursos de datos, como conjuntos de datos de BigQuery, instancias de Cloud SQL y otros. Para obtener más información sobre los elementos de Google Cloud que se admiten en el catálogo de Dataplex, consulta Fuentes de Google Cloud compatibles.

Nota: En este documento, se describe la búsqueda de Dataplex Catalog. Para obtener información sobre la búsqueda de Data Catalog, consulta Busca y visualiza recursos de datos con Data Catalog y Dataplex Catalog frente a Data Catalog.

Alcance de la búsqueda

Los resultados de la búsqueda en Dataplex Catalog respetan los permisos que tienes sobre los recursos correspondientes en los sistemas de origen.

Por ejemplo, si tienes acceso de lectura de metadatos de BigQuery a un objeto, ese objeto aparecerá en los resultados de la búsqueda de Data Catalog. Si tienes acceso a una tabla de BigQuery, pero no al conjunto de datos que contiene esa tabla, la tabla seguirá apareciendo como se espera en la búsqueda de Dataplex Catalog.

Los resultados de la búsqueda incluyen solo aquellos recursos que pertenecen al mismo perímetro de VPC-SC que el proyecto en el que se realiza la búsqueda. Cuando usas la consola de Google Cloud, este es el proyecto que se selecciona en la consola.

Para obtener más información sobre los roles de IAM de Dataplex Catalog, consulta Roles de IAM de Dataplex.

Limitaciones de recuperación en la búsqueda

Las búsquedas de Dataplex Catalog no garantizan la recuperación completa. Es posible que no se muestren resultados que coincidan con tu consulta, incluso en las páginas de resultados posteriores. Además, los resultados que se muestran (y no se muestran) pueden variar si repites las consultas de búsqueda.

Tablas fragmentadas por fecha

Dataplex Catalog agrega tablas fragmentadas por fecha en una sola entrada lógica. Esta entrada tiene el mismo esquema que el fragmento de tabla con la fecha más reciente. La entrada deriva su nivel de acceso al conjunto de datos al que pertenece. La búsqueda de Dataplex Catalog muestra estas entradas lógicas solo si tienes acceso al conjunto de datos que las contiene. Las tablas individuales fragmentadas por fecha no son visibles en la búsqueda de Dataplex Catalog, incluso si están presentes en Dataplex Catalog y se pueden etiquetar.

Filtros

Los filtros te permiten acotar los resultados de la búsqueda. Todos los filtros se agrupan en secciones:

• Sistemas como BigQuery, Cloud SQL y otros El sistema Dataplex contiene entradas personalizadas.
• En Aspectos (etiquetas), se enumeran todos los aspectos disponibles para ti.
• En Proyecto, se enumeran todos los proyectos disponibles para ti.
• Alias de tipo que describen tipos de recursos, como bases de datos, conjuntos de datos, modelos, tablas, vistas, servicios y tipos personalizados.
• Los conjuntos de datos provienen de BigQuery.

Puedes combinar filtros de varias secciones para encontrar elementos que coincidan con al menos una condición de cada sección seleccionada. Los filtros que se seleccionan en una sola sección se evalúan mediante el operador lógico OR.

Por ejemplo, considera la combinación de filtros de la siguiente imagen (haz clic en la imagen para ampliarla). Se seleccionan estos filtros de búsqueda: sistemas BigQuery, alias de tipo table y view, aspectos My aspect type 1 y My aspect type 2, proyecto my-test-project, y conjuntos de datos test_bq_dataset.

Dataplex Catalog busca los siguientes recursos:

• Tablas de BigQuery en test_bq_dataset con el aspecto My aspect type 1
• Tablas de BigQuery en test_bq_dataset con el aspecto My aspect type 2
• Vistas de BigQuery en test_bq_dataset con el aspecto My aspect type 1
• Vistas de BigQuery en test_bq_dataset con el aspecto My aspect type 2

Filtrar por valor de aspecto

Los filtros Aspectos te permiten consultar recursos etiquetados con una plantilla específica. Puedes usar el menú Customize para definir mejor los resultados y filtrar por valores de aspecto específicos. Las condiciones del filtro de valores de aspecto dependen del tipo de datos de ese campo de aspecto. Por ejemplo, para los campos datetime y number, puedes especificar una fecha o un rango específicos.

Visibilidad del filtro

Se muestran los filtros Sistemas, Alias de tipo, Proyecto y Conjuntos de datos según la consulta actual en el campo Buscar.

Nota: Los conjuntos de filtros no se actualizan si cambias los filtros seleccionados. Por ejemplo, si seleccionas el sistema de BigQuery en la sección Sistemas, los filtros de tipo de datos no se limitan a los filtros específicos de BigQuery, como tabla, vista o conjunto de datos.

Antes de comenzar

Antes de buscar recursos de datos, haz lo siguiente.

Roles obligatorios

El alcance de los resultados de la búsqueda en Dataplex Catalog se define según tu rol. Si quieres buscar un recurso en Dataplex Catalog, debes tener permisos para acceder al recurso correspondiente en el sistema de origen. Para obtener más información, consulta la sección Alcance de la búsqueda de este documento.

Por ejemplo, si quieres buscar conjuntos de datos, tablas, vistas y modelos de BigQuery, necesitas los permisos respectivos para esas entradas. Para obtener más información, consulta Permisos de BigQuery. En la siguiente lista, se describen los permisos mínimos necesarios:

• A fin de buscar una tabla, necesitas el permiso bigquery.tables.get para esa tabla.
• Para buscar un conjunto de datos, necesitas el permiso bigquery.tables.get para ese conjunto de datos.
• Para buscar metadatos para un conjunto de datos o una tabla, necesitas el rol Visualizador de metadatos de BigQuery (roles/bigquery.metadataViewer).

Otro ejemplo, para buscar instancias, bases de datos, esquemas, tablas y vistas de Cloud SQL, necesitas los permisos respectivos en esas entradas. Para obtener más información, consulta Funciones y permisos de Cloud SQL.

Para buscar entradas personalizadas, necesitas el rol de visualizador de Dataplex Catalog (roles/dataplex.catalogViewer).

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Habilita la API

Habilita la API de Dataplex.

Habilita la API

Buscar recursos de datos

Console

Para buscar recursos de datos, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página Búsqueda de Dataplex.

   Ir a Búsqueda

2. En Elegir plataforma de búsqueda, selecciona Catálogo de Dataplex como modo de búsqueda.

   Seleccionar Dataplex Catalog te permite buscar en el almacenamiento de metadatos del catálogo de Dataplex. Seleccionar Data Catalog te permite buscar en el repositorio de Data Catalog, si ya eres usuario de Data Catalog.

3. En el campo de búsqueda, ingresa tu consulta o usa el panel Filtros para definir mejor los parámetros de búsqueda.

   Puedes agregar manualmente los siguientes filtros:

   • Agrega un filtro de proyecto: en Proyecto, haz clic en Agregar proyecto. Busca un proyecto específico, selecciónalo y, luego, haz clic en Abrir.
   • Agrega un filtro de tipos de aspectos: en Aspectos, haz clic en el menú Agregar más tipos de aspectos. Busca una plantilla específica, selecciónala y haz clic en OK.

4. Opcional: Además de los recursos disponibles, puedes buscar recursos de datos que estén disponibles de manera pública en Google Cloud si seleccionas Incluir conjuntos de datos públicos.

Usa los siguientes consejos para crear una búsqueda:

• Encierra tu expresión de búsqueda entre comillas si contiene espacios. Por ejemplo, "search terms".

• Puedes anteponer NOT a una palabra clave para que coincida con la negación lógica del filtro keyword:term. También puedes usar los operadores booleanos AND y OR para combinar expresiones de búsqueda. Los operadores AND, OR y NOT no distinguen entre mayúsculas y minúsculas.

  Por ejemplo, NOT column:term enumera todas las columnas, excepto las que coinciden con el término especificado. Para obtener una lista de palabras clave y otros términos que puedes usar en una expresión de búsqueda de Dataplex Catalog, consulta Sintaxis de búsqueda.

gcloud

Para buscar recursos de datos, usa el comando gcloud dataplex entries search.

REST

Para buscar recursos de datos, usa el método searchEntries.

Cómo ver los detalles de una entrada

Console

Usa la búsqueda de Dataplex Catalog para ver los detalles de una entrada.

1. En la consola de Google Cloud, ve a la página Búsqueda de Dataplex.

   Ir a Búsqueda

2. Selecciona Dataplex Catalog como el modo de búsqueda.

3. En el cuadro de búsqueda, ingresa el nombre de una entrada.

4. Haz clic en la entrada.

   Se abrirá la página de detalles de las entradas. La página incluye las siguientes secciones:

   • Detalles de entrada: Incluye información como el tipo de entrada, el sistema, la plataforma, el nombre completamente calificado, la hora de creación, la hora de la última modificación, la descripción y los administradores.
   • Overview: Una descripción general de la entrada (si está disponible).
   • Aspectos: Son los aspectos obligatorios y opcionales definidos para la entrada. Para obtener más información, consulta Categorías de aspectos.

gcloud

Para ver los detalles de una entrada, usa el comando gcloud dataplex entries lookup.

REST

Para ver los detalles de una entrada, usa el método lookupEntry.

¿Qué sigue?

• Comprender la sintaxis de búsqueda para Dataplex Catalog
• Obtén más información sobre Dataplex Catalog.
• Obtén información para enriquecer entradas con metadatos mediante aspectos.
• Obtén más información sobre cómo administrar entradas y transferir fuentes personalizadas.