Busca recursos de datos en Dataplex Catalog

Usa la búsqueda en Dataplex Catalog para buscar recursos de datos como conjuntos de datos de BigQuery, instancias de Cloud SQL y otros. Para ver más información sobre los recursos de Google Cloud que se admiten Dataplex Catalog, consulta Fuentes de Google Cloud compatibles.

Alcance de la búsqueda

Los resultados de la búsqueda en Dataplex Catalog respetan los permisos que que tienes sobre los recursos correspondientes en los sistemas de origen.

Por ejemplo, si tienes acceso de lectura de metadatos de BigQuery a un objeto, este aparecerá en tu búsqueda de Dataplex Catalog resultados. Si tienes acceso a una tabla de BigQuery, pero no a la conjunto de datos que contiene esa tabla, esta sigue apareciendo como se espera en el Búsqueda de Dataplex Catalog.

Los resultados de la búsqueda incluyen solo aquellos recursos que pertenecen a la misma VPC-SC perímetro como el proyecto bajo el cual se realiza la búsqueda. Cuando uses de la consola de Google Cloud, este es el proyecto que se selecciona en la la consola de Cloud.

Para obtener más información sobre los roles de IAM de Dataplex Catalog, consulta Funciones de IAM de Dataplex.

Limitaciones de recuperación en la búsqueda

Las búsquedas de Dataplex Catalog no garantizan la recuperación completa. Es posible que no se muestren resultados que coincidan con tu consulta, incluso en los resultados posteriores páginas. Además, los resultados devueltos (y no devueltos) pueden variar si los repites. en las búsquedas.

Tablas fragmentadas por fecha

Dataplex Catalog agrega tablas fragmentadas por fecha en una sola una entrada lógica. Esta entrada tiene el mismo esquema que la tabla fragmentada con la fecha reciente. La entrada deriva su nivel de acceso al conjunto de datos al que pertenece. La búsqueda de Dataplex Catalog muestra estas entradas lógicas solo si acceso al conjunto de datos que los contiene. Fragmentación de fecha individual tablas no son visibles en la búsqueda de Dataplex Catalog, incluso si están presentes en Dataplex Catalog y se pueden etiquetar.

Filtros

Los filtros te permiten acotar los resultados de la búsqueda. Todos los filtros se agrupan en secciones:

  • Sistemas como BigQuery, Cloud SQL y otros El El sistema de Dataplex contiene entradas personalizadas.
  • En Aspectos (etiquetas), se enumeran todos los aspectos disponibles para ti.
  • En Proyecto, se enumeran todos los proyectos disponibles para ti.
  • Alias de tipo que describen tipos de recursos, como bases de datos, conjuntos de datos, modelos, tablas, vistas, servicios y tipos personalizados.
  • Los conjuntos de datos provienen de BigQuery.

Puedes combinar filtros de varias secciones para encontrar recursos que coincidan en al menos una condición de cada sección seleccionada. Múltiples filtros que son seleccionados en una sola sección se evalúan usando el operador lógico OR.

Por ejemplo, considera la combinación de filtros de la siguiente imagen (haz clic en la imagen para ampliarlo). Se seleccionan estos filtros de búsqueda: sistemas BigQuery, alias de tipo table y view, aspectos My aspect type 1 y My aspect type 2, proyecto my-test-project y conjuntos de datos test_bq_dataset

Filtros de búsqueda que muestran varias selecciones.

Dataplex Catalog busca los siguientes recursos:

  • Tablas de BigQuery en test_bq_dataset con el aspecto My aspect type 1
  • Tablas de BigQuery en test_bq_dataset con el aspecto My aspect type 2
  • Vistas de BigQuery en test_bq_dataset con el aspecto My aspect type 1
  • Vistas de BigQuery en test_bq_dataset con el aspecto My aspect type 2

Filtrar por valor de aspecto

Los filtros Aspectos te permiten consultar por recursos etiquetados usando un plantilla. Puedes usar el menú Personalizar para definir aún mejor los resultados y filtrar por valores de aspecto específicos. Las condiciones del filtro de valor de aspecto dependen de el tipo de datos de ese campo de aspecto. Por ejemplo, para datetime y number puedes especificar una fecha o un período específicos.

Visibilidad del filtro

Los filtros Sistemas, Alias de tipo, Proyecto y Conjuntos de datos son los siguientes: que se muestran en función de la búsqueda actual en el campo Buscar.

Antes de comenzar

Antes de buscar recursos de datos, haz lo siguiente.

Roles obligatorios

En esta sección, se describen los roles y permisos necesarios para buscar datos y acceder a los resultados de la búsqueda.

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Roles obligatorios para buscar entradas

Para buscar entradas, necesitas al menos una de las Roles de IAM de Dataplex Catalog en el proyecto que se usa para la búsqueda. Los permisos en los resultados de la búsqueda son verificarse independientemente del proyecto seleccionado.

Roles obligatorios para acceder a los resultados de la búsqueda

El alcance de los resultados de la búsqueda en Dataplex Catalog se tu puesto. Para buscar un recurso en Dataplex Catalog, debes hacer lo siguiente: tienen permisos para acceder al recurso correspondiente en el sistema de origen. Para obtener más información, consulta la sección Alcance de la búsqueda. de este documento.

Por ejemplo, para buscar conjuntos de datos, tablas, vistas y necesitas los permisos respectivos para esas entradas. Para obtener más información, ver Permisos de BigQuery. En la siguiente lista, se describen los permisos mínimos necesarios:

  • Para buscar una tabla, necesitas el permiso bigquery.tables.get desde una tabla de particiones.
  • Para buscar un conjunto de datos, necesitas el permiso bigquery.tables.get de tu conjunto de datos.
  • Para buscar metadatos para un conjunto de datos o una tabla, necesitas BigQuery Rol de visualizador de metadatos (roles/bigquery.metadataViewer).

Como otro ejemplo, para buscar instancias, bases de datos, esquemas, tablas y vistas, necesitas los permisos respectivos en esas entradas. Para ver más información, consulta Funciones y permisos de Cloud SQL.

Para buscar entradas personalizadas, necesitas el rol Visualizador de Dataplex Catalog (roles/dataplex.catalogViewer).

Habilita la API

Habilita la API de Dataplex.

Habilita la API

Buscar recursos de datos

Console

Para buscar recursos de datos, sigue estos pasos:

  1. En la consola de Google Cloud, ve a la página Búsqueda de Dataplex.

    Ir a Búsqueda

  2. En Elegir plataforma de búsqueda, selecciona Catálogo de Dataplex como modo de búsqueda.

    Si seleccionas Dataplex Catalog puedes buscar en el Almacenamiento de metadatos de Dataplex Catalog. Selección Data Catalog te permite buscar en tu Data Catalog si ya eres usuario de Data Catalog.

  3. En el campo de búsqueda, ingresa tu consulta o usa el panel Filtros para definir mejor los parámetros de búsqueda.

    Puedes agregar manualmente los siguientes filtros:

    • Agrega un filtro de proyecto: en Proyecto, haz clic en Agregar proyecto. Búsqueda de un proyecto específico, selecciónalo y haz clic en Open.
    • Agrega un filtro de tipos de aspectos: en Aspectos, haz clic en el Menú Agregar más tipos de aspecto. Busque una plantilla específica, seleccione y haz clic en OK.

  4. Opcional: Además de los recursos disponibles, puedes buscar recursos de datos que están disponibles públicamente en Google Cloud seleccionando Incluye conjuntos de datos públicos.

Usa los siguientes consejos para crear una búsqueda:

  • Encierra tu expresión de búsqueda entre comillas si contiene espacios. Por ejemplo, "search terms".

  • Puedes anteponer NOT a una palabra clave para que coincida con la negación lógica del keyword:term. También puedes usar los operadores booleanos AND y OR para combinar expresiones de búsqueda. Los operadores AND, OR y NOT no se distingue mayúsculas de minúsculas.

    Por ejemplo, NOT column:term enumera todas las columnas, excepto las que coinciden el término especificado. Para obtener una lista de palabras clave y otros términos que puede usar en una expresión de búsqueda de Dataplex Catalog, consulta Sintaxis de búsqueda:

gcloud

Para buscar recursos de datos, usa el Comando gcloud dataplex entries search

REST

Para buscar recursos de datos, usa el método searchEntries.

Cómo ver los detalles de una entrada

Console

Usa la búsqueda de Dataplex Catalog para ver los detalles de una entrada.

  1. En la consola de Google Cloud, ve a la página Búsqueda de Dataplex.

    Ir a Búsqueda

  2. Selecciona Dataplex Catalog como el modo de búsqueda.

  3. En el cuadro de búsqueda, ingresa el nombre de una entrada.

  4. Haz clic en la entrada.

    Se abrirá la página de detalles de las entradas. La página incluye las siguientes secciones:

    • Detalles de las entradas: Incluyen información como el tipo de entrada, el sistema, nombre completamente calificado, hora de creación, hora de la última modificación, la descripción y los administradores.
    • Overview: Una descripción general de la entrada (si está disponible).
    • Aspectos: Son los aspectos obligatorios y opcionales definidos para la entrada. Para obtener más información, consulta Categorías de aspectos.

gcloud

Para ver los detalles de una entrada, usa el Comando gcloud dataplex entries lookup

REST

Para ver los detalles de una entrada, usa el Método lookupEntry.

¿Qué sigue?