Busca recursos de datos en Dataplex Catalog

Usa la búsqueda en Dataplex Catalog para buscar recursos de datos como conjuntos de datos de BigQuery, instancias de Cloud SQL y otros. Para ver más información sobre los recursos de Google Cloud que se admiten Dataplex Catalog, consulta Fuentes de Google Cloud compatibles.

Nota: En este documento, se describe la búsqueda de Dataplex Catalog. Para obtener información sobre la búsqueda de Data Catalog, consulta Busca y visualiza recursos de datos con Data Catalog y Dataplex Catalog en comparación con Data Catalog.

Alcance de la búsqueda

Los resultados de la búsqueda en Dataplex Catalog respetan los permisos que que tienes sobre los recursos correspondientes en los sistemas de origen.

Por ejemplo, si tienes acceso de lectura de metadatos de BigQuery a un objeto, ese objeto aparecerá en los resultados de la búsqueda de Dataplex Catalog. Si tienes acceso a una tabla de BigQuery, pero no a la conjunto de datos que contiene esa tabla, esta sigue apareciendo como se espera en el Búsqueda de Dataplex Catalog.

Los resultados de la búsqueda incluyen solo aquellos recursos que pertenecen a la misma VPC-SC perímetro como el proyecto bajo el cual se realiza la búsqueda. Cuando uses de la consola de Google Cloud, este es el proyecto que se selecciona en la la consola de Cloud.

Para ampliar el alcance de los resultados de la búsqueda más allá de los recursos dentro del perímetro de los Controles del servicio de VPC de tu proyecto, usa las reglas de entrada y salida de los Controles del servicio de VPC. Estas reglas facilitan el intercambio de datos privados y eficiente en toda tu organización. Puedes configurar reglas de entrada y salida con la consola de Google Cloud o a través de archivos JSON o YAML. Consulta el siguiente ejemplo de YAML y la documentación de los Controles del servicio de VPC para adaptar la regla a tus requisitos específicos.

egressPolicies:
  - egressFrom:
      identityType: ANY_USER_ACCOUNT
    egressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids under which the search is performed.
      resources:
      - projects/SEARCH_PROJECT_ID
ingressPolicies:
  - ingressFrom:
      identityType: ANY_USER_ACCOUNT
      sources:
      - accessLevel: '*'
    ingressTo:
      # Specify which resources should be present in the search results. In this example,
      # BigQuery.
      operations:
      - methodSelectors:
        - method: '*'
        serviceName: bigquery.googleapis.com
      # Specify project ids to expose in search results.
      resources:
      - projects/INGRESS_PROJECT_ID

Para obtener más información sobre los roles de IAM de Dataplex Catalog, consulta Funciones de IAM de Dataplex.

Nota: La propagación de permisos a la búsqueda podría retrasarse si el cambio afecta una gran cantidad de recursos o principales.

Limitaciones de recuperación en la búsqueda

Las búsquedas de Dataplex Catalog no garantizan la recuperación completa. Es posible que no se muestren resultados que coincidan con tu consulta, incluso en los resultados posteriores páginas. Además, los resultados que se muestran (y no se muestran) pueden variar si repites las consultas de búsqueda.

Filtros

Los filtros te permiten acotar los resultados de la búsqueda. Todos los filtros se agrupan en las siguientes secciones:

• Sistemas como BigQuery, Cloud SQL y otros El sistema de Dataplex contiene entradas personalizadas.
• En Aspectos (etiquetas), se enumeran todos los aspectos disponibles para ti.
• En Proyecto, se enumeran todos los proyectos disponibles para ti.
• Alias de tipo que describen tipos de recursos, como bases de datos, conjuntos de datos, modelos, tablas, vistas, servicios y tipos personalizados.
• Los conjuntos de datos provienen de BigQuery.

Puedes combinar filtros de varias secciones para encontrar recursos que coincidan en al menos una condición de cada sección seleccionada. Los varios filtros que se seleccionan dentro de una sola sección se evalúan con el operador lógico OR.

Por ejemplo, considera la combinación de filtros en la siguiente imagen (haz clic en la imagen para agrandarla). Se seleccionaron los siguientes filtros de búsqueda: sistemas BigQuery, alias de tipo table y view, aspectos My aspect type 1 y My aspect type 2, proyecto my-test-project y conjuntos de datos test_bq_dataset.

Dataplex Catalog busca los siguientes recursos:

• Tablas de BigQuery en test_bq_dataset con aspecto My aspect type 1
• Tablas de BigQuery en test_bq_dataset con aspecto My aspect type 2
• Vistas de BigQuery en test_bq_dataset con el aspecto My aspect type 1
• Vistas de BigQuery en test_bq_dataset con aspecto My aspect type 2

Cómo filtrar por valor de aspecto

Los filtros Aspectos te permiten consultar por recursos etiquetados usando una función plantilla. Puedes usar el menú Personalizar para definir aún mejor los resultados y filtrar por valores de aspecto específicos. Las condiciones del filtro de valor de aspecto dependen de el tipo de datos de ese campo de aspecto. Por ejemplo, para los campos datetime y number, puedes especificar una fecha específica o un rango.

Visibilidad de los filtros

Los filtros Sistemas, Alias de tipo, Proyecto y Conjuntos de datos son los siguientes: que se muestran en función de la búsqueda actual en el campo Buscar.

Nota: Los conjuntos de filtros no se actualizan si cambias los filtros seleccionados. Por ejemplo: si seleccionas el sistema BigQuery en la sección Sistemas, los datos los filtros de tipo no se limitan a los específicos de BigQuery como una tabla, una vista o un conjunto de datos.

Antes de comenzar

Antes de buscar recursos de datos, haz lo siguiente:

Roles obligatorios

En esta sección, se describen los roles y los permisos necesarios para buscar recursos de datos y acceder a los resultados de la búsqueda.

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Roles obligatorios para buscar entradas

Para buscar entradas, necesitas al menos una de las Roles de IAM de Dataplex Catalog en el proyecto que se usa para la búsqueda. Los permisos en los resultados de la búsqueda son verificarse independientemente del proyecto seleccionado.

Roles requeridos para acceder a los resultados de la búsqueda

El alcance de los resultados de la búsqueda en Dataplex Catalog se define según tu rol. Para buscar un activo en Dataplex Catalog, debes tener permisos para acceder al recurso correspondiente en el sistema de origen. Para obtener más información, consulta la sección Alcance de la búsqueda de este documento.

Por ejemplo, para buscar conjuntos de datos, tablas, vistas y necesitas los permisos respectivos para esas entradas. Para obtener más información, consulta Permisos de BigQuery. En la siguiente lista, se describen los permisos mínimos necesarios:

• Para buscar una tabla, necesitas el permiso bigquery.tables.get desde una tabla de particiones.
• Para buscar un conjunto de datos, necesitas el permiso bigquery.datasets.get de tu conjunto de datos.
• Para buscar metadatos para un conjunto de datos o una tabla, necesitas BigQuery Rol de visualizador de metadatos (roles/bigquery.metadataViewer).

A modo de ejemplo, para buscar instancias, bases de datos, esquemas, tablas y vistas de Cloud SQL, necesitas los permisos correspondientes en esas entradas. Para ver más información, consulta Funciones y permisos de Cloud SQL.

Para buscar entradas personalizadas, necesitas el rol de Visualizador de Dataplex Catalog (roles/dataplex.catalogViewer).

Habilita la API

Enable the Dataplex API.

Enable the API

Buscar recursos de datos

Console

Para buscar recursos de datos, sigue estos pasos:

1. En la consola de Google Cloud, ve a la página Búsqueda de Dataplex.

   Ir a Búsqueda

2. En Elige una plataforma de búsqueda, selecciona Dataplex Catalog como el modo de búsqueda.

   Si seleccionas Dataplex Catalog, puedes realizar búsquedas en el almacenamiento de metadatos de Dataplex Catalog. Si ya eres usuario de Data Catalog, seleccionar Data Catalog te permite realizar búsquedas en tu repositorio de Data Catalog.

3. En el campo de búsqueda, ingresa tu consulta o usa el panel Filtros para definir mejor los parámetros de búsqueda.

   Puedes agregar manualmente los siguientes filtros:

   • Agrega un filtro de proyectos: En Project, haz clic en Add project. Busca un proyecto específico, selecciónalo y, luego, haz clic en Abrir.
   • Agrega un filtro de tipos de aspecto: en Aspectos, haz clic en el Menú Agregar más tipos de aspecto. Busca una plantilla específica, selecciónala y, luego, haz clic en Aceptar.

4. Opcional: Además de los recursos disponibles para ti, puedes seleccionar Incluir conjuntos de datos públicos para buscar recursos de datos disponibles de forma pública en Google Cloud.

Usa las siguientes sugerencias para crear una búsqueda:

• Encierra tu expresión de búsqueda entre comillas si contiene espacios. Por ejemplo, "search terms".

• Puedes anteponer NOT a una palabra clave para que coincida con la negación lógica del keyword:term. También puedes usar los operadores booleanos AND y OR para combinar las expresiones de búsqueda. Los operadores AND, OR y NOT no distinguen mayúsculas de minúsculas.

  Por ejemplo, NOT column:term enumera todas las columnas, excepto las que coinciden el término especificado. Para obtener una lista de palabras clave y otros términos que puedes usar en una expresión de búsqueda de Dataplex Catalog, consulta Sintaxis de búsqueda:

gcloud

Para buscar recursos de datos, usa el comando gcloud dataplex entries search.

REST

Para buscar recursos de datos, usa el método searchEntries.

Cómo ver los detalles de una entrada

Console

Usa la búsqueda de Dataplex Catalog para ver los detalles de una entrada.

1. En la consola de Google Cloud, ve a la página Búsqueda de Dataplex.

   Ir a Búsqueda

2. Selecciona Dataplex Catalog como modo de búsqueda.

3. En el cuadro de búsqueda, ingresa el nombre de una entrada.

4. Haz clic en la entrada.

   Se abrirá la página de detalles de la entrada. La página incluye las siguientes secciones:

   • Detalles de las entradas: Incluyen información como el tipo de entrada, el sistema, nombre completamente calificado, hora de creación, hora de la última modificación, la descripción y los administradores.
   • Descripción general: Una descripción general de la entrada, si está disponible.
   • Aspectos: Son los aspectos obligatorios y opcionales definidos para la entrada. Para obtener más información, consulta Categorías de aspectos.

gcloud

Para ver los detalles de una entrada, usa el Comando gcloud dataplex entries lookup

REST

Para ver los detalles de una entrada, usa el Método lookupEntry.

¿Qué sigue?

• Comprender la sintaxis de búsqueda para Dataplex Catalog
• Obtén más información sobre Dataplex Catalog.
• Obtén más información para enriquecer entradas con metadatos usando aspectos.
• Obtén más información sobre cómo administrar entradas y transferir fuentes personalizadas.