Administrar recursos de datos con Data Catalog

Data Catalog es una función de Dataplex que cataloga los metadatos de los recursos de Bigtable de forma automática. Esta función ayuda a tu organización a buscar y administrar tus recursos de datos de Bigtable.

Los metadatos se sincronizan de forma automática de Bigtable a Data Catalog para los siguientes recursos de Bigtable:

  • Instancias
  • Clústeres
  • Tablas, incluidos los detalles de la familia de columnas

Data Catalog es un servicio de administración de metadatos completamente administrado dentro de Dataplex. Proporciona una vista unificada y mecanismos de etiquetado para metadatos técnicos y empresariales. Para obtener más información sobre Data Catalog y por qué deberías usarlo, consulta Qué es Data Catalog.

Beneficios de usar Data Catalog con Bigtable

La información de Data Catalog sobre tus datos puede facilitar el análisis, la reutilización, el desarrollo de aplicaciones y la administración de datos.

Puedes buscar entradas en Data Catalog por nombre de recurso o por detalles. Por ejemplo, puedes buscar el nombre de una instancia para encontrar una entrada de una instancia o una familia de columnas para encontrar la entrada de una tabla. También puedes usar una búsqueda por facetas y aplicar filtros para acotar la búsqueda. Para obtener más información, consulta Busca y visualiza recursos de datos con Data Catalog.

Etiquetar los recursos de datos puede ayudarte a comprender y catalogar los datos disponibles en tus tablas de Bigtable para que otros usuarios de Data Catalog puedan descubrirlos y buscarlos más, y como parte de tu conjunto de datos más grande. Usa etiquetas para agregar tus propios metadatos a los metadatos catalogados y, luego, puedes usarlas para realizar búsquedas.

Primeros pasos con Data Catalog

A fin de comenzar a usar Data Catalog para administrar tus recursos de datos de Bigtable, completa las siguientes tareas:

  1. Si eres nuevo en Data Catalog, habilita la API.

  2. Otorga funciones de IAM a las principales que requieren acceso a las entradas de Bigtable en Data Catalog.

  3. Consulta Cómo buscar con Data Catalog para aprender a buscar recursos de datos.

  4. Consulta la sintaxis de búsqueda de Data Catalog para comprender cómo encontrar los metadatos.

  5. Lee los conceptos para etiquetar entradas de Data Catalog en Etiquetas y plantillas de etiquetas.

Formas de buscar metadatos de Bigtable

Puedes buscar metadatos de Bigtable sincronizados con Data Catalog.

Además de los calificadores estándares, puedes buscar recursos de Bigtable con lo siguiente:

  • Instancia

    • Nombre de la instancia de Bigtable
    • ID de instancia de Bigtable
    • Ubicación del clúster
    • ID del clúster

  • Tabla

    • ID de la tabla
    • Nombre de la familia de columnas
    • Nombre de la instancia de Bigtable
    • ID de instancia de Bigtable

Roles obligatorios

La visualización, el etiquetado y la búsqueda de recursos de Bigtable en Data Catalog tienen diferentes requisitos de permisos. En general, otorga a las principales de tu organización la función mínima requerida para realizar una tarea.

Permiso para ver las etiquetas públicas y privadas

A fin de obtener los permisos que necesitas para ver las etiquetas públicas y privadas en los recursos de Bigtable, pídele a tu administrador que te otorgue las siguientes funciones de IAM:

Estas funciones predefinidas contienen los permisos necesarios para ver las etiquetas públicas y privadas. Los permisos exactos que se requieren son los siguientes:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • datacatalog.tagTemplates.getTag

Permiso para buscar recursos de Bigtable

A fin de obtener los permisos que necesitas para buscar recursos de Bigtable en Data Catalog, pídele a tu administrador que te otorgue las siguientes funciones de IAM:

Estas funciones predefinidas contienen los permisos necesarios para buscar recursos de Bigtable. Los permisos exactos que se requieren son los siguientes:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Permiso para adjuntar etiquetas a los recursos de Bigtable

A fin de obtener los permisos que necesitas para adjuntar etiquetas a los recursos de Bigtable en Data Catalog, pídele a tu administrador que te otorgue las siguientes funciones de IAM:

Estas funciones predefinidas contienen los permisos necesarios para agregar etiquetas públicas y privadas. Los permisos exactos que se requieren son los siguientes:

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • datacatalog.tagTemplates.use
  • datacatalog.entries.updateTag

Crea un rol personalizado (opcional)

Puedes crear una función personalizada para otorgarla a los usuarios que necesitan acceso completo a todos los metadatos de Bigtable en Data Catalog en tu organización o proyecto. Luego puedes convertir cualquier usuario o cuenta de servicio que necesite acceso en una principal del rol personalizado. Para obtener más información sobre las funciones personalizadas, consulta Funciones y permisos.

Elige un nombre significativo para la función, como Editor de Data Catalog de Bigtable y, luego, asigna solo las principales que necesitan acceso a la función. Para obtener instrucciones de configuración, consulta Crea una función personalizada.

Otorga los siguientes permisos al rol personalizado:

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • datacatalog.tagTemplates.getTag
  • datacatalog.tagTemplates.use

Si deseas obtener detalles sobre los permisos de Data Catalog, consulta Funciones para buscar recursos de Google Cloud. Para obtener descripciones de los permisos de Bigtable, consulta Permisos.

Restricciones conocidas

En la siguiente sección, se enumeran algunas restricciones que debes tener en cuenta antes de usar Data Catalog para administrar los metadatos de Bigtable.

Restricciones de ubicación

Si tu organización configuró restricciones de ubicación, es posible que las entradas de metadatos de los recursos de Bigtable no se sincronicen con Data Catalog. Data Catalog retiene todas las entradas creadas antes de aplicar las restricciones de ubicación.

Para permitir que Data Catalog cargue recursos, recomendamos agregar la multirregión global a tu política de ubicación.

Excepción del nombre de la familia de columnas

La API de Data Catalog rechaza las solicitudes en las que el nombre de la familia de columnas de tu solicitud incluya un punto (.). Por ejemplo, si el nombre de la familia de columnas es personal.info.

¿Qué sigue?