Administra recursos de datos con Data Catalog

Data Catalog es una función de Dataplex que cataloga automáticamente los metadatos de los recursos de Bigtable. Esta función ayuda a tu organización a buscar y administrar tus activos de datos de Bigtable.

Los metadatos se sincronizan automáticamente de Bigtable a Data Catalog para los siguientes recursos de Bigtable:

  • Instancias
  • Clústeres
  • Tablas, incluidos los detalles de la familia de columnas

Data Catalog es un servicio de administración de metadatos completamente administrado dentro de Dataplex. Proporciona una vista unificada y mecanismos de etiquetado para los metadatos técnicos y de negocios. Para obtener más información sobre Data Catalog y por qué deberías usarlo, consulta Qué es Data Catalog.

Beneficios de usar Data Catalog con Bigtable

La información de Data Catalog sobre tus datos puede ayudar a facilitar el análisis, la reutilización de datos, el desarrollo de aplicaciones y la administración de datos.

Puedes buscar entradas en Data Catalog por nombre de recurso o por detalles. Por ejemplo, puedes buscar un nombre de instancia para encontrar la entrada de una instancia o buscar una familia de columnas para encontrar la entrada de una tabla. También puedes usar una búsqueda facetada y aplicar filtros para acotar tu búsqueda. Para obtener más información, consulta Busca y visualiza recursos de datos con Data Catalog.

Etiquetar los recursos de datos puede ayudarte a comprender y catalogar los datos disponibles en tus tablas de Bigtable para que otros usuarios de Data Catalog puedan descubrirlos y buscarlos más fácilmente, y como parte de tu conjunto de datos más grande. Usas etiquetas para agregar tus propios metadatos a los catalogados y, luego, puedes usar esas etiquetas para realizar búsquedas.

Primeros pasos con Data Catalog

Para comenzar a usar Data Catalog y administrar tus recursos de datos de Bigtable, completa las siguientes tareas:

  1. Si es la primera vez que usas Data Catalog, habilita la API.

  2. Otorga roles de IAM a las principales que requieran acceso a las entradas de Bigtable en Data Catalog.

  3. Para obtener información sobre cómo buscar recursos de datos, consulta Cómo buscar con Data Catalog.

  4. Revisa la sintaxis de búsqueda de Data Catalog para comprender cómo encontrar tus metadatos.

  5. Lee los conceptos sobre el etiquetado de entradas de Data Catalog en Etiquetas y plantillas de etiquetas.

Formas de buscar metadatos de Bigtable

Puedes buscar metadatos sincronizados de Bigtable con Data Catalog.

Además de los calificadores estándar, puedes buscar recursos de Bigtable con lo siguiente:

  • Instancia

    • Nombre de la instancia de Bigtable
    • ID de la instancia de Bigtable
    • Ubicación del clúster
    • ID del clúster

  • Tabla

    • ID de la tabla
    • Nombre de la familia de columnas
    • Nombre de la instancia de Bigtable
    • ID de la instancia de Bigtable

Roles obligatorios

La visualización, el etiquetado y la búsqueda de recursos de Bigtable en Data Catalog tienen requisitos de permisos diferentes. En general, otorga a los principales de tu organización el rol mínimo necesario para realizar una tarea.

Permiso para ver las etiquetas públicas y privadas

Para obtener los permisos que necesitas para ver las etiquetas públicas y privadas en los recursos de Bigtable, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Estos roles predefinidos contienen los permisos necesarios para ver las etiquetas públicas y privadas. Los permisos exactos que se requieren son los siguientes:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • datacatalog.tagTemplates.getTag

Permiso para buscar recursos de Bigtable

Para obtener los permisos que necesitas para buscar recursos de Bigtable en Data Catalog, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Estos roles predefinidos contienen los permisos necesarios para buscar recursos de Bigtable. Los permisos exactos que se requieren son los siguientes:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Permiso para adjuntar etiquetas a los recursos de Bigtable

Para obtener los permisos que necesitas para adjuntar etiquetas a los recursos de Bigtable en Data Catalog, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Estos roles predefinidos contienen los permisos necesarios para agregar etiquetas públicas y privadas. Los permisos exactos que se requieren son los siguientes:

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • datacatalog.tagTemplates.use
  • datacatalog.entries.updateTag

Crea un rol personalizado (opcional)

Puedes crear un rol personalizado para otorgar a los usuarios que requieran acceso completo a todos los metadatos de Bigtable en Data Catalog en tu proyecto o organización. Luego, puedes hacer que cualquier usuario o cuenta de servicio que necesite acceso sea un principal del rol personalizado. Para obtener más información sobre los roles personalizados, consulta Roles y permisos.

Elige un nombre significativo para el rol, como Editor del catálogo de datos de Bigtable, y, luego, asigna solo a las principales que necesiten acceso al rol. Para obtener instrucciones de configuración, consulta Crea un rol personalizado.

Otorga los siguientes permisos al rol personalizado:

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • datacatalog.tagTemplates.getTag
  • datacatalog.tagTemplates.use

Para obtener detalles sobre los permisos de Data Catalog, consulta Roles para buscar recursos de Google Cloud. Para obtener descripciones de los permisos de Bigtable, consulta Permisos.

Restricciones conocidas

En la siguiente sección, se enumeran algunas restricciones que debes tener en cuenta antes de usar Data Catalog para administrar tus metadatos de Bigtable.

Restricciones de ubicación

Si tu organización configuró restricciones de ubicación, es posible que las entradas de metadatos de tus recursos de Bigtable no se sincronicen con Data Catalog. Data Catalog retiene las entradas creadas antes de aplicar las restricciones de ubicación.

Para permitir que Data Catalog cargue recursos, te recomendamos que agregues la región multirregional global a tu política de ubicación.

Excepción de nombre de familia de columnas

La API de Data Catalog rechaza las solicitudes en las que el nombre de la familia de columnas de tu solicitud incluye un punto (.). Por ejemplo, si el nombre de la familia de columnas es personal.info.

¿Qué sigue?