Usa el almacén de atributos de Dataplex

En este documento, se describe cómo usar el Dataplex Attribute Store.

El almacén de atributos de Dataplex es una infraestructura extensible que te permite especificar comportamientos relacionados con las políticas en los recursos asociados. Los administradores de Dataplex pueden usar el almacén de atributos para definir cómo se deben tratar ciertos datos asociando datos con atributos.

Con Attribute Store, puedes agregar varios atributos a un objeto, como una columna. El Attribute Store combina los comportamientos de todos los atributos asociados con un objeto y los presenta como una sola política en el recurso subyacente.

Puedes establecer atributos en los conjuntos de datos publicados. Los conjuntos de datos publicados se refieren a los conjuntos de datos que crea Dataplex a partir de las tablas descubiertas en un activo de bucket.

Se admiten los siguientes comportamientos de políticas:

  • Especificaciones de recursos: Especifica el acceso a un recurso, como una tabla.
  • Especificaciones de columna: Especifica el acceso a una columna en una tabla de BigQuery.

Puedes usar el almacén de atributos para definir una jerarquía de atributos llamada taxonomía. En una taxonomía, un atributo secundario hereda especificaciones de la jerarquía de atributos superior. Las especificaciones del elemento superior y del secundario se combinan en una lista única, que se propaga al recurso.

Puedes usar el Dataplex Attribute Store para realizar las siguientes acciones:

  • Crear taxonomías
  • Crea atributos y organízalos en una jerarquía.
  • Asocia uno o más atributos a las tablas.
  • Asocia uno o más atributos a las columnas.

Terminología

En esta sección, se describe la terminología que se usa en este documento.

Taxonomía de atributos

Una taxonomía de datos es una jerarquía de atributos. En una taxonomía, los atributos de los nodos superiores permiten que los atributos debajo de ellos (atributos secundarios) hereden y agreguen las especificaciones de comportamiento de los atributos superiores a los suyos.

Por ejemplo: Si un atributo llamado PII tiene una especificación de recursos group-a@company.com y un atributo secundario de PII llamado Social Security numbers tiene una especificación de recursos group-b@company.com, las especificaciones de recursos aplicadas a las políticas en las que se asocia el atributo Social Security numbers serán group-a@company.com y group-b@company.com.

Cuando defines un atributo, puedes elegir si es superior o secundario. Cuando definas un atributo secundario, debes especificar su atributo superior.

Especificaciones de las columnas

Las especificaciones de comportamiento de las columnas. Especifica las personas o los grupos que tienen acceso de lectura a las columnas. Si asocias un atributo que contiene una especificación de columna con la columna de una tabla, se agrega una etiqueta de política de columna de BigQuery a esa columna.

Especificaciones de los recursos

Los permisos de las personas o los grupos para acceder a los recursos (tablas) Si asocias un atributo con la especificación de recursos, Dataplex propaga los roles de IAM a los usuarios especificados para acceder a las tablas asociadas con el atributo.

Antes de comenzar

Limitaciones

Dataplex propaga las políticas de especificación de columnas como etiquetas de política de BigQuery. BigQuery tiene una limitación de una etiqueta de política por columna. Si ya existe una etiqueta de política en una columna, Dataplex muestra un error en el registro de gobernanza en la pestaña Administrar.

Cuotas

A continuación, se muestran las cuotas y los límites que se aplican al Dataplex Attribute Store:

Límite Predeterminado
Cantidad máxima de taxonomías en una región 100
Cantidad máxima de atributos en todas las taxonomías de una región 10,000
Cantidad máxima de atributos que se pueden asociar con un recurso (tabla) 50
Cantidad máxima de atributos que se pueden asociar con una columna 100
Profundidad máxima por árbol de atributos de datos en una taxonomía de atributos 4

Roles obligatorios

Para obtener los permisos que necesitas para usar el almacén de atributos de Dataplex, pídele a tu administrador que te otorgue los siguientes roles de IAM en el proyecto:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para usar el almacén de atributos de Dataplex. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para usar el almacén de atributos de Dataplex:

  • Administra taxonomías y atributos:
    • dataplex.datataxonomies.*
    • dataplex.dataattributes.* (except dataplex.dataattributes.configureResourceAccess and dataplex.dataattributes.configureDataAccess)
  • Consulta las vinculaciones asociadas a los recursos y atributos:
    • dataplex.datataxonomies.get
    • dataplex.datataxonomies.list
    • dataplex.dataattributes.get
    • dataplex.dataattributes.list
    • dataplex.dataattributebindings.get
    • dataplex.dataattributebindings.list
  • Crear y administrar recursos de vinculación en un proyecto: dataplex.dataattributebindings.*
  • Administra las especificaciones de acceso a los recursos y los datos:
    • dataplex.datataxonomies.configureResourceAccess
    • dataplex.datataxonomies.configureDataAccess

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Ejemplos de casos de uso

Considera una empresa llamada ACME que tiene tres tipos de datos:

  • Red datos sensibles
  • Green datos restringidos, pero menos sensibles
  • Datos sin categorizar

El administrador de Dataplex de ACME crea el siguiente conjunto de atributos:

  • Atributo: Red

    • Especificaciones de la columna: secrets_team@acme con permiso de lectura
    • Especificaciones de recursos: secrets_team@acme y tenured_employees@acme con permiso de lectura

  • Atributo: Green

    • Especificaciones de la columna: full_time_employees@acme con permiso de lectura
    • Especificaciones de recursos: full_time_employees@acme con permiso de edición

Esta imagen contiene las especificaciones de la columna y el recurso para los atributos Rojo y Verde.

Los atributos Red y Green controlan el comportamiento de acceso a los recursos (tablas) según los atributos asociados con las tablas y sus columnas.

Considera una tabla con las siguientes columnas:

  • ID
  • Código postal
  • Nombre
  • Dirección
  • $Value

Caso de uso 1: Asocia el mismo atributo con la tabla y una columna

En esta imagen, se muestra el atributo Rojo asociado con la tabla y la columna Nombre.

Si asocias el atributo Red con la tabla y su columna Nombre, Dataplex propaga las siguientes políticas:

  • Los empleados de secrets_team@acme y tenured_employees@acme pueden leer la tabla, ver sus metadatos y consultarla.
  • Solo los empleados de secrets_team@acme pueden consultar la columna Nombre, ya que está protegida adicionalmente por las especificaciones de la columna.

Caso de uso 2: Combina atributos

Considera las siguientes asociaciones:

  • Asocia los atributos Red y Green con la tabla.
  • Asocia los atributos Red y Green con la columna Nombre.
  • Asocia el atributo Red con la columna $Value.

En esta imagen, se muestran los atributos Rojo y Verde asociados con la tabla y la columna Nombre, y el atributo Rojo asociado con la columna $value.

En este caso, Dataplex propaga las siguientes políticas:

  • Los empleados de secrets_team@acme, tenured_employees@acme y full_time_employees@acme pueden acceder a la tabla. Esto se debe a que Dataplex combina las especificaciones de recursos de los atributos Red y Green.
  • Los empleados de secrets_team@acme y full_time_employees@acme pueden acceder a la columna Nombre. Esto se debe a que Dataplex combina las especificaciones de columnas de los atributos Red y Green.
  • Solo los empleados de secrets_team@acme pueden consultar la columna $Value.

Caso de uso 3: Organiza los atributos en una jerarquía

Para organizar los atributos en una jerarquía, especifica los subtipos de atributos. Considera el siguiente conjunto de atributos:

Atributo superior 1:
Atributo: PII

  • Especificaciones de las columnas: secrets_team@acme
  • Especificaciones de recursos: secrets_team@acme y tenured_employees@acme

Atributo secundario de PII:
Atributo: Email

  • Especificaciones de las columnas: email_comm@acme
  • Especificaciones de los recursos: email_comm@acme

Atributo superior 2:
Atributo: Financial

  • Especificaciones de las columnas: full_time_employees@acme
  • Especificaciones de los recursos: full_time_employees@acme

En esta imagen, se muestra un ejemplo de jerarquía de atributos.

Considera las siguientes asociaciones:

  • Asocia los atributos Email y Financial con la tabla.
  • Asocia los atributos Email y Financial con la columna Nombre.
  • Asocia el atributo PII con la columna $Value.

En esta imagen, se muestra cómo los atributos de una jerarquía se pueden asociar con la tabla y las columnas.

En este caso, Dataplex propaga las siguientes políticas:

  • Los empleados de secrets_team@acme, tenured_employees@acme, full_time_employees@acme y email_comm@acme pueden acceder a la tabla. Esto se debe a que Dataplex combina las especificaciones de recursos de los atributos Financial y Email, y el atributo Email hereda las especificaciones del atributo PII.
  • Los empleados de secrets_team@acme, email_comm@acme y full_time_employees@acme pueden acceder a la columna Nombre. Esto se debe a que Dataplex combina las especificaciones de las columnas de los atributos Financial y Email.
  • Solo los empleados de secrets_team@acme pueden consultar la columna $Value.

Configura los atributos

Para crear un atributo, primero debes crear una taxonomía y, luego, los atributos de datos superior e inferior.

Crea una taxonomía de atributos de datos

  1. En la consola de Google Cloud, ve a la página Attribute Store de Dataplex.

    Ir a Attributes Store

  2. Haz clic en Crear taxonomía.

  3. Ingresa el nombre de la taxonomía, el ID y la descripción.

  4. Selecciona una región.

  5. Haz clic en Enviar.

    La taxonomía nueva aparecerá en la página Taxonomías de datos.

Crea un atributo superior

  1. En la consola de Google Cloud, ve a la página Attribute Store de Dataplex.

    Ir a Attributes Store

  2. En la página Taxonomías de datos, haz clic en la taxonomía en la que deseas crear el atributo superior.

  3. En la página Detalles de la taxonomía, haz clic en Agregar atributo de datos.

  4. Selecciona Crear atributo de datos superior.

  5. Ingresa un nombre, un ID y una descripción para el atributo superior.

  6. Opcional: Configura las especificaciones de los atributos.

    1. Configura las especificaciones de los recursos:

      1. Haz clic en Administrar permisos en Recurso.
      2. Haz clic en Agregar.
      3. En el campo Principales nuevas, ingresa la dirección de correo electrónico de una persona o un grupo que necesite acceso al recurso.
      4. Selecciona los roles necesarios y haz clic en Guardar.
      5. Haz clic en Guardar.

    2. Configura las especificaciones de las columnas:

      1. Haz clic en Administrar permisos en Columna.
      2. Haz clic en Agregar.
      3. En el campo Principales nuevas, ingresa la dirección de correo electrónico de una persona o un grupo que necesite acceso a la columna.
      4. Selecciona los roles necesarios y haz clic en Guardar.
      5. Haz clic en Guardar.

  7. Haz clic en Crear.

Crea un atributo secundario

  1. En la consola de Google Cloud, ve a la página Attribute Store de Dataplex.

    Ir a Attributes Store

  2. En la página Taxonomías de datos, haz clic en la taxonomía en la que deseas crear el atributo secundario.

  3. En la página Detalles de la taxonomía, haz clic en Agregar atributo de datos.

  4. Selecciona Crear atributo de datos secundario.

  5. Selecciona un atributo de datos superior para el atributo secundario que crearás.

  6. Ingresa un nombre, un ID y una descripción para el atributo secundario.

  7. Opcional: Configura las especificaciones de los atributos.

    1. Configura las especificaciones de los recursos:

      1. Haz clic en Administrar permisos en Recurso.
      2. Haz clic en Agregar.
      3. En el campo Principales nuevas, ingresa la dirección de correo electrónico de una persona o un grupo que necesite acceso al recurso.
      4. Selecciona los roles necesarios y haz clic en Guardar.
      5. Haz clic en Guardar.

    2. Configura las especificaciones de las columnas:

      1. Haz clic en Administrar permisos en Columna.
      2. Haz clic en Agregar.
      3. En el campo Principales nuevas, ingresa la dirección de correo electrónico de una persona o un grupo que necesite acceso a la columna.
      4. Selecciona los roles necesarios y haz clic en Guardar.
      5. Haz clic en Guardar.

  8. Haz clic en Crear.

Actualiza los recursos de Attribute Store

Actualiza los detalles de la taxonomía

  1. En la consola de Google Cloud, ve a la página Attribute Store de Dataplex.

    Ir a Attributes Store

  2. Haz clic en la taxonomía que quieres actualizar.

  3. Haz clic en Editar.

  4. Edita el nombre y la descripción de la taxonomía según sea necesario.

  5. Haz clic en Enviar.

Actualiza los detalles del atributo

  1. En la consola de Google Cloud, ve a la página Attribute Store de Dataplex.

    Ir a Attributes Store

  2. Haz clic en la taxonomía que contiene el atributo que deseas actualizar.

  3. Haz clic en el atributo que deseas actualizar.

  4. Para actualizar el nombre y la descripción del atributo, haz clic en Editar.

    1. Si actualizas un atributo superior, tienes la opción de actualizarlo a un atributo secundario y viceversa. Selecciona las opciones según corresponda.
    2. Edita el nombre del atributo y su descripción según sea necesario.
    3. Haz clic en Actualizar.

  5. Para actualizar las especificaciones de recursos del atributo, haz clic en Editar en Especificaciones de recursos.

    1. Para agregar un nuevo principal, sigue estos pasos:

      1. Haz clic en Agregar.
      2. En el campo Principales nuevas, ingresa la dirección de correo electrónico de una persona o un grupo que necesite acceso al recurso.
      3. Selecciona los roles necesarios.
      4. Haz clic en Guardar.

    2. Para actualizar un director existente, sigue estos pasos:

      1. En el principal que quieres actualizar, haz clic en Editar.
      2. Selecciona los roles necesarios.
      3. Haz clic en Guardar.

    3. Para quitar un principal existente, sigue estos pasos:

      1. Selecciona la principal que quieres quitar.
      2. Haz clic en Quitar.

  6. Para actualizar las especificaciones de columna del atributo, haz clic en Editar en Especificaciones de columna.

    1. Para agregar un nuevo principal, sigue estos pasos:

      1. Haz clic en Agregar.
      2. En el campo Principales nuevas, ingresa la dirección de correo electrónico de una persona o un grupo que necesite acceso a la columna.
      3. Selecciona los roles necesarios.
      4. Haz clic en Guardar.

    2. Para actualizar un director existente, sigue estos pasos:

      1. En el principal que quieres actualizar, haz clic en Editar.
      2. Selecciona los roles necesarios.
      3. Haz clic en Guardar.

    3. Para quitar un principal existente, sigue estos pasos:

      1. Selecciona la principal que quieres quitar.
      2. Haz clic en Quitar.

Asocia atributos con recursos

Asocia un atributo a una tabla

  1. En la consola de Google Cloud, ve a la página Attribute Store de Dataplex.

    Ir a Attributes Store

  2. Haz clic en la taxonomía que contiene el atributo.

  3. Haz clic en el atributo con el que deseas asociar una tabla.

  4. Haz clic en la pestaña Recursos.

  5. Haz clic en Agregar recursos.

  6. Selecciona una tabla de la lista.

  7. Haz clic en Seleccionar.

Asocia un atributo con una columna

  1. En la consola de Google Cloud, ve a la página Búsqueda de Data Catalog.

    Ir a Búsqueda

  2. Busca y selecciona la tabla para la que deseas asociar un atributo con una columna.

  3. Haz clic en la pestaña Esquema y etiquetas de columnas.

  4. En la columna con la que deseas asociar un atributo, en Etiquetas de política, haz clic en Agregar.

  5. Selecciona la taxonomía que contiene el atributo.

  6. Selecciona el atributo.

  7. Haz clic en Adjuntar.

¿Qué sigue?