Usar el almacén de atributos de Dataplex

En este documento, se muestra cómo usar el Dataplex Attribute Store.

El almacén de atributos de Dataplex es una infraestructura extensible que te permite especificar comportamientos relacionados con las políticas en los recursos asociados. Los administradores de Dataplex pueden usar el Almacén de atributos para definir cómo hay que tratar ciertos datos asociando datos con atributos.

El beneficio clave de aprovechar el Almacén de atributos es que puedes agregar varios atributos a un objeto, como una columna. El almacén de atributos combina los comportamientos de todos los atributos asociados con un objeto y los presenta como una sola política en el recurso subyacente.

Puedes establecer atributos en los conjuntos de datos publicados. Los conjuntos de datos publicados se refieren a los conjuntos de datos que crea Dataplex a partir de las tablas descubiertas en un activo de bucket.

Se admiten los siguientes comportamientos de políticas:

  • Especificaciones del recurso: Especifica el acceso a un recurso, como una tabla.
  • Especificaciones de columna: Especifica el acceso a una columna en una tabla de BigQuery.

Puedes usar el almacén de atributos para definir una jerarquía de atributos llamada taxonomía. En una taxonomía, un atributo secundario hereda especificaciones de la jerarquía de atributos superior. Especificaciones de la unidad superior que la secundaria fusiona en una list, que se propaga al recurso.

Puedes usar el Almacén de atributos de Dataplex para hacer lo siguiente:

  • Crear taxonomías
  • Crear atributos y organizarlos en una jerarquía
  • Asocia uno o más atributos a las tablas.
  • Asocia uno o más atributos a las columnas.

Terminología

En este documento, se usa la siguiente terminología:

Taxonomía de atributos

Una taxonomía de datos es una jerarquía de atributos. En una taxonomía, los atributos de los nodos superiores permiten que los atributos debajo de ellos (atributos secundarios) hereden y agreguen las especificaciones de comportamiento de los atributos superiores a los suyos.

Por ejemplo, si un atributo llamado PII tiene una especificación de recursos group-a@company.com y un atributo secundario de PII llamado Social Security numbers tiene una especificación de recursos group-b@company.com, las especificaciones de recursos aplicadas a las políticas en las que se asocia el atributo Social Security numbers serán group-a@company.com y group-b@company.com.

Cuando defines un atributo, puedes elegir si es superior o secundario. Cuando definas un atributo secundario, debes especificar su atributo superior.

Especificaciones de la columna

Las especificaciones de comportamiento para las columnas. Especifica las personas o los grupos que tienen acceso de lectura a las columnas. Si asocias un atributo que contiene una especificación de columna con la columna de una tabla, se agrega una etiqueta de política de columna de BigQuery a esa columna.

Especificaciones de los recursos

Los permisos de las personas o los grupos para acceder a los recursos (tablas) Si asocias un atributo con una especificación de recursos, Dataplex propaga los roles de IAM a los usuarios especificados para acceder a las tablas asociadas con el atributo.

Antes de comenzar

Limitaciones

Dataplex propaga las políticas de especificación de columnas como Etiquetas de política de BigQuery. BigQuery tiene una limitación de una etiqueta de política por columna. Si ya existe una etiqueta de política en una columna, Dataplex arroja un error en la administración Inicie sesión en la pestaña Administrar.

Cuotas

A continuación, se indican las cuotas y los límites que se aplican a Dataplex. Almacén de atributos:

Límite Predeterminado
Cantidad máxima de taxonomías en una región 100
Cantidad máxima de atributos en todas las taxonomías de una región 10,000
Cantidad máxima de atributos que se pueden asociar con un recurso (tabla) 50
Cantidad máxima de atributos que se pueden asociar con una columna 100
Profundidad máxima por árbol de atributos de datos en una taxonomía de atributos 4

Roles y permisos requeridos

A fin de obtener los permisos que necesitas para usar el almacén de atributos de Dataplex, solicita a tu administrador que te otorgue el los siguientes roles de IAM en el proyecto:

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso a proyectos, carpetas y organizaciones.

Estos roles predefinidos contienen los permisos necesarios para usar el almacén de atributos de Dataplex. Para ver los permisos exactos que son necesarios, expande la sección Permisos requeridos:

Permisos necesarios

Se requieren los siguientes permisos para usar el almacén de atributos de Dataplex:

  • Administra taxonomías y atributos:
    • dataplex.datataxonomies.*
    • dataplex.dataattributes.* (except dataplex.dataattributes.configureResourceAccess and dataplex.dataattributes.configureDataAccess)
  • Consulta las vinculaciones asociadas a los recursos y atributos:
    • dataplex.datataxonomies.get
    • dataplex.datataxonomies.list
    • dataplex.dataattributes.get
    • dataplex.dataattributes.list
    • dataplex.dataattributebindings.get
    • dataplex.dataattributebindings.list
  • Crea y administra recursos de vinculación en un proyecto: dataplex.dataattributebindings.*
  • Administra las especificaciones de acceso a los recursos y datos:
    • dataplex.datataxonomies.configureResourceAccess
    • dataplex.datataxonomies.configureDataAccess

También puedes obtener estos permisos con roles personalizados o con otros roles predefinidos.

Ejemplos de casos de uso

Piensa en una empresa llamada ACME que tiene tres tipos de datos:

  • Red datos sensibles.
  • Datos de Green que están restringidos, pero menos sensibles.
  • Datos sin categorizar

El administrador de Dataplex de ACME crea el siguiente conjunto de atributos:

  • Atributo: Red

    • Especificaciones de la columna: secrets_team@acme con permiso de lectura
    • Especificaciones de recursos: secrets_team@acme y tenured_employees@acme con permiso de lectura
  • Atributo: Green

    • Especificaciones de la columna: full_time_employees@acme con permiso de lectura
    • Especificaciones del recurso: full_time_employees@acme con permiso de edición

Esta imagen contiene las especificaciones de la columna y los recursos para los atributos Rojo y Verde.

Los atributos Red y Green controlan el comportamiento de acceso a los recursos (tablas) según los atributos asociados con las tablas y sus columnas.

Considera una tabla con las siguientes columnas:

  • ID
  • Código postal
  • Nombre
  • Dirección
  • $Value

Caso de uso 1: Asocia el mismo atributo con la tabla y una columna

Esta imagen muestra el atributo Rojo que se asocia con la tabla y el nombre de la columna.

Si asocias el atributo Red con la tabla y su columna Name, haz lo siguiente: Luego, Dataplex propaga las siguientes políticas:

  • Los empleados de secrets_team@acme y tenured_employees@acme pueden leer la una tabla, ver sus metadatos y consultarlos.
  • Solo los empleados de secrets_team@acme pueden consultar la columna Nombre, ya que está protegida adicionalmente por las especificaciones de la columna.

Caso de uso 2: Combina atributos

Considera las siguientes asociaciones:

  • Asocia los atributos Red y Green a la tabla.
  • Asocia los atributos Red y Green con la columna Nombre.
  • Asocia el atributo Red con la columna $Value.

Esta imagen muestra los atributos Rojo y Verde que se asocian con la tabla y el nombre de la columna, y el atributo Rojo que se asocia con la columna $value

En este caso, Dataplex propaga las siguientes políticas:

  • Los empleados de secrets_team@acme, tenured_employees@acme y full_time_employees@acme pueden acceder a la tabla. Esto se debe a que Dataplex combina las especificaciones de recursos de los atributos Red y Green.
  • Los empleados de secrets_team@acme y full_time_employees@acme pueden acceder a la columna Nombre. Esto se debe a que Dataplex fusiona las especificaciones de columna de los atributos Red y Green.
  • Solo los empleados de secrets_team@acme pueden hacer consultas en la columna $Value.

Caso de uso 3: Cómo organizar atributos en una jerarquía

Puedes organizar los atributos en una jerarquía especificando los subtipos de atributos. Considera el siguiente conjunto de atributos:

Atributo superior 1:
Atributo: PII

  • Especificaciones de la columna: secrets_team@acme
  • Especificaciones de los recursos: secrets_team@acme y tenured_employees@acme

Atributo secundario de PII:
Atributo: Email

  • Especificaciones de las columnas: email_comm@acme
  • Especificaciones de los recursos: email_comm@acme

Atributo superior 2:
Atributo: Financial

  • Especificaciones de las columnas: full_time_employees@acme
  • Especificaciones de los recursos: full_time_employees@acme

En esta imagen, se muestra un ejemplo de jerarquía de atributos.

Considera las siguientes asociaciones:

  • Asocia los atributos Email y Financial con la tabla.
  • Asocia los atributos Email y Financial con la columna Nombre.
  • Asocia el atributo PII con la columna $Value.

En esta imagen, se muestra cómo los atributos de una jerarquía se pueden asociar con la tabla y las columnas.

En este caso, Dataplex propaga las siguientes políticas:

  • Los empleados de secrets_team@acme, tenured_employees@acme, full_time_employees@acme y email_comm@acme pueden acceder a la tabla. Esta es porque Dataplex fusiona las especificaciones de recursos de los atributos Financial y Email, y el atributo Email hereda el especificaciones del atributo PII.
  • Los empleados de secrets_team@acme, email_comm@acme y full_time_employees@acme pueden acceder a la columna Nombre. Esto se debe a que Dataplex combina las especificaciones de columna del los atributos Financial y Email.
  • Solo los empleados de secrets_team@acme pueden hacer consultas en la columna $Value.

Configura los atributos

Para crear un atributo, primero debes crear una taxonomía y, luego, crear la atributos de datos superiores y secundarios.

Crea una taxonomía de atributos de datos

  1. En la consola de Google Cloud, ve a la página Almacén de atributos de Dataplex.

    Ir a Attributes Store

  2. Haz clic en Crear taxonomía.

  3. Ingresa el Nombre de la taxonomía, el ID y la Descripción.

  4. Selecciona una región.

  5. Haz clic en Enviar.

    La taxonomía nueva aparece en la página Taxonomías de datos.

Crea un atributo superior

  1. En la consola de Google Cloud, ve a la página Almacén de atributos de Dataplex.

    Ir al Almacén de atributos

  2. En la página Taxonomías de datos, haz clic en la taxonomía en la que deseas crea el atributo superior.

  3. En la página Detalles de taxonomía, haz clic en Agregar atributo de datos.

  4. Selecciona Crear atributo de datos superior.

  5. Ingresa un nombre, un ID y una descripción para el atributo superior.

  6. Opcional: Configura las especificaciones de los atributos.

    1. Configura las especificaciones de los recursos:

      1. Haz clic en Administrar permisos en Recurso.
      2. Haz clic en Agregar.
      3. En el campo Principales nuevas, ingresa la dirección de correo electrónico de una persona o un grupo que necesite acceso al recurso.
      4. Selecciona los roles necesarios y haz clic en Guardar.
      5. Haz clic en Guardar.
    2. Configura las especificaciones de columna:

      1. Haz clic en Administrar permisos para la Columna.
      2. Haz clic en Agregar.
      3. En el campo Principales nuevas, ingresa la dirección de correo electrónico de una persona. o un grupo que necesita acceso a la columna.
      4. Selecciona los Roles necesarios y haz clic en Guardar.
      5. Haz clic en Guardar.
  7. Haz clic en Crear.

Crea un atributo secundario

  1. En la consola de Google Cloud, ve a la página Attribute Store de Dataplex.

    Ir a Attributes Store

  2. En la página Taxonomías de datos, haz clic en la taxonomía en la que deseas crea el atributo secundario.

  3. En la página Detalles de la taxonomía, haz clic en Agregar atributo de datos.

  4. Selecciona Crear atributo de datos secundario.

  5. Selecciona un Atributo de datos superior para el atributo secundario que crearás.

  6. Ingresa un nombre, un ID y una descripción para el atributo secundario.

  7. Opcional: Configura las especificaciones de los atributos.

    1. Configura las especificaciones de los recursos:

      1. Haz clic en Administrar permisos en Recurso.
      2. Haz clic en Agregar.
      3. En el campo Principales nuevas, ingresa la dirección de correo electrónico de una persona o un grupo que necesite acceso al recurso.
      4. Selecciona los roles necesarios y haz clic en Guardar.
      5. Haz clic en Guardar.
    2. Configura las especificaciones de columna:

      1. Haz clic en Administrar permisos para la Columna.
      2. Haz clic en Agregar.
      3. En el campo Principales nuevas, ingresa la dirección de correo electrónico de una persona. o un grupo que necesita acceso a la columna.
      4. Selecciona los Roles necesarios y haz clic en Guardar.
      5. Haz clic en Guardar.
  8. Haz clic en Crear.

Actualiza los recursos del almacén de atributos

Actualiza los detalles de la taxonomía

  1. En la consola de Google Cloud, ve a la página Attribute Store de Dataplex.

    Ir al Almacén de atributos

  2. Haz clic en la taxonomía que deseas actualizar.

  3. Haz clic en Edit.

  4. Edita el nombre de la taxonomía y su descripción según sea necesario.

  5. Haz clic en Enviar.

Actualiza los detalles del atributo

  1. En la consola de Google Cloud, ve a la página Attribute Store de Dataplex.

    Ir a Attributes Store

  2. Haz clic en la taxonomía que contiene el atributo que deseas actualizar.

  3. Haz clic en el atributo que deseas actualizar.

  4. Para actualizar el nombre del atributo y la descripción, haz clic en Editar.

    1. Si actualizas un atributo superior, tienes la opción de hacerlo. a un atributo secundario y viceversa. Selecciona las opciones según corresponda.
    2. Edita el nombre del atributo y su descripción según sea necesario.
    3. Haz clic en Actualizar.
  5. Para actualizar las especificaciones de recursos del atributo, haz clic en para Especificaciones de recursos

    1. Para agregar un nuevo principal, sigue estos pasos:

      1. Haz clic en Agregar.
      2. En el campo Principales nuevas, ingresa la dirección de correo electrónico de una persona o un grupo que necesita acceso al recurso.
      3. Selecciona los roles necesarios.
      4. Haz clic en Guardar.
    2. Para actualizar un director existente, sigue estos pasos:

      1. Haz clic en para la principal que quieres actualizar.
      2. Selecciona los Roles necesarios.
      3. Haz clic en Guardar.
    3. Para quitar un principal existente, sigue estos pasos:

      1. Selecciona la principal que deseas quitar.
      2. Haz clic en Quitar.
  6. Para actualizar las especificaciones de columna del atributo, haz clic en para Especificaciones de columna

    1. Para agregar un nuevo principal, sigue estos pasos:

      1. Haz clic en Agregar.
      2. En el campo Principales nuevas, ingresa la dirección de correo electrónico de una persona o un grupo que necesite acceso a la columna.
      3. Selecciona los roles necesarios.
      4. Haz clic en Guardar.
    2. Para actualizar un director existente, sigue estos pasos:

      1. Haz clic en para la principal que quieres actualizar.
      2. Selecciona los Roles necesarios.
      3. Haz clic en Guardar.
    3. Para quitar un principal existente, sigue estos pasos:

      1. Selecciona la principal que deseas quitar.
      2. Haz clic en Quitar.

Asocia atributos con recursos

Cómo asociar un atributo a una tabla

  1. En la consola de Google Cloud, ve a la página Almacén de atributos de Dataplex.

    Ir al Almacén de atributos

  2. Haz clic en la taxonomía que contiene el atributo.

  3. Haz clic en el atributo con el que deseas asociar una tabla.

  4. Haz clic en la pestaña Recursos.

  5. Haz clic en Agregar recursos.

  6. Selecciona una tabla de la lista.

  7. Haz clic en Seleccionar.

Asocia un atributo con una columna

  1. En la consola de Google Cloud, ve a la página Almacén de atributos de Dataplex.

    Ir a Attributes Store

  2. Busca y selecciona la tabla para la que deseas asociar un atributo a una columna.

  3. Haz clic en la pestaña Esquema y etiquetas de columnas.

  4. Haz clic en en Etiquetas de política para con la que deseas asociar un atributo.

  5. Selecciona la taxonomía que contiene el atributo.

  6. Selecciona el atributo.

  7. Haz clic en Adjuntar.

¿Qué sigue?