Usar o repositório de atributos do Dataplex

Visualização

Esse recurso está sujeito aos "Termos de ofertas pré-GA" na seção "Termos de Serviço gerais" dos Termos específicos de serviço. Os recursos pré-GA estão disponíveis "no estado em que se encontram" e podem ter suporte limitado. Para mais informações, consulte as descrições da fase de lançamento.

Neste documento, mostramos como usar o armazenamento de atributos do Dataplex.

O armazenamento de atributos do Dataplex é uma infraestrutura extensível que permite especificar comportamentos relacionados a políticas nos recursos associados. Os administradores do Dataplex podem usar o Attribute Store para definir como determinados dados precisam ser tratados, associando dados a atributos.

A principal vantagem de utilizar o Attribute Store é que é possível adicionar vários atributos a um objeto, como uma coluna. A API Attribute Store mescla os comportamentos de todos os atributos associados a um objeto e os apresenta como uma única política no recurso subjacente.

É possível definir atributos para conjuntos de dados publicados. Os conjuntos de dados publicados se referem aos conjuntos de dados criados pelo Dataplex a partir das tabelas descobertas em um recurso de bucket.

Há suporte para os seguintes comportamentos de política:

• Especificações de recursos: especifica o acesso a um recurso, como uma tabela.
• Especificações de coluna: especifica o acesso a uma coluna em uma tabela do BigQuery.

É possível usar o Attribute Store para definir uma hierarquia de atributos chamada taxonomia. Em uma taxonomia, um atributo filho herda as especificações da hierarquia de atributos pai. As especificações do pai do filho são mescladas em uma lista unificada, que é propagada para o recurso.

Você pode usar o armazenamento de atributos do Dataplex para fazer o seguinte:

• Criar taxonomias.
• Criar atributos e organizá-los em uma hierarquia.
• Associe um ou mais atributos às tabelas.
• Associe um ou mais atributos às colunas.

Terminologia

A terminologia a seguir é usada neste documento:

Taxonomia de atributos

Uma taxonomia de dados é uma hierarquia de atributos. Em uma taxonomia, os atributos nos nós pais permitem que os atributos abaixo deles (atributos filhos) herdem e adicionem as especificações de comportamento desses atributos.

Por exemplo: se um atributo chamado PII tiver uma especificação de recurso [e-mail] e um atributo filho de PII chamado Social Security numbers tiver uma especificação de recurso [e-mail], as especificações de recurso aplicadas às políticas em que o atributo Social Security numbers está associado serão [e-mail] e [e-mail].

Ao definir um atributo, é possível escolher se ele é pai ou filho. Ao definir um atributo filho, você precisa especificar o atributo pai.

Especificações de coluna

As especificações de comportamento das colunas. Ela especifica pessoas ou grupos que têm acesso de leitor às colunas. Se você associar um atributo que contém uma especificação de coluna à coluna de uma tabela, uma tag de política de colunas do BigQuery será adicionada a essa coluna.

Especificações dos recursos

As permissões para pessoas ou grupos acessarem recursos (tabelas). Se você associar um atributo à especificação de recursos, o Dataplex propagará os papéis do IAM para os usuários especificados para acessar as tabelas associadas ao atributo.

Antes de começar

Limitações

O Dataplex propaga as políticas de especificação de colunas como tags de política do BigQuery. O BigQuery tem um limite de uma tag de política por coluna. Se uma tag de política já existir em uma coluna, o Dataplex vai gerar um erro no registro de governança na guia Gerenciar.

Cotas

Veja a seguir as cotas e os limites que se aplicam ao Dataplex Attribute Store:

Limite	Padrão
Número máximo de taxonomias em uma região	100
Número máximo de atributos em todas as taxonomias em uma região	10.000
Número máximo de atributos que podem ser associados a um recurso (tabela)	50
Número máximo de atributos que podem ser associados a uma coluna	100
Profundidade máxima por árvore de atributo de dados em uma taxonomia de atributo	4

Papéis e permissões necessárias

Para receber as permissões necessárias para usar o armazenamento de atributos do Dataplex, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:

• Gerencie taxonomias e atributos: Administrador de taxonomia do Dataplex (roles/dataplex.taxonomyAdmin)
• Veja vinculações associadas a recursos e atributos: Leitor de taxonomia do Dataplex (roles/dataplex.taxonomyViewer)
• Crie e gerencie recursos de vinculação em um projeto:
  • Administrador de vinculação do Dataplex (roles/dataplex.bindingAdmin)
  • Administrador do Dataplex (roles/dataplex.admin no recurso da zona)
• Gerencie as especificações de acesso a dados e recursos: Administrador de segurança do Dataplex (roles/dataplex.securityAdmin)

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Esses papéis predefinidos contêm as permissões necessárias para usar o repositório de atributos do Dataplex. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para usar o armazenamento de atributos do Dataplex:

• Gerencie taxonomias e atributos:
  • dataplex.datataxonomies.*
  • dataplex.dataattributes.* (except dataplex.dataattributes.configureResourceAccess and dataplex.dataattributes.configureDataAccess)
• Confira as vinculações associadas a recursos e atributos:
  • dataplex.datataxonomies.get
  • dataplex.datataxonomies.list
  • dataplex.dataattributes.get
  • dataplex.dataattributes.list
  • dataplex.dataattributebindings.get
  • dataplex.dataattributebindings.list
• Criar e gerenciar recursos de vinculação em um projeto: dataplex.dataattributebindings.*
• Gerencie as especificações de acesso a recursos e dados:
  • dataplex.datataxonomies.configureResourceAccess
  • dataplex.datataxonomies.configureDataAccess

Também é possível conseguir essas permissões com papéis personalizados ou outros papéis predefinidos.

Exemplos de casos de uso

Considere uma empresa chamada ACME que tem três tipos de dados:

• Dados confidenciais de Red.
• Green: dados restritos, mas menos sensíveis.
• Dados sem classificação.

O administrador do Dataplex da ACME cria o seguinte conjunto de atributos:

• Atributo: Red

  • Especificações da coluna: secrets_team@acme com permissão de leitura
  • Especificações de recursos: secrets_team@acme e tenured_employees@acme com permissão de leitura

• Atributo: Green

  • Especificações da coluna: full_time_employees@acme com permissão de leitura
  • Especificações do recurso: full_time_employees@acme com permissão para edição

Os atributos Red e Green controlam o comportamento de acesso aos recursos (tabelas) dependendo dos atributos associados às tabelas e às colunas delas.

Considere uma tabela com as seguintes colunas:

• ID
• CEP
• Nome
• Endereço
• $Value (em inglês)

Caso de uso 1: associar o mesmo atributo à tabela e a uma coluna

Se você associar o atributo Red à tabela e à coluna Name, o Dataplex propagará as seguintes políticas:

• Os funcionários em secrets_team@acme e tenured_employees@acme podem ler a tabela, ver os metadados e consultá-la.
• Apenas os funcionários em secrets_team@acme podem consultar a coluna Name, porque ela está mais protegida pelas especificações da coluna.

Caso de uso 2: combinar atributos

Considere as seguintes associações:

• Associe os atributos Red e Green à tabela.
• Associe os atributos Red e Green à coluna Nome.
• Associe o atributo Red à coluna $Value.

Nesse caso, o Dataplex propaga as seguintes políticas:

• Os funcionários em secrets_team@acme, tenured_employees@acme e full_time_employees@acme podem acessar a tabela. Isso ocorre porque o Dataplex mescla as especificações de recursos dos atributos Red e Green.
• Os funcionários em secrets_team@acme e full_time_employees@acme podem acessar a coluna Nome. Isso ocorre porque o Dataplex mescla as especificações de coluna dos atributos Red e Green.
• Somente os funcionários em secrets_team@acme podem consultar a coluna $Value.

Caso de uso 3: organizar atributos em uma hierarquia

É possível organizar atributos em uma hierarquia especificando os subtipos de atributos. Considere o seguinte conjunto de atributos:

Atributo pai 1:
Atributo: PII

• Especificações de coluna: secrets_team@acme
• Especificações dos recursos: secrets_team@acme e tenured_employees@acme

Atributo filho de PII:
Atributo: Email

• Especificações de coluna: email_comm@acme
• Especificações dos recursos: email_comm@acme

Atributo pai 2:
Atributo: Financial

• Especificações de coluna: full_time_employees@acme
• Especificações dos recursos: full_time_employees@acme

Considere as seguintes associações:

• Associe os atributos Email e Financial à tabela.
• Associe os atributos Email e Financial à coluna Nome.
• Associe o atributo PII à coluna $Value.

Nesse caso, o Dataplex propaga as seguintes políticas:

• Os funcionários em secrets_team@acme, tenured_employees@acme, full_time_employees@acme e email_comm@acme podem acessar a tabela. Isso acontece porque o Dataplex mescla as especificações de recursos dos atributos Financial e Email, e o atributo Email herda as especificações do atributo PII.
• Os funcionários em secrets_team@acme, email_comm@acme, full_time_employees@acme podem acessar a coluna Nome. Isso ocorre porque o Dataplex mescla as especificações de coluna dos atributos Financial e Email.
• Somente os funcionários em secrets_team@acme podem consultar a coluna $Value.

Configurar atributos

Para criar um atributo, primeiro crie uma taxonomia e depois os atributos de dados pai e filho.

Criar uma taxonomia de atributos de dados

1. No console do Google Cloud, acesse a página Repositório de atributos do Dataplex.

   Acessar a loja de atributos

2. Clique em Criar taxonomia.

3. Insira o Nome da taxonomia, o ID e a Descrição.

4. Selecione uma região.

5. Clique em Enviar.

   A nova taxonomia aparece na página Taxonomias de dados.

Criar um atributo pai

1. No console do Google Cloud, acesse a página Repositório de atributos do Dataplex.

   Acessar a loja de atributos

2. Na página Taxonomia de dados, clique na taxonomia em que você quer criar o atributo pai.

3. Na página Detalhes da taxonomia, clique em Adicionar atributo de dados.

4. Selecione Criar atributo de dados pai.

5. Digite um nome, um ID e uma descrição para o atributo pai.

6. Opcional: configure as especificações do atributo.

   1. Configure as especificações dos recursos:

      1. Clique em Gerenciar permissões para Recurso.
      2. Clique em Adicionar.
      3. No campo Novos principais, digite o endereço de e-mail de uma pessoa ou um grupo que precisa de acesso ao recurso.
      4. Selecione os Papéis e clique em Salvar.
      5. Clique em Save.

   2. Configure as especificações da coluna:

      1. Clique em Gerenciar permissões para Coluna.
      2. Clique em Adicionar.
      3. No campo Novos principais, insira o endereço de e-mail de uma pessoa ou um grupo que precisa de acesso à coluna.
      4. Selecione os Papéis e clique em Salvar.
      5. Clique em Save.

7. Clique em Criar.

Criar um atributo filho

1. No console do Google Cloud, acesse a página Repositório de atributos do Dataplex.

   Acessar a loja de atributos

2. Na página Taxonomia de dados, clique na taxonomia em que você quer criar o atributo filho.

3. Na página Detalhes da taxonomia, clique em Adicionar atributo de dados.

4. Selecione Criar atributo de dados filho.

5. Selecione um Atributo de dados pai para o atributo filho que você está criando.

6. Insira um nome, um ID e uma descrição para o atributo filho.

7. Opcional: configure as especificações do atributo.

   1. Configure as especificações dos recursos:

      1. Clique em Gerenciar permissões para Recurso.
      2. Clique em Adicionar.
      3. No campo Novos principais, digite o endereço de e-mail de uma pessoa ou um grupo que precisa de acesso ao recurso.
      4. Selecione os Papéis e clique em Salvar.
      5. Clique em Save.

   2. Configure as especificações da coluna:

      1. Clique em Gerenciar permissões para Coluna.
      2. Clique em Adicionar.
      3. No campo Novos principais, insira o endereço de e-mail de uma pessoa ou um grupo que precisa de acesso à coluna.
      4. Selecione os Papéis e clique em Salvar.
      5. Clique em Save.

8. Clique em Criar.

Atualizar recursos do Attribute Store

Atualizar detalhes da taxonomia

1. No console do Google Cloud, acesse a página Repositório de atributos do Dataplex.

   Acessar a loja de atributos

2. Clique na taxonomia que você quer atualizar.

3. Clique em Editar.

4. Edite o nome e a descrição da taxonomia conforme necessário.

5. Clique em Enviar.

Atualizar detalhes do atributo

1. No console do Google Cloud, acesse a página Repositório de atributos do Dataplex.

   Acessar a loja de atributos

2. Clique na taxonomia com o atributo que você quer atualizar.

3. Clique no atributo que você quer atualizar.

4. Para atualizar o nome e a descrição do atributo, clique em Editar.

   1. Se você estiver atualizando um atributo pai, terá a opção de atualizá-lo para um atributo filho e vice-versa. Selecione as opções corretamente.
   2. Edite o nome e a descrição do atributo conforme necessário.
   3. Clique em Atualizar.

5. Para atualizar as especificações de recursos para o atributo, clique em para Especificações de recursos.

   1. Para adicionar um novo principal, siga estas etapas:

      1. Clique em Adicionar.
      2. No campo Novos principais, digite o endereço de e-mail de uma pessoa ou grupo que precisa de acesso ao recurso.
      3. Selecione os Papéis necessários.
      4. Clique em Save.

   2. Para atualizar um principal atual, siga estas etapas:

      1. Clique em na principal que você quer atualizar.
      2. Selecione os Papéis necessários.
      3. Clique em Save.

   3. Para remover um principal atual, siga estas etapas:

      1. Selecione a principal que você quer remover.
      2. Clique em Remover.

6. Para atualizar as especificações de coluna para o atributo, clique em para Especificações de coluna.

   1. Para adicionar um novo principal, siga estas etapas:

      1. Clique em Adicionar.
      2. No campo Novos principais, digite o endereço de e-mail de uma pessoa ou grupo que precisa de acesso à coluna.
      3. Selecione os Papéis necessários.
      4. Clique em Save.

   2. Para atualizar um principal atual, siga estas etapas:

      1. Clique em na principal que você quer atualizar.
      2. Selecione os Papéis necessários.
      3. Clique em Save.

   3. Para remover um principal atual, siga estas etapas:

      1. Selecione a principal que você quer remover.
      2. Clique em Remover.

Associar atributos a recursos

Associar um atributo a uma tabela

1. No console do Google Cloud, acesse a página Repositório de atributos do Dataplex.

   Acessar a loja de atributos

2. Clique na taxonomia que contém o atributo.

3. Clique no atributo ao qual você quer associar uma tabela.

4. Clique na guia Recursos.

5. Clique em Adicionar recursos.

6. Selecione uma tabela da lista.

7. Clique em Selecionar.

Associar um atributo a uma coluna

1. No console do Google Cloud, acesse a página Repositório de atributos do Dataplex.

   Acessar a loja de atributos

2. Pesquise e selecione a tabela à qual você quer associar um atributo a uma coluna.

3. Clique na guia Tags de esquema e colunas.

4. Clique em em Tags de política na coluna à qual você quer associar um atributo.

5. Selecione a taxonomia que contém o atributo.

6. Selecione o atributo.

7. Clique em Anexar.

A seguir

• Saiba mais sobre a segurança do Dataplex.
• Saiba mais sobre o gerenciamento de políticas no Dataplex.
• Saiba mais sobre os papéis de IAM do Dataplex.