Este documento mostra como usar o Attribute Store do Dataplex.
O Dataplex Attribute Store é uma infraestrutura extensível que permite especificar comportamentos relacionados a políticas nos recursos associados. Os administradores do Dataplex podem usar o Attribute Store para definir como determinados dados precisam ser tratados, associando dados a atributos.
O principal benefício do Attribute Store é que você pode adicionar vários atributos a um objeto, como uma coluna. A Attribute Store mescla os comportamentos de todos os atributos associados a um objeto e a apresenta como uma única política no recurso subjacente.
É possível definir atributos para conjuntos de dados publicados. Os conjuntos de dados publicados referem-se aos conjuntos de dados criados pelo Dataplex a partir das tabelas descobertas em um recurso de bucket.
Os seguintes comportamentos de política têm suporte:
- Especificações de recursos: especifica o acesso a um recurso, como uma tabela.
- Especificações de coluna: especifica o acesso a uma coluna em uma tabela do BigQuery.
É possível usar o Attribute Store para definir uma hierarquia de atributos chamada taxonomia. Em uma taxonomia, um atributo filho herda as especificações da hierarquia de atributos pai. As especificações do pai do filho são mescladas em uma lista unificada, que é propagada para o recurso.
Use o Dataplex Attribute Store para fazer o seguinte:
- Criar taxonomias.
- Criar atributos e organizá-los em uma hierarquia.
- Associe um ou mais atributos a tabelas.
- Associe um ou mais atributos às colunas.
Terminologia
A terminologia a seguir é usada neste documento:
Taxonomia de atributos
Uma taxonomia de dados é uma hierarquia de atributos. Em uma taxonomia, os atributos nos nós pais permitem que os atributos abaixo deles (atributos filhos) herdem e adicionem as especificações de comportamento dos atributos pais aos próprios atributos.
Por exemplo:
se um atributo chamado PII
tiver uma especificação de recurso group-a@company.com
e um atributo filho de PII
chamado Social Security numbers
tiver uma especificação
de recurso group-b@company.com
, as especificações de recurso aplicadas
às políticas em que o atributo Social Security numbers
está associado serão
group-a@company.com
e group-b@company.com
.
Ao definir um atributo, é possível escolher se ele é pai ou filho. Ao definir um atributo filho, você precisa especificar o atributo pai.
Especificações de coluna
As especificações de comportamento para colunas. Ela especifica pessoas ou grupos com acesso de leitor às colunas. Se você associar um atributo contendo uma especificação de coluna à coluna de uma tabela, ele adicionará uma tag de política de coluna do BigQuery a essa coluna.
Especificações dos recursos
As permissões para pessoas ou grupos acessarem recursos (tabelas). Se você associar um atributo à especificação de recursos, o Dataplex propagará os papéis do IAM para os usuários especificados a fim de acessar as tabelas associadas ao atributo.
Antes de começar
Limitações
O Dataplex propaga as políticas de especificação de coluna como tags de política do BigQuery. O BigQuery tem uma limitação de uma tag de política por coluna. Se uma tag de política já existir em uma coluna, o Dataplex vai gerar um erro no registro de governança na guia Gerenciar.
Cotas
Confira a seguir as cotas e os limites que se aplicam ao Attribute Store do Dataplex:
Limite | Padrão |
---|---|
Número máximo de taxonomias em uma região | 100 |
Número máximo de atributos em todas as taxonomias em uma região | 10.000 |
Número máximo de atributos que podem ser associados a um recurso (tabela) | 50 |
Número máximo de atributos que podem ser associados a uma coluna | 100 |
Profundidade máxima por árvore de atributos de dados em uma taxonomia de atributos | 4 |
Papéis e permissões necessárias
Para ter as permissões necessárias para usar o armazenamento de atributos do Dataplex, peça ao administrador para conceder a você os seguintes papéis do IAM no projeto:
-
Gerencie taxonomias e atributos:
Administrador de taxonomia do Dataplex (
roles/dataplex.taxonomyAdmin
) -
Confira as vinculações associadas a recursos e atributos:
Leitor de taxonomia do Dataplex (
roles/dataplex.taxonomyViewer
) -
Crie e gerencie recursos de vinculação em um projeto:
-
Administrador de vinculação do Dataplex (
roles/dataplex.bindingAdmin
) -
Administrador do Dataplex (
roles/dataplex.admin
no recurso de zona)
-
Administrador de vinculação do Dataplex (
-
Gerencie as especificações de acesso a recursos e dados:
Administrador de segurança do Dataplex (
roles/dataplex.securityAdmin
)
Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.
Esses papéis predefinidos contêm as permissões necessárias para usar o armazenamento de atributos do Dataplex. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:
Permissões necessárias
As seguintes permissões são necessárias para usar o armazenamento de atributos do Dataplex:
-
Gerencie taxonomias e atributos:
-
dataplex.datataxonomies.*
-
dataplex.dataattributes.*
(exceptdataplex.dataattributes.configureResourceAccess
anddataplex.dataattributes.configureDataAccess
)
-
-
Confira as vinculações associadas a recursos e atributos:
-
dataplex.datataxonomies.get
-
dataplex.datataxonomies.list
-
dataplex.dataattributes.get
-
dataplex.dataattributes.list
-
dataplex.dataattributebindings.get
-
dataplex.dataattributebindings.list
-
-
Crie e gerencie recursos de vinculação em um projeto:
dataplex.dataattributebindings.*
-
Gerencie as especificações de acesso a dados e recursos:
-
dataplex.datataxonomies.configureResourceAccess
-
dataplex.datataxonomies.configureDataAccess
-
Talvez você também consiga receber essas permissões com papéis personalizados ou outros papéis predefinidos.
Exemplos de casos de uso
Considere uma empresa chamada ACME que tem três tipos de dados:
- Dados de
Red
sensíveis. - Dados de
Green
que são restritos, mas menos sensíveis. - Dados sem classificação.
O administrador do Dataplex da ACME cria o seguinte conjunto de atributos:
Atributo:
Red
- Especificações da coluna:
secrets_team@acme
com permissão de leitura - Especificações de recursos:
secrets_team@acme
etenured_employees@acme
com permissão de leitura
- Especificações da coluna:
Atributo:
Green
- Especificações da coluna:
full_time_employees@acme
com permissão de leitura - Especificações do recurso:
full_time_employees@acme
com permissão para edição
- Especificações da coluna:
Os atributos Red
e Green
controlam o comportamento de acesso aos recursos (tabelas) dependendo dos atributos associados às tabelas e às colunas delas.
Considere uma tabela com as seguintes colunas:
- ID
- CEP
- Nome
- Endereço
- $Value (em inglês)
Caso de uso 1: associar o mesmo atributo à tabela e a uma coluna
Se você associar o atributo Red
à tabela e à coluna Name,
o Dataplex vai propagar as seguintes políticas:
- Os funcionários em
secrets_team@acme
etenured_employees@acme
podem ler a tabela, ver os metadados e consultá-la. - Somente funcionários em
secrets_team@acme
podem consultar a coluna Nome, porque ela está mais protegida pelas especificações de coluna.
Caso de uso 2: combinar atributos
Considere as seguintes associações:
- Associe os atributos
Red
eGreen
à tabela. - Associe os atributos
Red
eGreen
à coluna Nome. - Associe o atributo
Red
à coluna $Value.
Nesse caso, o Dataplex propaga as seguintes políticas:
- Os funcionários em
secrets_team@acme
,tenured_employees@acme
efull_time_employees@acme
podem acessar a tabela. Isso ocorre porque o Dataplex mescla as especificações de recursos dos atributosRed
eGreen
. - Os funcionários em
secrets_team@acme
efull_time_employees@acme
podem acessar a coluna Nome. Isso ocorre porque o Dataplex mescla as especificações de coluna dos atributosRed
eGreen
. - Somente funcionários em
secrets_team@acme
podem consultar a coluna $Value.
Caso de uso 3: organizar atributos em uma hierarquia
É possível organizar os atributos em uma hierarquia especificando os subtipos deles. Considere o seguinte conjunto de atributos:
Atributo pai 1:
Atributo: PII
- Especificações da coluna:
secrets_team@acme
- Especificações de recursos:
secrets_team@acme
etenured_employees@acme
Atributo filho de PII
:
Atributo: Email
- Especificações da coluna:
email_comm@acme
- Especificações do recurso:
email_comm@acme
Atributo pai 2:
Atributo: Financial
- Especificações da coluna:
full_time_employees@acme
- Especificações do recurso:
full_time_employees@acme
Considere as seguintes associações:
- Associe os atributos
Email
eFinancial
à tabela. - Associe os atributos
Email
eFinancial
à coluna Nome. - Associe o atributo
PII
à coluna $Value.
Nesse caso, o Dataplex propaga as seguintes políticas:
- Os funcionários em
secrets_team@acme
,tenured_employees@acme
,full_time_employees@acme
eemail_comm@acme
podem acessar a tabela. Isso acontece porque o Dataplex mescla as especificações de recursos dos atributosFinancial
eEmail
, e o atributoEmail
herda as especificações do atributoPII
. - Os funcionários em
secrets_team@acme
,email_comm@acme
efull_time_employees@acme
podem acessar a coluna Nome. Isso ocorre porque o Dataplex mescla as especificações de coluna dos atributosFinancial
eEmail
. - Somente funcionários em
secrets_team@acme
podem consultar a coluna $Value.
Configurar atributos
Para criar um atributo, primeiro crie uma taxonomia e depois os atributos de dados pai e filho.
Criar uma taxonomia de atributos de dados
No console do Google Cloud, acesse a página Attribute Store do Dataplex.
Clique em Criar taxonomia.
Insira o Nome, o ID e a Descrição da taxonomia.
Selecione uma região.
Clique em Enviar.
A nova taxonomia aparece na página Taxonomias de dados.
Criar um atributo pai
No console do Google Cloud, acesse a página Attribute Store do Dataplex.
Na página Taxonomias de dados, clique na taxonomia em que você quer criar o atributo pai.
Na página Detalhes da taxonomia, clique em Adicionar atributo de dados.
Selecione Criar atributo de dados pai.
Digite um nome, um ID e uma descrição para o atributo pai.
Opcional: configure as especificações de atributos.
Configure as especificações dos recursos:
- Clique em Gerenciar permissões para Recurso.
- Clique em Add.
- No campo Novos principais, insira o endereço de e-mail de uma pessoa ou de um grupo que precisa de acesso ao recurso.
- Selecione os Papéis e clique em Salvar.
- Clique em Salvar.
Configure as especificações da coluna:
- Clique em Gerenciar permissões na Coluna.
- Clique em Add.
- No campo Novos principais, insira o endereço de e-mail de uma pessoa ou de um grupo que precisa de acesso à coluna.
- Selecione os Papéis e clique em Salvar.
- Clique em Salvar.
Clique em Criar.
Criar um atributo filho
No console do Google Cloud, acesse a página Attribute Store do Dataplex.
Na página Taxonomias de dados, clique na taxonomia em que você quer criar o atributo filho.
Na página Detalhes da taxonomia, clique em Adicionar atributo de dados.
Selecione Criar atributo de dados filhos.
Selecione um Atributo de dados pai para o atributo filho que você está criando.
Insira um nome, um ID e uma descrição para o atributo filho.
Opcional: configure as especificações de atributos.
Configure as especificações dos recursos:
- Clique em Gerenciar permissões para Recurso.
- Clique em Add.
- No campo Novos principais, insira o endereço de e-mail de uma pessoa ou de um grupo que precisa de acesso ao recurso.
- Selecione os Papéis e clique em Salvar.
- Clique em Salvar.
Configure as especificações da coluna:
- Clique em Gerenciar permissões na Coluna.
- Clique em Add.
- No campo Novos principais, insira o endereço de e-mail de uma pessoa ou de um grupo que precisa de acesso à coluna.
- Selecione os Papéis e clique em Salvar.
- Clique em Salvar.
Clique em Criar.
Atualizar recursos do Attribute Store
Atualizar detalhes da taxonomia
No console do Google Cloud, acesse a página Attribute Store do Dataplex.
Clique na taxonomia que você quer atualizar.
Clique em Editar.
Edite o nome e a descrição da taxonomia conforme necessário.
Clique em Enviar.
Atualizar detalhes do atributo
No console do Google Cloud, acesse a página Attribute Store do Dataplex.
Clique na taxonomia com o atributo que você quer atualizar.
Clique no atributo que você quer atualizar.
Para atualizar o nome e a descrição do atributo, clique em Editar.
- Se você estiver atualizando um atributo pai, poderá atualizá-lo para um atributo filho e vice-versa. Selecione as opções devidamente.
- Edite o nome e a descrição do atributo conforme necessário.
- Clique em Atualizar.
Para atualizar as especificações de recursos para o atributo, clique em
para Especificações de recursos.Para adicionar uma nova principal, siga estas etapas:
- Clique em Add.
- No campo Novos principais, insira o endereço de e-mail de uma pessoa ou de um grupo que precisa de acesso ao recurso.
- Selecione os Papéis necessários.
- Clique em Salvar.
Para atualizar um principal atual, siga estas etapas:
- Clique em para a conta principal que você quer atualizar.
- Selecione os Papéis necessários.
- Clique em Salvar.
Para remover um principal atual, siga estas etapas:
- Selecione a principal que você quer remover.
- Clique em Remover.
Para atualizar as especificações de coluna para o atributo, clique em
para Especificações de coluna.Para adicionar uma nova principal, siga estas etapas:
- Clique em Add.
- No campo Novos principais, insira o endereço de e-mail de uma pessoa ou de um grupo que precisa de acesso à coluna.
- Selecione os Papéis necessários.
- Clique em Salvar.
Para atualizar um principal atual, siga estas etapas:
- Clique em para a conta principal que você quer atualizar.
- Selecione os Papéis necessários.
- Clique em Salvar.
Para remover um principal atual, siga estas etapas:
- Selecione a principal que você quer remover.
- Clique em Remover.
Associar atributos a recursos
Associar um atributo a uma tabela
No console do Google Cloud, acesse a página Attribute Store do Dataplex.
Clique na taxonomia que contém o atributo.
Clique no atributo ao qual você quer associar uma tabela.
Clique na guia Recursos.
Clique em Adicionar recursos.
Selecione uma tabela na lista.
Clique em Selecionar.
Associar um atributo a uma coluna
No console do Google Cloud, acesse a página Attribute Store do Dataplex.
Pesquise e selecione a tabela à qual você quer associar um atributo a uma coluna.
Clique na guia Tags de esquema e colunas.
Clique em
em Tags de política da coluna à qual você quer associar um atributo.Selecione a taxonomia que contém o atributo.
Selecione o atributo.
Clique em Anexar.
A seguir
- Saiba mais sobre a segurança do Dataplex.
- Saiba mais sobre o gerenciamento de políticas no Dataplex.
- Saiba mais sobre os papéis do IAM do Dataplex.