Tags e modelos de tag

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

É difícil documentar entradas de dados em grande escala, especialmente quando são usadas por grupos diferentes em uma organização com necessidades variadas. Muitas vezes, cada grupo cria o próprio conjunto de documentações e metadados para descrever os mesmos dados, o que resulta em esforços duplicados e informações incompletas. O Data Catalog resolve esse problema com tags. Isso permite que as organizações criem, pesquisem e gerenciem metadados para todas as entradas de dados em um serviço unificado.

Neste documento, explicamos dois conceitos principais do Data Catalog:

  • Tags. Permite que você forneça contexto para uma entrada de dados anexando campos de metadados personalizados.

  • Modelos de tag Estruturas reutilizáveis que podem ser usadas para criar rapidamente novas tags.

Tags

As tags são um tipo de metadados comerciais. Adicionar tags a uma entrada de dados ajuda a fornecer um contexto significativo para qualquer pessoa que precise usar o recurso. Por exemplo, uma tag pode mostrar informações como quem é responsável por uma determinada entrada de dados, se ela contém informações de identificação pessoal (PII), a política de retenção de dados do recurso e um índice de qualidade de dados.

As tags podem ser públicas ou particulares. Cada tipo de tag tem vantagens específicas para atender aos requisitos do seu negócio.

Tags privadas

As tags particulares oferecem controles de acesso rigorosos. Só será possível pesquisar ou visualizar as tags e as entradas de dados associadas a elas se você tiver as permissões de visualização necessárias no modelo de tag particular e nas entradas de dados.

Para pesquisar tags particulares na página "Data Catalog", é necessário usar a sintaxe de pesquisa tag: ou os filtros de pesquisa.

As tags particulares são adequadas para os cenários em que você precisa armazenar informações sensíveis na tag e aplicar restrições de acesso adicionais além de verificar se o usuário tem as permissões para visualizar a entrada com tag.

Tags públicas

As tags públicas oferecem um controle de acesso menos rigoroso para a pesquisa e a visualização em comparação às tags particulares. Qualquer usuário que tenha as permissões de visualização necessárias para uma entrada de dados pode visualizar todas as tags públicas associadas a ela. As permissões para visualização de tags públicas são obrigatórias somente quando você faz uma pesquisa no Data Catalog usando a sintaxe tag: ou quando visualiza um modelo de tag não anexado.

As tags públicas são compatíveis com a pesquisa simples e a pesquisa com predicados na página de pesquisa do Data Catalog. Quando você cria um modelo de tag público, a opção de criar um modelo de tag público é a opção padrão e recomendada no console.

Por exemplo, suponha que você tenha um modelo de tag público chamado employee data que você usou para criar tags para três entradas de dados chamadas Name, Location e Salary. Entre as três entradas de dados, apenas membros de um grupo específico chamado HR podem visualizar a entrada de dados Salary. As outras duas entradas de dados têm permissões de visualização para todos os funcionários da empresa.

Se um funcionário que não for um membro do grupo HR usar a página de pesquisa do Data Catalog e pesquisar com a palavra employee, o resultado da pesquisa exibirá apenas entradas de dados Name e Location com as tags públicas associadas.

As tags públicas são úteis para um amplo conjunto de cenários, e essas tags são intuitivas. As tags públicas são compatíveis com a pesquisa simples e com predicados, enquanto as tags particulares permitem apenas a pesquisa com predicados.

Exemplos de tags anexadas a uma entrada de dados

No diagrama a seguir, mostramos um exemplo de tabela de clientes cust_tbl, com várias tags de metadados comerciais anexadas à tabela e às colunas dela.

Exemplo de tabela do cliente

Modelos de tag

Para começar a marcar dados, primeiro é necessário criar um ou mais modelos de tags. Um modelo de tag pode ser um modelo de tag público ou particular. Quando você cria um modelo de tag, a opção para criar um modelo de tag público é a opção padrão e recomendada no console. Um modelo de tag é um grupo de pares de chave-valor de metadados chamados campos. Ter um conjunto de modelos é semelhante a ter um esquema de banco de dados para metadados.

É possível estruturar suas tags por tópico. Exemplo:

  • Uma tag de governança de dados com campos para: gerente de dados, data de retenção, data de exclusão, PII (sim ou não), classificação de dados (pública, confidencial, confidencial, regulamentar)
  • Uma tag de qualidade de dados com campos para: problemas de qualidade, frequência de atualização e informações SLO.
  • Uma tag de uso de dados com campos para: principais usuários, principais consultas, média de usuários diários

Depois, combine as tags, usando apenas as que forem relevantes para cada recurso de dados e necessidades do seu negócio.

Campos de uma tag

As tags contêm um ou mais campos em que é possível armazenar informações. Os campos em uma tag são definidos por um modelo de tag, e cada um pode ser usado para armazenar um ou mais valores. Cada tag é uma instância de um modelo de tag, que pode ser aplicada a uma entrada de dados inteira ou a tabelas ou colunas específicas. Uma tag em uma coluna pode informar, por exemplo, se essa coluna contém PII, se o uso foi suspenso ou qual fórmula foi usada para calcular um determinado valor.

Cada campo contém um ID, um nome de exibição e um tipo. O tipo pode ser string, double, boolean, enum (enumeração) ou datetime. Quando o tipo é enum, o modelo também armazena os valores permitidos para o campo.

Os campos são armazenados no modelo como um conjunto ordenado, em que a ordem representa a importância de um campo em relação aos outros.

Os campos são opcionais, a menos que estejam marcados como obrigatórios. Um campo obrigatório precisa receber um valor quando o modelo for usado, enquanto um campo opcional poderá ser deixado em branco.

Não é possível alterar um campo opcional para obrigatório após a criação do modelo.

Exemplos de campos em uma tag

Veja um exemplo de modelo de tag do guia de início rápido com vários tipos de campo:

Exemplo de modelo de tag

Veja uma tag criada do modelo, com valores fornecidos para cada campo:

Exemplo de tag

Para ajudar você a começar, o Data Catalog inclui uma galeria de modelos de tags de amostra para ilustrar casos de uso comuns de tags. Use estes exemplos para saber mais sobre o poder da inclusão de tag, para ter inspiração ou como ponto de partida para criar sua própria infraestrutura de inclusão de tags.

Para usar uma galeria de modelos de tags, siga estas etapas:

  1. No console, acesse a página Modelos de tag do Dataplex.

    Acessar "Modelos de tag"

  2. Clique em Criar modelo de tag.

    A galeria de modelos é exibida como parte da página Criar modelo.

Depois de selecionar um modelo da galeria, use-o como qualquer outro modelo de tag. É possível adicionar e excluir atributos e alterar qualquer coisa no modelo para atender às necessidades do seu negócio. Em seguida, pesquise os campos e valores do modelo usando o Data Catalog.

Controle de acesso para tags

As tags e os metadados delas podem conter informações confidenciais, e as equipes de governança de dados podem querer que algumas tags sejam visíveis apenas para alguns grupos de usuários. O Data Catalog fornece controle de acesso em modelos de tags, e essas configurações são estendidas a todas as tags criadas usando esse modelo.

Você pode configurar modelos de tag com diversas configurações de controle de acesso, por exemplo:

  • Um modelo de tag que somente o criador do modelo pode usar para criar tags
  • Um modelo de tag que cria tags visíveis somente para um conjunto selecionado de usuários
  • Um modelo de tag que um conjunto selecionado de usuários pode usar para criar tags visíveis apenas para outro conjunto (possivelmente idêntico)
  • Um modelo de tag visível para todos os usuários de uma organização ou um projeto (tag pública)

O acesso a um modelo de tag é concedido ou negado com papéis do IAM. Elas fornecem permissões para criar, editar e usar o modelo de tag. Veja a seguir alguns papéis disponíveis do Data Catalog:

  • Para permitir que um usuário crie ou atualize um modelo de tag, conceda a ele a função de criador de modelo de tag.

  • Para permitir que um usuário aplique tags a uma entrada de dados, conceda a ele a função de usuário do modelo de tag.

Consulte Gerenciamento de identidade e acesso do Data Catalog para mais informações.

Recursos regionais

Cada modelo e tag de tag é armazenado em uma determinada região do GCP. É possível usar um modelo de tag para criar uma tag em qualquer região. Portanto, não será necessário criar cópias do modelo se as entradas de dados estiverem espalhadas por várias regiões.

A seguir