Tags e modelos de tag

Documentar recursos de dados em escala é difícil, especialmente quando eles são usados por diferentes grupos em uma organização com necessidades variadas. Muitas vezes, cada grupo criará o próprio conjunto de documentação e metadados para descrever os mesmos dados, resultando em esforço duplicado e informações incompletas. O Data Catalog soluciona esse problema com tags, que permitem que as organizações criem, pesquisem e gerenciem metadados para todos os recursos de dados em um serviço unificado.

Nesta página, explicamos dois conceitos principais do Data Catalog: tags, que fornecem contexto para um recurso de dados anexando campos de metadados personalizados, e os modelos de tag. , estruturas reutilizáveis que podem ser usadas para criar rapidamente novas tags.

Tags

Às vezes, as tags são chamadas de "metadados comerciais". Adicionar tags a um recurso de dados ajuda a dar um contexto significativo para quem precisa usar esse recurso. Por exemplo, uma tag pode informar quem é responsável por um determinado recurso de dados, porque contém informações de identificação pessoal (PII), a política de retenção de dados do recurso, um índice de qualidade de dados etc.

As tags contêm um ou mais campos em que é possível armazenar informações. Os campos em uma tag são definidos por um modelo de tag, e cada um pode ser usado para armazenar um ou mais valores. Cada tag é uma instância de um modelo de tag, que pode ser aplicado a todo um recurso de dados ou a determinadas tabelas ou colunas. Uma tag em uma coluna pode informar, por exemplo, se essa coluna contém PII, se o uso foi suspenso ou qual fórmula foi usada para calcular um determinado valor.

No diagrama a seguir, mostramos um exemplo de tabela de clientes cust_tbl, com várias tags de metadados comerciais anexadas à tabela e às colunas dela.

Exemplo de tabela do cliente

Modelos de tags

Para começar a marcar os dados, primeiro é necessário criar um ou mais modelos de tag. Um modelo de tag é um grupo de pares de chave-valor de metadados chamados campos. Ter um conjunto de modelos é semelhante a ter um esquema de banco de dados para os metadados.

Isso permite estruturar tags por tópico. Exemplo:

  • Uma tag de governança de dados com campos para: gerente de dados, data de retenção, data de exclusão, PII (sim ou não), classificação de dados (pública, confidencial, confidencial, regulamentar)
  • Uma tag de qualidade de dados com campos para: problemas de qualidade, frequência de atualização e informações SLO.
  • Uma tag de uso de dados com campos para: principais usuários, principais consultas, média de usuários diários

Depois, combine as tags, usando apenas as que forem relevantes para cada recurso de dados e necessidades do seu negócio.

Para saber como criar modelos de tags, consulte o guia de início rápido sobre como incluir tags em tabelas

Tipos de campos

Cada campo contém um ID, um nome de exibição e um type. O tipo pode ser string, double, boolean, enum (enumeração) ou datetime. Quando o tipo é enum, o modelo também armazena os valores permitidos para o campo.

Veja um exemplo de modelo de tag do guia de início rápido, que contém vários tipos de campo:

Exemplo de modelo de tag

Esta é uma tag criada a partir do modelo, com valores fornecidos para cada campo:

Exemplo de tag

Os campos são armazenados no modelo como um conjunto ordenado, em que a ordem representa a importância de um campo em relação aos outros.

Os campos são opcionais, a menos que estejam marcados como obrigatórios. Um campo obrigatório precisa receber um valor quando o modelo for usado, enquanto um campo opcional poderá ser deixado em branco.

Para ajudar você a começar, o Data Catalog inclui uma galeria de modelos de tag de exemplo para ilustrar casos de uso de tags comuns. Use esses exemplos para saber mais sobre o poder da inclusão de tags, como inspiração ou como ponto de partida para criar sua própria infraestrutura de inclusão de tags.

Para encontrar a galeria de modelos de tag, clique em CRIAR e selecione Criar modelo de tag. A galeria de modelos é exibida na parte superior da página Criar modelo.

Depois de selecionar um modelo da galeria, use-o como qualquer outro modelo de tag. É possível adicionar e excluir atributos e alterar qualquer coisa no modelo para atender às necessidades do seu negócio. Em seguida, pesquise os campos e valores do modelo usando o Data Catalog.

Controle de acesso

As tags e os metadados delas podem conter informações confidenciais, e as equipes de governança de dados podem querer que algumas tags sejam visíveis apenas para alguns grupos de usuários. O Data Catalog oferece controle de acesso aos modelos, e essas configurações se estendem a todas as tags criadas com esse modelo.

É possível definir modelos com muitas configurações de controle de acesso. Por exemplo:

  • Um modelo que só permite a criação de tags pelo próprio criador dele
  • Um modelo que cria tags que só são visíveis a um conjunto selecionado de usuários
  • Um modelo que um conjunto selecionado de usuários pode usar para criar tags visíveis somente para outro conjunto (provavelmente, idêntico) de usuários

O acesso a um modelo de tag é concedido ou negado com papéis do IAM. Concede permissões para criar, editar e usar o modelo. Por exemplo, o papel tagTemplateUser concede permissão para usar um modelo de tag para marcar recursos.

Para mais informações, consulte Gerenciamento de identidade e acesso do Data Catalog.

Recursos regionais

Cada modelo e tag de tag é armazenado em uma determinada região do GCP. É possível usar um modelo de tag para criar tags em qualquer região. Portanto, não é necessário criar cópias do modelo se você tiver recursos de dados distribuídos em várias regiões.