Gerenciar recursos de dados usando o Data Catalog

O Data Catalog é um recurso do Dataplex que cataloga automaticamente os metadados sobre os recursos do Bigtable. Esse recurso ajuda sua organização a pesquisar e gerenciar os recursos de dados do Bigtable.

Os metadados são sincronizados automaticamente do Bigtable para o Data Catalog para os seguintes recursos do Bigtable:

  • Instâncias
  • Clusters
  • Tabelas, incluindo detalhes do grupo de colunas

O Data Catalog é um serviço de metadados totalmente gerenciado no Dataplex. Ele oferece mecanismos unificados de visualização e inclusão de tags para metadados técnicos e comerciais. Para saber mais sobre o Data Catalog e por que usá-lo, consulte O que é o Data Catalog.

Benefícios do uso do Data Catalog com o Bigtable

As informações do Data Catalog sobre os dados facilitam a análise, a reutilização dos dados, o desenvolvimento de aplicativos e o gerenciamento de dados.

É possível pesquisar entradas no Data Catalog por nome de recurso ou por detalhes. Por exemplo, você pode pesquisar um nome de instância para encontrar a entrada de uma instância ou um grupo de colunas para encontrar a entrada de uma tabela. Você também pode usar uma pesquisa de atributo, aplicando filtros para restringir a pesquisa. Para mais informações, consulte Pesquisar e visualizar recursos de dados com o Data Catalog.

A inclusão de tags em recursos de dados pode ajudar você a entender e catalogar os dados disponíveis nas tabelas do Bigtable para torná-los mais detectáveis e pesquisáveis por outros usuários do Data Catalog e como parte do seu conjunto de dados maior. Use tags para adicionar seus próprios metadados aos metadados catalogados e, em seguida, use-as para realizar pesquisas.

Primeiros passos com o Data Catalog

Para começar a usar o Data Catalog para gerenciar seus recursos de dados do Bigtable, conclua as seguintes tarefas:

  1. Se você não estiver familiarizado com o Data Catalog, ative a API.

  2. Conceda papéis do IAM aos principais que exigem acesso às entradas do Bigtable no Data Catalog.

  3. Saiba como pesquisar recursos de dados, consulte Como pesquisar com o Data Catalog.

  4. Consulte a sintaxe de pesquisa do Data Catalog para entender como encontrar os metadados.

  5. Leia os conceitos sobre a inclusão de tags nas entradas do Data Catalog em Tags e modelos de tag.

Maneiras de pesquisar metadados do Bigtable

É possível pesquisar metadados sincronizados do Bigtable usando o Data Catalog.

Além dos qualificadores padrão, é possível pesquisar recursos do Bigtable com o seguinte:

  • Instância

    • Nome da instância do Bigtable
    • ID da instância do Bigtable
    • Local do cluster
    • ID do cluster

  • Tabela

    • ID da tabela
    • Nome do grupo de colunas
    • Nome da instância do Bigtable
    • ID da instância do Bigtable

Funções exigidas

A visualização, inclusão de tags e pesquisa de recursos do Bigtable no Data Catalog têm diferentes requisitos de permissão. Em geral, conceda aos principais da organização o papel mínimo necessário para realizar uma tarefa.

Permissão para visualizar tags públicas e privadas

Para ter as permissões necessárias para visualizar tags públicas e privadas nos recursos do Bigtable, peça ao administrador para conceder a você os seguintes papéis do IAM:

Esses papéis predefinidos têm as permissões necessárias para visualizar tags públicas e privadas. As permissões exatas necessárias são as seguintes:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get
  • datacatalog.tagTemplates.getTag

Permissão para pesquisar recursos do Bigtable

Para receber as permissões necessárias para pesquisar os recursos do Bigtable no Data Catalog, peça ao administrador para conceder a você os seguintes papéis do IAM:

Esses papéis predefinidos contêm as permissões necessárias para pesquisar os recursos do Bigtable. As permissões exatas necessárias são as seguintes:

  • bigtable.instances.get
  • bigtable.clusters.get
  • bigtable.tables.get

Permissão para anexar tags aos recursos do Bigtable

Para receber as permissões necessárias para anexar tags aos recursos do Bigtable no Data Catalog, peça ao administrador para conceder a você os seguintes papéis do IAM:

Esses papéis predefinidos têm as permissões necessárias para adicionar tags públicas e privadas. As permissões exatas necessárias são as seguintes:

  • bigtable.instances.update
  • bigtable.clusters.update
  • bigtable.tables.update
  • datacatalog.tagTemplates.use
  • datacatalog.entries.updateTag

(Opcional) Criar um papel personalizado

É possível criar um papel personalizado para conceder a usuários que precisem de acesso completo a todos os metadados do Bigtable no Data Catalog em todo o projeto ou organização. Em seguida, crie qualquer conta de serviço ou usuário que precise acessar um principal do papel personalizado. Para saber mais sobre papéis personalizados, consulte Papéis e permissões.

Escolha um nome significativo para o papel, como Editor de Data Catalog do Bigtable, e atribua apenas os principais que precisam de acesso a ele. Para instruções de configuração, consulte Como criar um papel personalizado.

Conceda as seguintes permissões ao papel personalizado:

  • bigtable.instances.get
  • bigtable.instances.update
  • bigtable.clusters.get
  • bigtable.clusters.update
  • bigtable.tables.get
  • bigtable.tables.update
  • datacatalog.tagTemplates.getTag
  • datacatalog.tagTemplates.use

Para detalhes sobre as permissões do Data Catalog, consulte Papéis para pesquisar recursos do Google Cloud. Para ver descrições de permissões do Bigtable, consulte Permissões.

Restrições conhecidas

A seção a seguir lista algumas restrições que você precisa observar antes de usar o Data Catalog para gerenciar os metadados do Bigtable.

Restrições de local

Se a organização tiver configurado restrições de local, as entradas de metadados dos recursos do Bigtable poderão não ser sincronizadas com o Data Catalog. Todas as entradas criadas antes da aplicação das restrições de local são retidas pelo Data Catalog.

Para permitir que o Data Catalog carregue recursos, recomendamos adicionar a multirregião global à política de local.

Exceção de nome do grupo de colunas

A API Data Catalog rejeita solicitações em que o nome do grupo de colunas na solicitação inclui um ponto (.). Por exemplo, quando o nome do grupo de colunas é personal.info.

A seguir