Gerenciar metadados de repositórios do Dataform com o Dataplex

Este documento descreve como usar o Dataplex para conferir os metadados dos repositórios do Dataform e fazer anotações com aspectos.

O Dataplex permite armazenar e gerenciar seus metadados. Os repositórios do Dataform estão disponíveis no Dataplex por padrão, sem nenhuma configuração adicional. O Dataplex recupera automaticamente os seguintes metadados dos repositórios do Dataform:

  • Nome do recurso de dados
  • Pai do recurso de dados
  • Local do recurso de dados
  • Tipo de recurso de dados
  • Projeto correspondente do Google Cloud
  • Origem do repositório de terceiros
  • Conta de serviço

Antes de começar

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Enable the Dataplex API.

    Enable the API

  3. Verifique se você tem as permissões necessárias do Identity and Access Management (IAM).

Funções exigidas

Para gerenciar repositórios do Dataform no Dataplex, você precisa das funções predefinidas do Dataform que dão acesso aos recursos do Dataform e das funções do Dataplex necessárias.

Gerenciar metadados no Dataplex

O Dataplex registra repositórios do Dataform como entradas com os seguintes valores de entrada:

Grupo de entrada do sistema
O grupo de entrada do sistema para repositórios do Dataform é @dataform. Para conferir os detalhes das entradas do repositório no Dataplex, você precisa acessar o grupo de entrada do sistema dataform. Para ver instruções sobre como conferir uma lista de todas as entradas em um grupo, consulte Conferir detalhes de um grupo de entrada na documentação do Dataplex.
Tipo de entrada do sistema
O tipo de entrada do sistema para repositórios do Dataform é dataform-repository. Para conferir detalhes dos repositórios do Dataform, é necessário acessar o tipo de entrada do sistema dataform-repository. Para instruções sobre como conferir os detalhes de um tipo de entrada selecionado, consulte Conferir os detalhes de um tipo de entrada na documentação do Dataplex. Para instruções sobre como conferir os detalhes de uma entrada selecionada, consulte Conferir os detalhes de uma entrada na documentação do Dataplex.

Pesquisar recursos

Para instruções sobre como pesquisar recursos de dados no Dataplex, consulte Pesquisar recursos de dados no Dataplex na documentação do Dataplex.

Anotar repositórios

Para fornecer mais contexto aos repositórios do Dataform no Dataplex, anexe aspectos às entradas do Dataform.

O tipo de aspecto do sistema para repositórios do Dataform é dataform-repository.

Para instruções sobre como anotar entradas com aspectos, consulte Gerenciar aspectos e enriquecer metadados na documentação do Dataplex.

Limitações

O gerenciamento de repositórios do Dataform no Dataplex está disponível com as seguintes limitações:

  • Não é possível visualizar ou gerenciar recursos no nível do arquivo do Dataform no Dataplex, por exemplo, tabelas ou visualizações.

Locais

Você pode usar o Dataplex para gerenciar repositórios do Dataform em todos os locais do Dataform.

Cotas

O gerenciamento de repositórios do Dataform no Dataplex está sujeito às cotas e aos limites do Dataplex.

Preços

A administração de repositórios do Dataform no Dataplex está sujeita aos preços do Dataplex.

A seguir