Faça a gestão dos metadados dos repositórios do Dataform com o catálogo universal do Dataplex

Este documento descreve a utilização do Dataplex Universal Catalog para ver os metadados dos repositórios do Dataform e anotá-los com aspetos.

O Dataplex Universal Catalog permite-lhe armazenar e gerir os seus metadados. Os repositórios do Dataform estão disponíveis no Dataplex Universal Catalog por predefinição, sem configuração adicional. O Dataplex Universal Catalog obtém automaticamente os seguintes metadados dos repositórios do Dataform:

  • Nome do recurso de dados
  • Recurso de dados principal
  • Localização do recurso de dados
  • Tipo de recurso de dados
  • Projeto Google Cloud correspondente
  • Origem do repositório de terceiros
  • Agente de serviço ou conta de serviço

Antes de começar

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  2. Enable the Dataplex API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  3. Certifique-se de que tem as autorizações da gestão de identidade e de acesso (IAM) necessárias.

Funções necessárias

Para gerir repositórios do Dataform no Dataplex Universal Catalog, precisa das funções predefinidas do Dataform que lhe dão acesso aos recursos do Dataform e às funções do Dataplex Universal Catalog necessárias.

Faça a gestão de metadados no Dataplex Universal Catalog

O Dataplex Universal Catalog regista repositórios do Dataform como entradas com os seguintes valores de entrada:

Grupo de entradas do sistema
O grupo de entrada do sistema para repositórios do Dataform é @dataform. Para ver os detalhes das entradas do repositório no Dataplex Universal Catalog, tem de ver o grupo de entradas do sistema dataform. Para ver instruções sobre como ver uma lista de todas as entradas num grupo de entradas, consulte o artigo Ver detalhes de um grupo de entradas na documentação do Dataplex Universal Catalog.
Tipo de entrada do sistema
O tipo de entrada do sistema para repositórios do Dataform é dataform-repository. Para ver os detalhes dos repositórios do Dataform, tem de ver o tipo de entrada do sistema dataform-repository. Para ver instruções sobre como ver os detalhes de um tipo de entrada selecionado, consulte o artigo Ver detalhes de um tipo de entrada na documentação do catálogo universal do Dataplex. Para ver instruções sobre como ver os detalhes de uma entrada selecionada, consulte o artigo Ver detalhes de uma entrada na documentação do catálogo universal do Dataplex.

Pesquise recursos

Para obter instruções sobre como pesquisar recursos de dados no Dataplex Universal Catalog, consulte o artigo Pesquise recursos de dados no Dataplex Universal Catalog na documentação do Dataplex Universal Catalog.

Anotar repositórios

Para fornecer contexto adicional aos repositórios do Dataform no Dataplex Universal Catalog, pode anotar as entradas do Dataform com aspetos.

O tipo de aspeto do sistema para repositórios do Dataform é dataform-repository.

Para ver instruções sobre como anotar entradas com aspetos, consulte o artigo Gerir aspetos e enriquecer metadados na documentação do catálogo universal do Dataplex.

Limitações

A gestão de repositórios do Dataform no Dataplex Universal Catalog está disponível com as seguintes limitações:

  • Não pode ver nem gerir recursos ao nível do ficheiro do Dataform no catálogo universal do Dataplex, por exemplo, tabelas ou vistas.

Localizações

Pode usar o Dataplex Universal Catalog para gerir repositórios do Dataform de todas as localizações do Dataform.

Quotas

A gestão de repositórios do Dataform no Dataplex Universal Catalog está sujeita a quotas e limites do Dataplex Universal Catalog.

Preços

A gestão de repositórios do Dataform no Dataplex Universal Catalog está sujeita aos preços do Dataplex Universal Catalog.

O que se segue?