Gerenciar aspectos e aprimorar metadados

Este documento descreve como criar e gerenciar tipos de aspectos e anexar aspectos às entradas.

O Catálogo do Dataplex descreve as entradas por um conjunto de aspectos. É possível descrever suas entradas com metadados adicionais usando aspectos e tipos de aspectos.

Para mais informações, consulte Visão geral do catálogo do Dataplex.

Aspectos

Os aspectos permitem capturar metadados nas entradas. Como adicionar aspectos a uma entrada ajuda a fornecer contexto significativo para qualquer pessoa que precise usar o recurso. É possível usar aspectos para armazenar metadados comerciais (por exemplo, classificação de dados) e metadados técnicos (por exemplo, esquema).

Os aspectos são considerados parte do recurso de entrada e não são separados do Google Cloud. Quando você modifica um aspecto, isso envolve modificar a entrada que contém o aspecto.

É possível especificar aspectos no nível da entrada para descrever uma entrada ou no nível da coluna para descrever uma coluna em uma entrada.

Cada aspecto é uma instância de um tipo. Um tipo de aspecto define um modelo para os aspectos. Cada tipo de aspecto contém um conjunto de campos. Ao criar aspectos, é necessário fornecer valores para esses campos.

Para uma determinada entrada, pode haver no máximo um aspecto associado a ela, por tipo de aspecto. É possível ter vários aspectos associados às colunas de entrada por tipo de aspecto.

Observação :criar e usar aspectos em entradas em que o respectivo tipo de aspecto e se a entrada estiver em diferentes organizações do Google Cloud, não será aceita.

Categorias de aspectos

Os aspectos são categorizados da seguinte forma:

• Aspectos obrigatórios: aspectos que são obrigatórios na criação de uma entrada. Esses aspectos são definidos pelo tipo de entrada de uma determinada entrada. Todas as entradas que pertencem a um tipo de entrada devem sempre ter todos os aspectos necessários que são definidas por esse tipo de entrada.

  O Dataplex gerencia os aspectos necessários (por exemplo, o esquema) para as entradas do sistema.

  Observe o seguinte:

  • Só é possível associar os aspectos obrigatórios às entradas, e não à função colunas de uma entrada.

  • Não é possível excluir os aspectos obrigatórios de uma entrada.

  • É possível ler os aspectos necessários das entradas do sistema, mas não modificá-los.

• Aspectos opcionais: é possível associar aspectos opcionais às entradas ou colunas de entrada. É possível preencher aspectos opcionais no momento da criação da entrada ou mais tarde, atualizando a entrada.

  É possível excluir os aspectos opcionais depois que eles forem preenchidos.

Tipos de aspecto

Os tipos de aspecto são recursos reutilizáveis que fornecem modelos para aspectos.

Categorias de tipos de aspecto

Os tipos de aspecto são categorizados da seguinte forma:

• Tipos de aspecto personalizados: tipos de aspecto criados no Dataplex Catalog.

• Tipos de aspecto do sistema: os tipos de aspecto que o Dataplex fornece, usa, e gerencia.

  Os tipos de aspecto do sistema são categorizados em reutilizáveis e restritos. A tabela a seguir descreve as categorias de tipos de aspecto do sistema e as lista de tipos de aspecto que o Dataplex fornece para cada uma das categorias:

  Categoria de tipo de aspecto do sistema	Descrição	Tipos de aspectos fornecidos pelo Dataplex
  Tipo de aspecto do sistema reutilizável	Você pode usar esses tipos para criar ou modificar aspectos.	generic storage
  Tipo de aspecto do sistema restrito	O Dataplex gerencia esses tipos de aspecto. Você pode ler aspectos nesses tipos de aspecto, mas não pode criar ou editar de dados sob esses tipos de aspectos.	bigquery-connection bigquery-dataset bigquery-model bigquery-routine bigquery-table bigquery-view cloudsql-database cloudsql-instance cloudsql-schema cloudsql-table cloudsql-view storage sql-access storage-bucket storage-folder

  É possível criar tipos de aspecto personalizados em um local regional específico ou como recurso global. Os tipos de aspecto do sistema são sempre globais. A localização de um tipo de aspecto afeta o escopo de sua aplicabilidade. Para mais informações, consulte Restrições de projeto e local.

Antes de começar

Antes de criar e gerenciar tipos e aspectos, conclua as tarefas descritas nesta seção.

Funções exigidas

Para ter as permissões necessárias para criar e gerenciar tipos e aspectos de aspecto, peça ao administrador para conceder a você papéis do IAM a seguir no recurso:

• Conjunto completo de permissões em todos os recursos do catálogo do Dataplex, incluindo tipos de aspecto: Administrador de catálogo do Dataplex (roles/dataplex.catalogAdmin)
• Crie e gerencie todos os recursos do catálogo do Dataplex, incluindo os tipos de aspecto: Editor do catálogo do Dataplex (roles/dataplex.catalogEditor)
• Conjunto completo de permissões em tipos de aspecto personalizados (exceto permissões para usar tipos de aspecto para criar ou editar entradas): Proprietário de tipo de aspecto do Dataplex (roles/dataplex.aspectTypeOwner)
• Confira os tipos de aspectos e as políticas do IAM associadas a eles: Leitor do catálogo do Dataplex (roles/dataplex.catalogViewer)
• Use tipos de aspecto para criar e modificar entradas com os aspectos correspondentes: Usuário de tipo de aspecto do Dataplex (roles/dataplex.aspectTypeUser)
• Adicione aspectos de alguns dos tipos de aspectos do sistema, como schema, overview e contacts: Proprietário de entrada do Dataplex (roles/dataplex.entryOwner)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Para mais informações, consulte Papéis do IAM do Dataplex.

Ativar a API

Ativar a API Dataplex no projeto do Dataplex.

Ativar a API

Criar um tipo de aspecto

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de aspecto > Personalizado.

3. Na seção Detalhes, insira o seguinte:

   1. Opcional: no campo Nome de exibição, insira um nome para o tipo de aspecto.
   2. No campo ID do tipo de aspecto, insira um ID exclusivo para o tipo de aspecto.
   3. Opcional: no campo Description, insira uma descrição para o tipo de aspecto.
   4. No campo Local, selecione uma localização para o tipo de aspecto. Não é possível modificar a localização de um tipo de aspecto depois de criá-lo.

4. Opcional: defina um modelo para o tipo de aspecto.

   Em Templates, clique em Adicionar campo. Na seção Novo campo, digite o seguinte:

   1. Digite um nome no campo Nome.
   2. Opcional: no campo Nome de exibição, insira um nome de exibição.
   3. Opcional: no campo Descrição, insira uma descrição.

   4. No campo Tipo, selecione um tipo de dados para o campo. Com base na sua seleção, o próximo conjunto de campos e opções é exibido:

      • Se você selecionou Texto como o tipo de dados, siga estas etapas:

        1. No campo Text type, selecione o tipo de texto.
        2. No campo Text values, insira uma dica para o texto. . Para fazer isso, clique em Add value e digite a dica. É possível adicionar várias dicas para um campo de texto.
        3. Clique em Concluído.

      • Se você selecionou Tipo de enumeração como o tipo de dados, adicione um valor de tipo de enumeração:

        1. Clique em Adicionar um valor de tipo enumerado.
        2. No campo Valor, insira um valor de enumeração. Você pode adicionar vários valores de tipo enumerado.
        3. Clique em Concluído.

      • Se você selecionou Matriz como o tipo de dados, na coluna Item da matriz defina os tipos de itens que vão aparecer na matriz:

        1. Clique em Adicionar item da matriz.
        2. No campo Nome, insira um nome para os itens da matriz.
        3. Opcional: no campo Nome de exibição, digite um nome de exibição. para os itens da matriz.
        4. Opcional: no campo Descrição, digite uma descrição para os itens da matriz.

        5. No campo Type, selecione um tipo de dados para os itens da matriz.

           Com base na sua seleção, o próximo conjunto de campos e opções são exibidos. Elas são semelhantes às opções descritas para os tipos de dados Text, Enum, Map, Array e Record em outros lugares desta seção.

        6. Clique em Concluído.

      • Se você selecionou Mapa como o tipo de dado, na coluna Valor do mapa defina os tipos de valores que aparecerão no mapa:

        1. Clique em Adicionar valor do mapa.
        2. No campo Nome, insira um nome para o mapa.
        3. Opcional: no campo Nome de exibição, digite um nome de exibição. para o mapa.
        4. Opcional: no campo Descrição, digite uma descrição. para o mapa.

        5. No campo Tipo, selecione um tipo de dados para o mapa.

           Com base na sua seleção, o próximo conjunto de campos e opções são exibidos. Elas são semelhantes às opções descritas para os tipos de dados Text, Enum, Map, Array e Record em outros lugares desta seção.

        6. Clique em Concluído.

      • Se você selecionou Registro como o tipo de dados, insira o seguinte:

        1. No campo ID do registro, insira um ID exclusivo que outros campos de registro possam usar para se referir a esse registro. Consulte o Exemplo de uso dos campos "ID do registro" e "Referência do registro" deste documento.
        2. Opcional: se você quiser adicionar uma referência a outro registro deste modelo, use o campo Referência do registro. Não é possível modificar esse valor depois de criar o tipo de aspecto. Consulte a seção Exemplo de uso dos campos de ID e referência do registro deste documento.

        3. Na seção Campos de registro, você pode definir um objeto complexo com vários campos aninhados. Para isso, clique em Adicionar item do campo de registro e especificar o seguinte:

           1. No campo Name, digite um nome para o campo de registro.
           2. Opcional: no campo Nome de exibição, insira um nome de exibição para o campo de registro.
           3. Opcional: no campo Descrição, digite uma descrição para no campo de registro.

           4. No campo Tipo, selecione um tipo de dados.

              Com base na sua seleção, o próximo conjunto de campos e opções são exibidos. Elas são semelhantes às opções descritas os tipos de dados Text, Enum, Map, Array e Grave anteriormente nesta seção.

        4. Clique em Concluído.

   5. Para tornar o campo obrigatório para um aspecto desse tipo, selecione É obrigatório. Para mais informações sobre aspectos obrigatórios e opcionais, consulte a seção categorias de aspectos deste documento.

   6. Clique em Concluído.

   7. Para adicionar vários campos, clique em Adicionar campo e repita as etapas anteriores.

5. Opcional: na seção Rótulos, adicione rótulos arbitrários como chave-valor. aos seus recursos:

   1. Clique em Adicionar rótulo.
   2. No campo Chave, insira uma chave.
   3. No campo Valor, insira um valor para a chave.
   4. Para adicionar mais rótulos, clique em Adicionar rótulo e repita as etapas.

6. Clique em Salvar.

Depois de criar um tipo de aspecto, é possível adicionar aspectos às entradas.

REST

Para criar um novo tipo de aspecto, use o método aspectType.create.

Exemplo de uso dos campos "ID do registro" e "Referência do registro"

Você pode usar os campos Record ID e Record reference para de referência. O exemplo a seguir mostra como usar esses campos:

Considere um tipo de aspecto chamado Employee, com os seguintes campos:

• Nome (tipo:Text)
• Data de início (tipo:Date & time)
• Designação (tipo:Text)
• Endereço atual (tipo: Record)
• Endereço permanente (tipo:Record)

Os dois campos de endereço Endereço atual e Endereço permanente são dos mesmo tipo de dados Record. Para evitar duplicações, defina os valores de ID do registro e Referência do registro ao definir esses campos.

Ao definir o campo Endereço atual, é possível especificar ID do registro como address-field. Em Endereço permanente, especifique o mesmo valor (address-field) em Referência de registro. Exemplo:

• Nome (tipo:Text)
• Data de início (tipo:Date & time)
• Designação (tipo:Text)
• Endereço atual (tipo:Record, ID do registro:address-field)
• Endereço permanente (tipo: Record, referência do registro: address-field)

Dessa forma, não é necessário duplicar os campos de outro endereço.

Adicionar aspectos a uma entrada

Depois de criar um tipo de aspecto, é possível criar aspectos desse tipo. Para adicionar aspectos a uma entrada, você precisa atualizar a entrada, já que os aspectos são armazenados dentro das entradas.

Observe o seguinte:

• É possível adicionar aspectos a uma entrada ou às colunas de uma entrada.
• Só é possível editar os aspectos obrigatórios para entradas personalizadas. Você não pode e excluir os aspectos necessários.

• É possível editar e excluir os aspectos opcionais de entradas personalizadas e do sistema.

Console

1. No console do Google Cloud, acesse a página Pesquisa do Dataplex.

   Acesse Pesquisar

2. Em Escolher plataforma de pesquisa, selecione Dataplex Catalog como o modo de pesquisa.

3. Procure a entrada à qual você quer adicionar aspectos e clique em a entrada.

   A página de detalhes da entrada é aberta.

4. Para adicionar aspectos a uma entrada, siga estas etapas:

   1. Na página de detalhes da entrada, clique na guia Detalhes.
   2. Para adicionar aspectos obrigatórios ou opcionais à entrada, na seção Aspectos, clique em Adicionar para a respectiva categoria.
      Não é possível adicionar os aspectos obrigatórios se o tipo de entrada do selecionado entrada não tem os aspectos obrigatórios definidos.
      
   3. Pesquise e selecione o aspecto que você quer adicionar.
   4. Na janela Adicionar aspecto, insira os valores dos campos.
   5. Clique em Salvar.

5. Para adicionar aspectos a uma coluna de uma entrada, siga estas etapas:

   1. Na página de detalhes da entrada, clique na guia Esquema.
   2. Selecione as colunas em que você quer adicionar aspectos.
   3. Clique em Adicionar aspecto.
   4. Pesquise e selecione o aspecto que você quer adicionar.
   5. Na janela Adicionar aspecto, insira os valores dos campos.
   6. Clique em Salvar.

REST

Para adicionar aspectos a uma entrada ou a uma coluna de uma entrada, use o entry.patch .

Criar e usar aspectos em uma entrada em que o respectivo tipo e o entrada estão em organizações diferentes do Google Cloud, não é compatível.

Gerenciar aspectos atuais de uma entrada

Esta seção descreve como atualizar e excluir os aspectos de uma entrada.

Atualizar um aspecto

Você pode editar os aspectos opcionais das entradas personalizadas e do sistema. Só é possível editar os aspectos necessários para entradas personalizadas.

Console

1. No console do Google Cloud, acesse a página Pesquisa do Dataplex.

   Acesse Pesquisar

2. Em Escolher plataforma de pesquisa, selecione Catálogo do Dataplex como a o modo de pesquisa.

3. Pesquise a entrada cujos aspectos você quer atualizar e clique nela.

   A página de detalhes da entrada é aberta.

4. Clique na guia Details.

5. No aspecto que você quer atualizar, clique em Editar.

6. Na janela Editar aspecto, atualize os campos obrigatórios.

7. Clique em Salvar.

REST

Para atualizar aspectos de uma entrada ou coluna de uma entrada, use o entry.update .

Excluir um aspecto

Observação: é possível excluir os aspectos opcionais de uma entrada, mas não os obrigatórios.

Console

1. No console do Google Cloud, acesse a página Pesquisa do Dataplex.

   Acesse Pesquisar

2. Em Escolher plataforma de pesquisa, selecione Catálogo do Dataplex como a o modo de pesquisa.

3. Procure a entrada cujos aspectos você quer excluir. clique na entrada.

   A página de detalhes da entrada é aberta.

4. Clique na guia Details.

5. Para o aspecto que você quer excluir, clique em Excluir.

6. Clique em Confirmar.

REST

Para excluir um aspecto de uma entrada, use o método entry.update .

Gerenciar tipos de aspecto

Esta seção descreve como visualizar, atualizar e excluir tipos de aspecto.

Observação: não é possível editar, excluir ou modificar permissões para tipos de aspecto do sistema.

Conferir a lista de tipos de aspecto disponíveis

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de aspecto.

   Você pode acessar a lista de tipos de aspecto personalizados e do sistema. Para mais informações, veja as categorias de tipos de aspecto deste documento.

   Na guia Personalizado, os tipos de aspecto com o sufixo (Data Catalog) são os modelos de tag migrados do Data Catalog.

3. Para visualizar a lista de tipos de aspecto em todos os projetos, clique no Personalizada. Em seguida, clique no botão de alternância Mostrar de todos os projetos para na posição Ativado.

   Observação :se a opção Mostrar de todos os projetos estiver ativada, não será possível editar. ou excluir um tipo de aspecto diretamente. Em vez disso, clique no tipo de aspecto para abrir a página Detalhes do tipo de aspecto e edite ou exclua.

REST

Para listar todos os tipos de aspecto disponíveis, use o método aspectTypes.list.

Conferir os detalhes de um tipo de aspecto

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de aspecto.

3. Clique no tipo de aspecto.

   A página de detalhes do tipo de aspecto será aberta. É possível visualizar informações como nome de exibição, ID do tipo de aspecto, descrição, ID do projeto, local, rótulos, data de criação e data da última modificação do tipo de aspecto selecionado.

4. Para visualizar a estrutura do tipo de aspecto selecionado, clique no Guia Modelo.

5. Para conferir a lista de 10 entradas relacionadas criadas recentemente, clique na guia Entradas de amostra.

6. Para pesquisar todas as entradas relacionadas, clique em Mostrar todas as entradas relacionadas na pesquisa. Esse botão só aparece se há pelo menos uma entrada relacionada.

REST

Para conferir os detalhes de um tipo de aspecto, use o método aspectTypes.get.

Atualizar um tipo de aspecto

É possível atualizar o nome de exibição, a descrição, os campos do modelo e os rótulos de um tipo de aspecto. Não é possível excluir um campo em um modelo.

Não é possível atualizar o ID e o local do tipo de aspecto depois de criar o tipo.

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de aspecto.

3. Clique no tipo de aspecto que você quer atualizar.

4. Na página Detalhes do tipo de aspecto, clique em Editar.

5. Edite o nome de exibição, a descrição, os campos do modelo e os rótulos, conforme necessário.

6. Opcional: para marcar um campo no tipo de aspecto como descontinuado, siga estas etapas:

   1. Na seção Modelo, expanda o campo.
   2. Selecione Descontinuado.
   3. No campo Motivo da descontinuação, digite um motivo para descontinuar o campo selecionado.
   4. Clique em Concluído.

7. Clique em Salvar.

REST

Para atualizar um tipo de aspecto, use o método aspectTypes.patch.

Excluir um tipo de aspecto

Cuidado :excluir um tipo de aspecto remove todos os aspectos relacionados a ele.

Console

1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de aspecto.

3. Clique no tipo de aspecto que você quer excluir.

4. Na página Detalhes do tipo de aspecto, clique em Excluir. Confirme quando solicitado.

REST

Para excluir um tipo de aspecto, use o método aspectTypes.delete.

A seguir

• Saiba como pesquisar recursos de dados no Dataplex Catalog.
• Saiba como gerenciar entradas e ingerir origens personalizadas.
• Saiba como importar metadados para o Dataplex.
• Saiba mais sobre o Dataplex Catalog.