Gerenciar aspectos e enriquecer metadados

Este documento descreve como criar e gerenciar tipos de aspectos e anexar aspectos às entradas.

O Dataplex Catalog descreve as entradas por um conjunto de aspectos. É possível descrever suas entradas com metadados adicionais usando aspectos e tipos de aspectos.

Para mais informações, consulte Visão geral do Dataplex Catalog.

Aspectos

Os aspectos permitem capturar metadados nas entradas. Adicionar aspectos a uma entrada ajuda a fornecer um contexto significativo para quem precisa usar o recurso. É possível usar aspectos para armazenar metadados comerciais (por exemplo, classificação de dados) e metadados técnicos (por exemplo, esquema).

Os aspectos são considerados partes do recurso de entrada, e não recursos separados. Quando você modifica um aspecto, isso envolve modificar a entrada que contém o aspecto.

É possível especificar aspectos no nível da entrada para descrever uma entrada ou no nível da coluna para descrever uma coluna em uma entrada.

Cada aspecto é uma instância de um tipo de aspecto. Um tipo de aspecto define um modelo para os aspectos. Cada tipo de aspecto contém um conjunto de campos. Ao criar aspectos, é necessário fornecer valores para esses campos.

Para uma determinada entrada, pode haver no máximo um aspecto associado a ela, por tipo de aspecto. É possível ter vários aspectos associados a colunas de entrada por tipo de aspecto.

Observação: não é possível criar e usar aspectos em entradas em que o tipo de aspecto e a entrada estão em organizações diferentes do Google Cloud .

Categorias de aspectos

Os aspectos são categorizados da seguinte forma:

• Aspectos obrigatórios: aspectos obrigatórios na criação de uma entrada. Esses aspectos são definidos pelo tipo de entrada de uma determinada entrada. Todas as entradas de um tipo precisam ter todos os aspectos obrigatórios que são definidos por esse tipo.

  O Dataplex gerencia os aspectos necessários (por exemplo, o esquema) para as entradas do sistema.

  Observe o seguinte:

  • É possível associar aspectos obrigatórios apenas a entradas, e não às colunas de uma entrada.

  • Não é possível excluir os aspectos obrigatórios de uma entrada.

  • É possível ler os aspectos necessários das entradas do sistema, mas não modificá-los.

• Aspectos opcionais: é possível associar aspectos opcionais a entradas ou colunas de entrada. É possível preencher aspectos opcionais no momento da criação da entrada ou mais tarde, atualizando a entrada.

  É possível excluir aspectos opcionais depois que eles forem preenchidos.

Tipos de aspecto

Os tipos de aspecto são recursos reutilizáveis que fornecem modelos para aspectos.

Categorias de tipos de aspecto

Os tipos de aspecto são categorizados da seguinte forma:

• Tipos de aspecto personalizados: tipos de aspecto criados no Dataplex Catalog.

• Tipos de aspectos do sistema: tipos de aspectos que o Dataplex fornece, usa e gerencia.

  Os tipos de aspecto do sistema são categorizados em reutilizáveis e restritos. A tabela a seguir descreve as categorias de tipos de aspectos do sistema e a lista de tipos de aspectos que o Dataplex fornece para cada uma das categorias:

  Categoria do tipo de aspecto do sistema	Descrição	Tipos de aspectos fornecidos pelo Dataplex
  Tipo de aspecto do sistema reutilizável	Você pode usar esses tipos de aspecto para criar ou modificar aspectos.	generic storage
  Tipo de aspecto do sistema restrito	O Dataplex gerencia esses tipos de aspecto. É possível ler aspectos nesses tipos, mas não criar ou editar aspectos.	bigquery-connection bigquery-dataset bigquery-model bigquery-routine bigquery-table bigquery-view cloudsql-database cloudsql-instance cloudsql-schema cloudsql-table cloudsql-view storage sql-access storage-bucket storage-folder

Os tipos de aspecto podem ser globais ou regionais. É possível criar tipos de aspecto personalizados em um local regional específico ou como recurso global. Os tipos de aspecto do sistema são sempre globais.

Os tipos de aspecto globais são usados para criar aspectos em entradas de qualquer região. O conteúdo dos tipos de aspecto globais é replicado em todas as regiões. Os tipos de aspecto regional são usados para criar aspectos para entradas na mesma região.

O local de um tipo de aspecto afeta o escopo de aplicabilidade dele. Para mais informações, consulte Restrições de projeto e localização.

Antes de começar

Antes de criar e gerenciar tipos e aspectos, conclua as tarefas descritas nesta seção.

Funções exigidas

Para receber as permissões necessárias para criar e gerenciar tipos e aspectos, peça ao administrador para conceder a você os seguintes papéis do IAM no recurso:

• Conjunto completo de permissões em todos os recursos do Dataplex Catalog, incluindo tipos de aspecto: Administrador do Dataplex Catalog (roles/dataplex.catalogAdmin)
• Crie e gerencie todos os recursos do catálogo do Dataplex, incluindo os tipos de aspecto: Editor do catálogo do Dataplex (roles/dataplex.catalogEditor)
• Conjunto completo de permissões em tipos de aspectos personalizados (exceto permissões para usar tipos de aspectos para criar ou editar entradas): Proprietário de tipos de aspectos do Dataplex (roles/dataplex.aspectTypeOwner)
• Confira os tipos de aspectos e as políticas do IAM associadas a eles: Leitor do Dataplex Catalog (roles/dataplex.catalogViewer)
• Use tipos de aspecto para criar e modificar entradas com os aspectos correspondentes: Usuário de tipos de aspectos do Dataplex (roles/dataplex.aspectTypeUser)
• Adicione aspectos de alguns dos tipos de aspectos do sistema, como schema, overview e contacts: Proprietário de entrada do Dataplex (roles/dataplex.entryOwner)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Para mais informações, consulte Papéis do IAM do Dataplex.

Ativar a API

Ative a API Dataplex no seu projeto.

Ativar a API

Criar um tipo de aspecto

Console

1. No console do Google Cloud , acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de aspecto e modelos de tag > Personalizado.

3. Clique em Criar tipo de aspecto (Catálogo do Dataplex).

4. Na janela Create aspect type, insira o seguinte:

   1. Opcional: no campo Nome de exibição, insira um nome para o tipo de aspecto.
   2. No campo ID do tipo de aspecto, insira um ID exclusivo para o tipo de aspecto.
   3. Opcional: no campo Description, insira uma descrição para o tipo de aspecto.
   4. No campo Local, selecione um local para o tipo de aspecto. Não é possível modificar a localização de um tipo de aspecto depois de criá-lo.

5. Opcional: defina um modelo para o tipo de aspecto.

   Em Modelos, clique em Adicionar campo. Na seção Novo campo, insira o seguinte:

   1. Digite um nome no campo Nome.
   2. Opcional: no campo Nome de exibição, insira um nome de exibição.
   3. Opcional: no campo Descrição, insira uma descrição.

   4. No campo Tipo, selecione um tipo de dados. Com base na sua seleção, o próximo conjunto de campos e opções é exibido:

      • Se você selecionou Texto como o tipo de dados, siga estas etapas:

        1. No campo Tipo de texto, selecione o tipo de texto.
        2. No campo Valores de texto, forneça uma dica para o campo de texto. Para fazer isso, clique em Adicionar valor e insira a dica. É possível adicionar várias dicas para um campo de texto.
        3. Clique em Concluído.

      • Se você selecionou Enum como o tipo de dados, adicione um valor de enumeração:

        1. Clique em Adicionar um valor de tipo enumerado.
        2. No campo Valor, insira um valor de tipo enumerado. É possível adicionar vários valores de tipo enumerado.
        3. Clique em Concluído.

      • Se você selecionou Array como o tipo de dados, na seção Item de matriz, defina os tipos de itens que vão estar presentes na matriz:

        1. Clique em Adicionar item de matriz.
        2. No campo Nome, insira um nome para os itens da matriz.
        3. Opcional: no campo Nome de exibição, insira um nome de exibição para os itens da matriz.
        4. Opcional: no campo Description, insira uma descrição para os itens da matriz.

        5. No campo Type, selecione um tipo de dados para os itens da matriz.

           Com base na sua seleção, o próximo conjunto de campos e opções será mostrado. Elas são semelhantes às opções descritas para os tipos de dados Text, Enum, Map, Array e Record em outros lugares desta seção.

        6. Clique em Concluído.

      • Se você selecionou Mapa como o tipo de dados, na seção Mapa de valores, defina os tipos de valores que vão estar presentes no mapa:

        1. Clique em Adicionar valor do mapa.
        2. No campo Nome, insira um nome para o mapa.
        3. Opcional: no campo Nome de exibição, insira um nome de exibição para o mapa.
        4. Opcional: no campo Descrição, insira uma descrição para o mapa.

        5. No campo Tipo, selecione um tipo de dados para o mapa.

           Com base na sua seleção, o próximo conjunto de campos e opções será mostrado. Elas são semelhantes às opções descritas para os tipos de dados Text, Enum, Map, Array e Record em outros lugares desta seção.

        6. Clique em Concluído.

      • Se você selecionou Registro como o tipo de dados, insira o seguinte:

        1. No campo ID do registro, insira um ID exclusivo que outros campos de registro possam usar para se referir a esse registro. Consulte a seção Exemplo de uso dos campos de ID e referência do registro deste documento.
        2. Opcional: se você quiser adicionar uma referência a outro registro deste modelo, use o campo Referência de registro. Não é possível modificar esse valor depois de criar o tipo de aspecto. Consulte a seção Exemplo de uso dos campos de ID e referência do registro deste documento.

        3. Na seção Campos do registro, é possível definir um objeto complexo com vários campos aninhados. Para fazer isso, clique em Adicionar item de campo de registro e especifique o seguinte:

        4. No campo Nome, insira um nome para o campo de registro.

        5. Opcional: no campo Nome de exibição, insira um nome de exibição para o campo de registro.

        6. Opcional: no campo Descrição, insira uma descrição para o campo de registro.

        7. No campo Type, selecione um tipo de dados.

           Com base na sua seleção, o próximo conjunto de campos e opções será exibido. Elas são semelhantes às opções descritas para os tipos de dados Text, Enum, Map, Array e Record anteriores nesta seção.

        8. Clique em Concluído.

   5. Para tornar o campo obrigatório para um aspecto desse tipo, selecione É obrigatório. Para mais informações sobre aspectos obrigatórios e opcionais, consulte a seção categorias de aspectos deste documento.

   6. Clique em Concluído.

   7. Para adicionar vários campos, clique em Adicionar campo e repita as etapas anteriores.

6. Opcional: na seção Rótulos, adicione rótulos arbitrários como pares de chave-valor aos recursos:

   1. Clique em Adicionar rótulo.
   2. No campo Chave, insira uma chave.
   3. No campo Valor, insira um valor para a chave.
   4. Para adicionar mais rótulos, clique em Adicionar rótulo e repita as etapas.

7. Clique em Salvar.

gcloud

Para criar um tipo de aspecto, use o comando gcloud dataplex aspect-types create.

REST

Para criar um tipo de aspecto, use o método aspectType.create.

Depois de criar um tipo de aspecto, você pode adicionar aspectos às entradas.

Exemplo de uso dos campos de ID e referência do registro

É possível usar os campos ID do registro e Referência do registro para referências recursivas. O exemplo a seguir mostra como usar esses campos:

Considere um tipo de aspecto chamado Employee, com os seguintes campos:

• Nome (tipo:Text)
• Data de início (tipo:Date & time)
• Designação (tipo:Text)
• Endereço atual (tipo:Record)
• Endereço permanente (tipo:Record)

Os dois campos de endereço Endereço atual e Endereço permanente são do mesmo tipo de dados Record. Para evitar duplicações, defina os valores de ID do registro e Referência do registro ao definir esses campos.

Ao definir o campo Endereço atual, é possível especificar ID do registro como address-field. Para Endereço permanente, especifique o mesmo valor (address-field) para Referência do registro. Exemplo:

• Nome (tipo:Text)
• Data de início (tipo:Date & time)
• Designação (tipo:Text)
• Endereço atual (tipo:Record, ID do registro:address-field)
• Endereço permanente (tipo:Record, referência do registro:address-field)

Assim, você não precisa duplicar os campos de outro endereço.

Adicionar aspectos a uma entrada

Depois de criar um tipo de aspecto, você pode criar aspectos desse tipo. Para adicionar aspectos a uma entrada, você precisa atualizar a entrada, já que os aspectos são armazenados dentro das entradas.

Observe o seguinte:

• É possível adicionar aspectos a uma entrada ou às colunas dela.
• Só é possível editar os aspectos obrigatórios para entradas personalizadas. Não é possível excluir os aspectos obrigatórios.

• É possível editar e excluir os aspectos opcionais de entradas personalizadas e do sistema.

Console

1. No console do Google Cloud , acesse a página Pesquisa do Dataplex.

   Acesse Pesquisar

2. Em Escolher plataforma de pesquisa, selecione Dataplex Catalog como o modo de pesquisa.

3. Pesquise a entrada que você quer adicionar aspectos e clique nela. A página de detalhes da entrada é aberta.

4. Para adicionar aspectos à entrada, siga estas etapas:

   1. Clique na guia Details.
   2. Para adicionar aspectos obrigatórios ou opcionais à entrada, na seção Tags e aspectos, clique em Adicionar na respectiva categoria.
      Não é possível adicionar aspectos obrigatórios se o tipo de entrada da entrada selecionada não tiver aspectos obrigatórios definidos.
      
   3. Pesquise e selecione o aspecto que você quer adicionar.
   4. Na janela Adicionar aspecto, insira os valores dos campos.
   5. Clique em Salvar.

5. Para adicionar aspectos a uma coluna da entrada, siga estas etapas:

   1. Na página de detalhes da entrada, clique na guia Esquema.
   2. Selecione as colunas em que você quer adicionar aspectos.
   3. Clique em Adicionar aspecto.
   4. Pesquise e selecione o aspecto que você quer adicionar.
   5. Na janela Adicionar aspecto, insira os valores dos campos.
   6. Clique em Salvar.

gcloud

Para adicionar aspectos a uma entrada ou a uma coluna de uma entrada, use o comando gcloud dataplex entries update.

REST

Para adicionar aspectos a uma entrada ou a uma coluna de uma entrada, use o método entry.patch.

Não é possível criar e usar aspectos em uma entrada em que o tipo de aspecto e a entrada estejam em organizações diferentes do Google Cloud .

Gerenciar aspectos atuais de uma entrada

Esta seção descreve como atualizar e excluir os aspectos de uma entrada.

Atualizar um aspecto

É possível editar os aspectos opcionais das entradas personalizadas e do sistema. Só é possível editar os aspectos obrigatórios para entradas personalizadas.

Console

1. No console do Google Cloud , acesse a página Pesquisa do Dataplex.

   Acesse Pesquisar

2. Em Escolher plataforma de pesquisa, selecione Dataplex Catalog como o modo de pesquisa.

3. Pesquise a entrada cujos aspectos você quer atualizar e clique nela.

   A página de detalhes da entrada é aberta.

4. Clique na guia Details.

5. Na seção Tags e aspectos, expanda o aspecto ou a tag que você quer atualizar e clique em Editar.

6. Na janela Editar aspecto, atualize os campos obrigatórios.

7. Clique em Salvar.

gcloud

Para atualizar aspectos de uma entrada ou coluna de uma entrada, use o comando gcloud dataplex entries update.

REST

Para atualizar aspectos de uma entrada ou coluna de uma entrada, use o método entry.update.

Excluir um aspecto

Observação: é possível excluir os aspectos opcionais de uma entrada, mas não os obrigatórios.

Console

1. No console do Google Cloud , acesse a página Pesquisa do Dataplex.

   Acesse Pesquisar

2. Em Escolher plataforma de pesquisa, selecione Dataplex Catalog como o modo de pesquisa.

3. Pesquise a entrada cujos aspectos você quer excluir e clique nela.

   A página de detalhes da entrada é aberta.

4. Clique na guia Details.

5. Na seção Tags e aspectos, expanda o aspecto ou a tag que você quer excluir e clique em Excluir.

6. Clique em Confirmar.

gcloud

Para excluir um aspecto de uma entrada, use o comando gcloud dataplex entries update.

REST

Para excluir um aspecto de uma entrada, use o método entry.update.

Gerenciar tipos de aspecto

Esta seção descreve como visualizar, atualizar e excluir tipos de aspecto.

Observação: não é possível editar, excluir ou modificar as permissões de tipos de aspectos do sistema.

Para mais informações sobre como gerenciar modelos de tags do Data Catalog, consulte Tags e modelos de tags.

Conferir a lista de tipos de aspecto e modelos de tag disponíveis

Console

1. No console do Google Cloud , acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de aspecto e modelos de tag.

   Esta página lista todos os tipos de aspectos do Dataplex Catalog e modelos de tag do Data Catalog disponíveis.

3. Para conferir tipos de aspecto e modelos de tags personalizados, clique na guia Personalizado. Na guia Personalizado, a coluna Origem do catálogo mostra onde o recurso está armazenado: Dataplex Catalog ou Data Catalog.

   Para conferir os tipos de aspectos do sistema, clique na guia Sistema.

   Para mais informações sobre tipos de aspectos personalizados e do sistema, consulte a seção Categorias de tipos de aspectos deste documento.

4. Opcional: para conferir a lista de tipos de aspecto e modelos de tag no projeto selecionado, clique na guia Personalizado e desative a opção Mostrar de todos os projetos.

   O botão Mostrar de todos os projetos está ativado por padrão, e a lista inclui recursos do Dataplex Catalog da organização selecionada e recursos do Data Catalog de todas as organizações que você pode acessar.

   Observação: se o botão Mostrar de todos os projetos estiver ativado, não será possível editar ou excluir um tipo de aspecto diretamente. Em vez disso, clique no tipo de aspecto para abrir a página Detalhes do tipo de aspecto e edite ou exclua.

gcloud

Para listar todos os tipos de aspecto disponíveis, use o comando gcloud dataplex aspect-types list.

REST

Para listar todos os tipos de aspecto disponíveis, use o método aspectTypes.list.

Conferir os detalhes de um tipo de aspecto ou modelo de tag

Console

1. No console do Google Cloud , acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de aspecto e modelos de tag.

3. Para conferir os detalhes de um tipo de aspecto do Dataplex Catalog, clique nele. A página de detalhes do tipo de aspecto é aberta, e você pode acessar detalhes, como nome de exibição, ID do tipo de aspecto, descrição, ID do projeto, local, rótulos, data de criação e data da última modificação.

   • Para conferir a estrutura do tipo de aspecto selecionado, clique na guia Modelo.
   • Para conferir a lista de 10 entradas relacionadas criadas recentemente, clique na guia Entradas de amostra.
   • Para pesquisar todas as entradas relacionadas, clique em Mostrar todas as entradas relacionadas na pesquisa. Esse botão só aparece se houver pelo menos uma entrada relacionada.

4. Para conferir os detalhes de um modelo de tag do Data Catalog, clique nele. A página de detalhes do modelo de tag é aberta no Data Catalog, onde você pode acessar detalhes, como nome de exibição, ID do modelo, ID do projeto, local, visibilidade e rótulos.

gcloud

Para conferir os detalhes de um tipo de aspecto, use o comando gcloud dataplex aspect-types describe.

REST

Para conferir os detalhes de um tipo de aspecto, use o método aspectTypes.get.

Atualizar um tipo de aspecto

É possível atualizar o nome de exibição, a descrição, os campos do modelo e os rótulos de um tipo de aspecto. Não é possível excluir um campo em um modelo.

Não é possível atualizar o ID e o local do tipo de aspecto depois de criar o tipo.

Console

1. No console do Google Cloud , acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de aspecto e modelos de tag.

3. Clique no tipo de aspecto que você quer atualizar.

4. Na página Detalhes do tipo de aspecto, clique em Editar.

5. Edite o nome de exibição, a descrição, os campos do modelo e os rótulos, conforme necessário.

6. Opcional: para marcar um campo no tipo de aspecto como descontinuado, siga estas etapas:

   1. Na seção Modelo, abra o campo.
   2. Selecione Descontinuado.
   3. No campo Motivo da descontinuação, digite um motivo para descontinuar o campo selecionado.
   4. Clique em Concluído.

7. Clique em Salvar.

gcloud

Para atualizar um tipo de aspecto, use o comando gcloud dataplex aspect-types update.

REST

Para atualizar um tipo de aspecto, use o método aspectTypes.patch.

Excluir um tipo de aspecto

Cuidado: a exclusão de um tipo de aspecto exclui todos os aspectos relacionados a ele.

Console

1. No console do Google Cloud , acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de aspecto e modelos de tag.

3. Clique no tipo de aspecto que você quer excluir.

4. Na página Detalhes do tipo de aspecto, clique em Excluir. Confirme quando solicitado.

gcloud

Para excluir um tipo de aspecto, use o comando gcloud dataplex aspect-types delete.

REST

Para excluir um tipo de aspecto, use o método aspectTypes.delete.

A seguir

• Saiba como pesquisar recursos de dados no Dataplex Catalog.
• Saiba como gerenciar entradas e importar fontes personalizadas.
• Saiba como importar metadados para o Dataplex.
• Saiba mais sobre o Dataplex Catalog.
• Saiba mais sobre a transição do Data Catalog para o Dataplex Catalog.