Gerenciar entradas e importar fontes personalizadas

Este documento descreve como criar e gerenciar tipos de entrada, grupos de entrada e entradas personalizadas para permitir a integração de fontes de dados personalizadas ao Dataplex.

Uma entrada representa um recurso para o qual você captura metadados. Um grupo de entrada é um contêiner para uma ou mais entradas, usado para gerenciar o controle de acesso e a localização regional. Um tipo de entrada define os metadados necessários para as entradas. Os tipos de entrada trouxeram estrutura e regras para um recurso de entrada livre e com pouca definição, permitindo que as entradas sejam extensível.

Para integrar uma fonte de dados personalizada ao Dataplex, crie uma entrada personalizada usando um tipo de entrada personalizado em um grupo de entrada personalizado. A criação de uma entrada personalizada envolve as seguintes etapas gerais:

1. Criar um grupo de entrada.
2. Crie um tipo de entrada.
3. Crie uma entrada personalizada para o tipo de entrada no grupo de entrada.

Entradas

Uma entrada representa um recurso de dados para o qual você captura metadados. Cada entrada é uma instância de um tipo de entrada. Cada operação em aspectos de uma entrada precisa estar em conformidade com os aspectos obrigatórios do tipo de entrada. Por exemplo, ao criar uma entrada, você precisa fornecer valores para todos os tipos de aspecto definidos pelo tipo de entrada. Não é possível excluir esses aspectos de uma entrada marcada como required no tipo de entrada.

Categorias de entradas

• Entradas do sistema: o Dataplex cria entradas para recursos Google Cloud, como conjuntos de dados ou tabelas do BigQuery. As entradas que o Dataplex cria são chamadas de entradas do sistema. O Dataplex mantém as entradas do sistema atualizadas automaticamente por meio da sincronização contínua de metadados dos sistemas Google Cloud compatíveis.

  Não é possível modificar os metadados que são preenchidos automaticamente (chamados de aspectos necessários) para entradas do sistema. Só é possível adicionar e modificar metadados adicionais para entradas do sistema usando aspectos opcionais. Para mais informações, consulte Categorias de aspectos.

• Entradas personalizadas: as entradas que você pode criar e gerenciar para recursos personalizados são chamadas de entradas personalizadas. Os recursos personalizados são os recursos em serviços que não são do Google e são hospedados em Google Cloud ou externamente (por exemplo, no local).

Grupos de entradas

Um grupo de entrada é um contêiner para uma ou mais entradas. Você pode usar grupos de entrada para gerenciar o controle de acesso e a localização regional das entradas. Cada grupo de entrada pertence a um projeto.

Categorias de grupos de entradas

• Grupos de entrada do sistema: para recursos Google Cloud , o Dataplex cria automaticamente grupos de entrada para cada sistema em todos os projetos e locais em que os recursos estão. Por exemplo, @bigquery é o grupo de entrada do sistema para o BigQuery.

• Grupos de entrada personalizados: grupos de entrada criados para recursos personalizados.

Tipos de entrada

Os tipos de entrada definem os metadados necessários para entradas desse tipo, usando um conjunto de tipos de aspecto obrigatórios.

Só é possível especificar os tipos de aspecto obrigatórios nas entradas, e não nas colunas de uma entrada. Ao criar uma entrada de um tipo específico, é necessário fornecer valores para todos os tipos de aspecto obrigatórios especificados pelo tipo de entrada.

Os tipos de aspecto obrigatórios referenciados em um tipo de entrada precisam pertencer ao mesmo projeto.

Categorias de tipos de entrada

• Tipos de entrada personalizados: tipos de entrada criados e gerenciados por você. Você pode usar esses tipos de entrada para criar entradas personalizadas.

• Tipos de entrada do sistema: o Dataplex oferece esses tipos de entrada por padrão. Os tipos de entrada do sistema são categorizados em reutilizáveis e restritos.

  A tabela a seguir descreve as categorias de tipos de entrada do sistema e a lista de tipos de entrada que o Dataplex fornece para cada uma das categorias:

  Categoria do tipo de entrada do sistema	Descrição	Tipos de entrada fornecidos pelo Dataplex
  Tipo de entrada do sistema reutilizável	Você pode usar esse tipo de entrada para criar entradas personalizadas.	generic
  Tipo de entrada de sistema restrito	Elas são reservadas para uso do sistema, como a criação de entradas para recursosGoogle Cloud . Não é possível usar esses tipos de entrada para criar entradas, mas você pode editar entradas desses categorias para adicionar aspectos opcionais.	bigquery-connection bigquery-dataset bigquery-model bigquery-routine bigquery-table bigquery-view cloudsql-database cloudsql-instance cloudsql-schema cloudsql-table cloudsql-view dataform-repository dataform-code-asset sql-access storage storage-bucket storage-folder

Observação: entradas do tipo entrygroup representam grupos de entradas e são criadas automaticamente quando um grupo de entradas é criado. É possível pesquisar entradas deste tipo. Ao contrário das entradas normais, não é possível excluir essas entradas. Em vez disso, é necessário excluir o grupo de entrada.

É possível criar um tipo de entrada personalizada em um local regional específico ou como um recurso global. Os tipos de entrada do sistema são sempre globais. A localização de um tipo de entrada afeta o escopo de aplicabilidade dele. Para mais informações, consulte Restrições de projeto e localização.

Antes de começar

Antes de gerenciar entradas e ingerir fontes de dados personalizadas, verifique se você concluiu as tarefas descritas nesta seção.

Funções exigidas

Para receber as permissões necessárias para criar e gerenciar entradas, peça ao administrador para conceder a você os seguintes papéis do IAM no recurso:

• Conjunto completo de permissões em entradas, grupos de entrada e tipos de entrada: Administrador do Dataplex Catalog (roles/dataplex.catalogAdmin)
• Crie e gerencie todos os recursos do Dataplex Catalog, incluindo entradas, grupos de entrada e tipos de entrada: Editor do Dataplex Catalog (roles/dataplex.catalogEditor)
• Acesso total a operações relacionadas à entrada: Proprietário de entradas do Dataplex (roles/dataplex.entryOwner)
• Visualizar entradas, grupos de entrada, tipos de entrada e políticas do IAM associadas a eles: Leitor do Dataplex Catalog (roles/dataplex.catalogViewer)
• Use tipos de aspectos para criar aspectos desses tipos ao criar entradas personalizadas: Usuário de tipos de aspectos do Dataplex (roles/dataplex.aspectTypeUser)
• Criar e gerenciar grupos de entrada: Proprietário de grupos de entrada do Dataplex (roles/dataplex.entryGroupOwner)
• Criar e gerenciar tipos de entradas: Proprietário de tipos de entradas do Dataplex (roles/dataplex.entryTypeOwner)
• Use os tipos de entrada para criar e modificar entradas desses tipos: Usuário de tipos de entrada do Dataplex (roles/dataplex.entryTypeUser)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Observação: quando você usa um tipo de entrada para criar e modificar entradas desse tipo, se o tipo de entrada e a entrada estiverem em projetos diferentes, conceda o papel do IAM de usuário do tipo de entrada do Dataplex (roles/dataplex.entryTypeUser) no projeto em que o tipo de entrada está.

Para mais informações, consulte Papéis do IAM do Dataplex.

Ativar a API

Ative a API Dataplex no seu projeto.

Ativar a API

Criar um grupo de entrada

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Grupos de entrada > Personalizado.

3. Clique em Criar grupo de entrada (Catálogo do Dataplex).

4. Na janela Criar grupo de entradas, insira o seguinte:

   1. Opcional: no campo Nome de exibição, insira um nome de exibição para o grupo de entrada.
   2. ID do grupo de entrada: insira um ID exclusivo para o grupo de entrada.
   3. Opcional: no campo Descrição, insira uma descrição para o grupo de entrada.
   4. Local: selecione um local. Não é possível modificar o local depois de criar o grupo de entrada.

5. Opcional: na seção Rótulos, adicione rótulos arbitrários como pares de chave-valor aos recursos:

   1. Clique em Adicionar rótulo.
   2. No campo Chave, insira uma chave.
   3. No campo Valor, insira um valor para a chave.
   4. Para adicionar mais rótulos, clique em Adicionar rótulo e repita as etapas.

6. Clique em Salvar.

gcloud

Para criar um grupo de entradas, use o comando gcloud dataplex entry-groups create.

REST

Para criar um grupo de entrada, use o método entryGroups.Create.

Criar um tipo de entrada

Para importar uma nova fonte, é necessário criar um tipo de entrada.

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de entrada > Personalizado.

3. Clique em Criar.

4. Na janela Create entry type, insira o seguinte:

   1. Opcional: no campo Nome de exibição, insira um nome de exibição para o tipo de entrada.
   2. ID do tipo de entrada: insira um ID exclusivo para o tipo de entrada. Não é possível modificar esse valor depois de criar o tipo de entrada.
   3. Opcional: no campo Description, insira uma descrição para o tipo de entrada.
   4. Opcional: no campo Sistema, insira o sistema de origem.
   5. Opcional: no campo Plataforma, insira a plataforma a que as entradas deste tipo pertencem. Por exemplo, Google Cloud.
   6. No campo Local, selecione um local. Não é possível modificar o local depois de criar o tipo de entrada.

5. Opcional: na seção Tipo de alias, defina o tipo de dados para seu tipo de entrada. O tipo de dados pode ser usado para consultar entradas.

   1. Clique em Adicionar alias de tipo.
   2. No campo Tipo de alias, selecione um tipo de dados. É possível adicionar vários tipos de aliases.

6. Na seção Tipos de aspecto obrigatórios, selecione os tipos de aspecto que são obrigatórios para esse tipo de entrada. Cada entrada criada com base nesse tipo terá esses tipos de aspecto obrigatórios atribuídos. A lista de tipos de aspectos obrigatórios não pode ser modificada depois que você cria o tipo de entrada.

   1. Clique em Escolher tipo de aspecto.
   2. Na janela Selecionar tipos de aspecto, selecione o tipo de aspecto.
   3. Clique em Selecionar.

   Não é possível excluir os aspectos obrigatórios de uma entrada.

7. Opcional: na seção Rótulos, adicione rótulos arbitrários como pares de chave-valor aos recursos:

   1. Clique em Adicionar rótulo.
   2. No campo Chave, insira uma chave.
   3. No campo Valor, insira um valor para a chave.
   4. Para adicionar mais rótulos, clique em Adicionar rótulo e repita as etapas.

8. Clique em Salvar.

gcloud

Para criar um tipo de entrada, use o comando gcloud dataplex entry-types create.

REST

Para criar um tipo de entrada, use o método entryTypes.create.

Criar uma entrada personalizada

Antes de criar uma entrada personalizada, verifique se você criou um grupo de entrada e um tipo de entrada.

Console

Não é possível criar uma entrada personalizada usando o console do Google Cloud. Em vez disso, use a CLI ou a API do Google Cloud.

gcloud

Para criar uma entrada personalizada, use o comando gcloud dataplex entries create.

REST

Para criar uma entrada personalizada, use o método entries.create.

Depois de criar uma entrada personalizada, você pode adicionar aspectos a ela. Para mais informações, consulte Adicionar aspectos a uma entrada.

Gerenciar grupos de entrada

Esta seção descreve como consultar a lista de grupos de entrada disponíveis, conferir detalhes, atualizar e excluir grupos de entrada.

Conferir a lista de grupos de entrada disponíveis

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Grupos de entrada.

   Esta página lista todos os grupos de entrada disponíveis do Dataplex Catalog e do Data Catalog.

3. Para conferir os grupos de entrada personalizados, clique na guia Personalizado. Na guia Personalizado, a coluna Origem do catálogo mostra onde o recurso está armazenado: no Dataplex Catalog ou no Data Catalog.

   Para conferir os grupos de entrada do sistema, clique na guia Sistema.

   Para mais informações sobre grupos de entrada personalizados e do sistema, consulte a seção Categorias de grupos de entrada deste documento.

4. Opcional: para conferir a lista de grupos de entrada no projeto selecionado, clique na guia Personalizado e desative a opção Mostrar de todos os projetos.

   O botão Mostrar de todos os projetos está ativado por padrão, e a lista inclui recursos do Dataplex Catalog da sua organização selecionada e recursos do Data Catalog de todas as organizações que você pode acessar.

   Observação: se o botão Mostrar de todos os projetos estiver ativado, não será possível editar ou excluir um grupo de entrada diretamente. Em vez disso, clique no grupo de entrada para abrir a página de detalhes dele e edite ou exclua.

gcloud

Para conferir a lista de grupos de entrada disponíveis, use o comando gcloud dataplex entry-groups list.

REST

Para conferir a lista de grupos de entrada disponíveis, use o método entryGroups.list.

Conferir detalhes de um grupo de entrada

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Grupos de entrada.

3. Clique no grupo de entrada que você quer consultar.

   A página de detalhes do grupo de entrada é aberta. É possível acessar informações como nome de exibição, ID do grupo de entrada, descrição, ID do projeto, local, rótulos, data de criação e data da última modificação do grupo de entrada selecionado.

   Para um grupo de entrada do Data Catalog, é possível conferir os detalhes nas interfaces da Web do Data Catalog e do Dataplex Catalog. Para fazer isso, na página de detalhes do grupo de entrada, clique em Data Catalog ou Dataplex Catalog.

   A seção Exemplos de entradas mostra 10 entradas relacionadas criadas recentemente no grupo de entrada selecionado.

4. Opcional: para conferir todas as entradas relacionadas a um grupo de entradas, na seção Entradas de amostra, clique em Mostrar todas as entradas relacionadas na pesquisa.

gcloud

Para extrair os detalhes de um grupo de entradas, use o comando gcloud dataplex entry-groups describe.

REST

Para recuperar os detalhes de um grupo de entradas, use o método entryGroups.get.

Atualizar um grupo de entrada

É possível atualizar um grupo de entradas personalizado. Não é possível modificar os grupos de entrada do sistema.

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Grupos de entrada > Personalizado.

3. Clique no grupo de entrada que você quer atualizar.

4. Na página Detalhes do grupo de entradas, clique em Editar.

5. Edite o nome de exibição, a descrição e os rótulos, conforme necessário.

6. Clique em Salvar.

gcloud

Para atualizar um grupo de entradas, use o comando gcloud dataplex entry-groups update.

REST

Para atualizar um grupo de entradas, use o método entryGroups.patch.

Excluir um grupo de entrada

Você pode excluir um grupo de entradas personalizadas. Não é possível excluir grupos de entradas do sistema.

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Grupos de entrada > Personalizado.

3. Clique no grupo de entrada que você quer excluir.

4. Na página Detalhes do grupo de entrada, clique em Excluir. Confirme quando solicitado.

gcloud

Para excluir um grupo de entradas, use o comando gcloud dataplex entry-groups delete.

REST

Para excluir um grupo de entradas, use o método entryGroups.delete.

Gerenciar tipos de entrada

Esta seção descreve como conferir a lista de grupos de entrada disponíveis, conferir detalhes, atualizar e excluir tipos de entrada.

Conferir a lista de tipos de entrada disponíveis

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de entrada.

3. Para conferir os tipos de entrada personalizados, clique na guia Personalizado. Para conferir os tipos de entrada do sistema, clique na guia Sistema. Para mais informações sobre tipos de entrada personalizados e do sistema, consulte a seção categorias de tipos de entrada deste documento.

4. Opcional: para conferir a lista de tipos de entrada no projeto selecionado, clique na guia Personalizado e, em seguida, clique no botão Mostrar de todos os projetos para desativar.

   O botão Mostrar de todos os projetos está ativado por padrão, e a lista inclui tipos de entrada de todos os projetos.

   Observação: se o botão Mostrar de todos os projetos estiver ativado, não será possível editar ou excluir um tipo de entrada diretamente. Em vez disso, clique no tipo de entrada para abrir a página de detalhes e edite ou exclua.

gcloud

Para conferir a lista de tipos de entrada disponíveis, use o comando gcloud dataplex entry-types list.

REST

Para conferir a lista de tipos de entrada disponíveis, use o método entryTypes.list.

Conferir os detalhes de um tipo de entrada

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de entrada > Personalizado.

3. Clique no tipo de entrada que você quer consultar.

   A página de detalhes do tipo de entrada é aberta. É possível acessar informações como nome de exibição, ID do tipo de entrada, descrição, ID do projeto, local, plataforma, sistema, tipos de alias, rótulos, data de criação e data da última modificação do tipo de entrada selecionado.

4. Opcional: para conferir a lista de 10 entradas relacionadas criadas recentemente, clique na guia Entradas de amostra.

5. Opcional: para conferir todas as entradas relacionadas a um grupo, clique na guia Entradas de amostra e em Mostrar todas as entradas relacionadas na pesquisa.

gcloud

Para extrair os detalhes de um tipo de entrada, use o comando gcloud dataplex entry-types describe.

REST

Para extrair os detalhes de um tipo de entrada, use o método entryTypes.get.

Atualizar um tipo de entrada

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de entrada > Personalizado.

3. Clique no tipo de entrada que você quer atualizar.

4. Na página Detalhes do tipo de entrada, clique em Editar.

5. Edite o nome de exibição, a descrição, o sistema, a plataforma, os tipos de alias e os rótulos, conforme necessário.

6. Clique em Salvar.

gcloud

Para atualizar um tipo de entrada, use o comando gcloud dataplex entry-types update.

REST

Para atualizar um tipo de entrada, use o método entryTypes.patch.

Excluir um tipo de entrada

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de entrada > Personalizado.

3. Clique no tipo de entrada que você quer excluir.

4. Na página Detalhes do tipo de entrada, clique em Excluir. Confirme quando solicitado.

gcloud

Para excluir um tipo de entrada, use o comando gcloud dataplex entry-types delete.

REST

Para excluir um tipo de entrada, use o método entryTypes.delete.

A seguir

• Saiba como pesquisar recursos de dados no Dataplex Catalog.
• Saiba como gerenciar aspectos e enriquecer metadados.
• Saiba como importar metadados para o Dataplex.
• Saiba mais sobre o Dataplex Catalog.