Gerenciar entradas e importar fontes personalizadas

Este documento descreve como criar e gerenciar tipos de entrada, grupos de entrada, e entradas personalizadas para permitir a integração de origens de dados personalizadas em o Dataplex.

Uma entrada representa um recurso para o qual você captura metadados. Um grupo de entrada é é um contêiner para uma ou mais entradas, usado para gerenciar o controle de acesso o local. Um tipo de entrada define os metadados necessários para as entradas. Tipos de entrada para integrar estrutura e regras a um recurso de entrada de fluxo livre e pouco definido, permitindo que as entradas sejam extensíveis.

Para integrar uma fonte de dados personalizada ao Dataplex, crie uma entrada usando um tipo de entrada personalizado que está em um grupo de entrada personalizado. A criação de uma entrada personalizada envolve as seguintes etapas gerais:

1. Criar um grupo de entrada.
2. Crie um tipo de entrada.
3. Crie uma entrada personalizada para o tipo de entrada no grupo de entrada.

Entradas

Uma entrada representa um recurso de dados para o qual você captura metadados. Cada entrada é uma instância de um tipo de entrada. Cada operação nos aspectos de uma entrada precisa cumpram os aspectos exigidos de seu tipo de entrada. Por exemplo, ao criar uma entrada, você precisa fornecer valores para todos os tipos de aspecto definidos pelo tipo de entrada. Não é possível excluir esses aspectos de uma entrada marcada como required no tipo de entrada.

Categorias de entradas

• Entradas do sistema: o Dataplex cria entradas para o Google Cloud. recursos, como conjuntos de dados ou tabelas do BigQuery. As entradas que As criações do Dataplex são chamadas de entradas do sistema. Dataplex mantém as entradas do sistema atualizadas automaticamente com metadados contínuos a sincronização dos sistemas do Google Cloud com suporte.

  Não é possível modificar os metadados que são preenchidos automaticamente (chamados de aspectos necessários) para entradas do sistema. Só é possível adicionar e modificar metadados adicionais para entradas do sistema usando aspectos opcionais. Para mais informações, consulte Categorias de aspectos.

• Entradas personalizadas: as entradas que você pode criar e gerenciar para recursos personalizados são chamadas de entradas personalizadas. Os recursos personalizados são os recursos em serviços que não são do Google hospedados no Google Cloud ou externamente. por exemplo, no local.

Grupos de entradas

Um grupo de entrada é um contêiner para uma ou mais entradas. Você pode usar grupos de entrada para gerenciar o controle de acesso e a localização regional das entradas. Todas as entradas grupo pertence a um projeto.

Categorias de grupos de entradas

• Grupos de entrada do sistema: para recursos do Google Cloud, o Dataplex cria automaticamente grupos de entradas para cada sistema em cada projeto e o local onde os recursos estão. Por exemplo, @bigquery é a entrada do sistema para o BigQuery.

• Grupos de entrada personalizados: grupos de entrada criados para recursos personalizados.

Tipos de entrada

Os tipos de entrada definem os metadados necessários para entradas desse tipo usando um conjunto de tipos de aspecto obrigatórios.

Só é possível especificar os tipos de aspecto obrigatórios nas entradas, e não nas colunas de uma entrada. Ao criar uma entrada de um tipo específico, é necessário fornecer valores para todos os tipos de aspecto obrigatórios especificados pelo tipo de entrada.

Os tipos de aspecto obrigatórios referenciados em um tipo de entrada precisam pertencer ao mesmo projeto.

Categorias de tipos de entrada

• Tipos de entrada personalizados: tipos de entrada que você cria e gerencia. Você pode usar esses tipos de entrada para criar entradas personalizadas.

• Tipos de entrada do sistema: o Dataplex fornece esses tipos de entrada. por padrão. Os tipos de entrada do sistema são categorizados em reutilizáveis e restritos.

  A tabela a seguir descreve as categorias dos tipos de entrada do sistema e as lista de tipos de entrada que o Dataplex fornece para cada uma das categorias:

  Categoria do tipo de entrada do sistema	Descrição	Tipos de entrada que o Dataplex fornece
  Tipo de entrada do sistema reutilizável	Você pode usar esse tipo de entrada para criar entradas personalizadas.	generic
  Tipo de entrada de sistema restrito	Elas são reservadas para uso do sistema, como criação de entradas para recursos do Google Cloud. Não é possível usar esses tipos de entrada para criar entradas, mas você pode editá-las desses tipos de entrada para adicionar aspectos opcionais.	bigquery-connection bigquery-dataset bigquery-model bigquery-routine bigquery-table bigquery-view cloudsql-database cloudsql-instance cloudsql-schema cloudsql-table cloudsql-view sql-access storage storage-bucket storage-folder

Observação :entradas do tipo entrygroup representam grupos de entrada e são criado automaticamente quando um grupo de entrada é criado. Você pode pesquisar entradas deste tipo. Ao contrário das entradas normais, não é possível excluir essas entradas. Em vez disso, você precisa excluir o grupo de entrada.

É possível criar um tipo de entrada personalizada em um local regional específico ou como um recurso global. Os tipos de entrada do sistema são sempre globais. A localização de um tipo de entrada afeta o escopo de sua aplicabilidade. Para mais informações, consulte Restrições de projeto e local.

Antes de começar

Antes de gerenciar entradas e ingerir fontes de dados personalizadas, verifique se você concluiu as tarefas descritas nesta seção.

Funções exigidas

Para receber as permissões necessárias para criar e gerenciar entradas, peça ao administrador para conceder a você os seguintes papéis do IAM no recurso:

• Conjunto completo de permissões em entradas, grupos de entrada e tipos de entrada: Administrador do catálogo do Dataplex (roles/dataplex.catalogAdmin)
• Criar e gerenciar todos os recursos do catálogo do Dataplex, incluindo entradas, grupos de entradas e tipos de entrada: Editor de catálogo do Dataplex (roles/dataplex.catalogEditor)
• Acesso total a operações relacionadas à entrada: Proprietário de entrada do Dataplex (roles/dataplex.entryOwner)
• Confira entradas, grupos de entrada e tipos de entrada, além das políticas do IAM associadas a eles: Leitor do Dataplex Catalog (roles/dataplex.catalogViewer)
• Use os tipos de aspecto para criar aspectos desses tipos ao criar entradas personalizadas: Usuário de tipo de aspecto do Dataplex (roles/dataplex.aspectTypeUser)
• Criar e gerenciar grupos de entrada: Proprietário do grupo de entradas do Dataplex (roles/dataplex.entryGroupOwner)
• Criar e gerenciar tipos de entrada: Proprietário de tipo de entrada do Dataplex (roles/dataplex.entryTypeOwner)
• Use os tipos de entrada para criar e modificar entradas desses tipos: Usuário de tipos de entrada do Dataplex (roles/dataplex.entryTypeUser)

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível conseguir as permissões necessárias por meio de papéis personalizados ou de outros papéis predefinidos.

Observação: quando você usa um tipo de entrada para criar e modificar entradas desse tipo, se o tipo de entrada e a entrada estiverem em projetos diferentes, conceda o papel do IAM de usuário do tipo de entrada do Dataplex (roles/dataplex.entryTypeUser) no projeto em que o tipo de entrada está.

Para mais informações, consulte Papéis do IAM do Dataplex.

Ativar a API

Ativar a API Dataplex no projeto do Dataplex.

Ativar a API

Criar um grupo de entrada

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Grupos de entrada > Personalizado.

3. Clique em Criar.

4. Na janela Criar grupo de entradas, insira o seguinte:

   • Opcional: no campo Nome de exibição, insira um nome de exibição para o grupo de entrada.
   • ID do grupo de entrada: insira um ID exclusivo para o grupo de entrada.
   • Opcional: no campo Descrição, insira uma descrição para o grupo de entrada.
   • Local: selecione um local. Não é possível modificar o local depois de criar o grupo de entrada.

5. Opcional: na seção Rótulos, adicione rótulos arbitrários como chave-valor. aos seus recursos:

   1. Clique em Adicionar rótulo.
   2. No campo Chave, insira uma chave.
   3. No campo Valor, insira um valor para a chave.
   4. Para adicionar mais rótulos, clique em Adicionar rótulo e repita as etapas.

6. Clique em Salvar.

REST

Para criar um grupo de entrada, use o entryGroups.Create .

Criar um tipo de entrada

Para ingerir uma nova origem, você precisa criar um tipo de entrada.

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de entrada > Personalizado.

3. Clique em Criar.

4. Na janela Criar tipo de entrada, digite o seguinte:

   1. Opcional: no campo Nome de exibição, insira o nome de exibição tipo de entrada.
   2. ID do tipo de entrada: insira um ID exclusivo para o tipo de entrada. Não é possível modificar esse valor depois de criar o tipo de entrada.
   3. Opcional: no campo Descrição, insira uma descrição para o tipo de entrada.
   4. Opcional: no campo Sistema, digite o sistema de origem.
   5. Opcional: no campo Plataforma, insira a plataforma que deste tipo pertencem. Por exemplo, Google Cloud.
   6. No campo Local, selecione uma opção. Não é possível modificar depois de criar o tipo de entrada.

5. Opcional: na seção Tipo de alias, defina o tipo de dados para seu tipo de entrada. O tipo de dados pode ser usado para consultar entradas.

   1. Clique em Adicionar alias de tipo.
   2. No campo Tipo de alias, selecione um tipo de dados. É possível adicionar vários tipos de aliases.

6. Na seção Tipos de aspecto obrigatórios, selecione os tipos de aspecto que são obrigatórias para este tipo de entrada. Cada entrada criada com base nesse tipo terá esses tipos de aspecto obrigatórios atribuídos.

   1. Clique em Escolher tipo de aspecto.
   2. Na janela Selecionar tipos de aspecto, selecione o tipo de aspecto.
   3. Clique em Selecionar.

   Não é possível excluir os aspectos obrigatórios de uma entrada.

7. Opcional: na seção Rótulos, adicione rótulos arbitrários como pares de chave-valor aos recursos:

   1. Clique em Adicionar rótulo.
   2. No campo Chave, insira uma chave.
   3. No campo Valor, insira um valor para a chave.
   4. Para adicionar mais rótulos, clique em Adicionar rótulo e repita as etapas.

8. Clique em Salvar.

REST

Para criar um tipo de entrada, use o método entryType.create .

Criar uma entrada personalizada

Antes de criar uma entrada personalizada, verifique se você tem criou um grupo de entrada e um tipo de entrada.

Console

Não é possível criar uma entrada personalizada no console do Google Cloud. Em vez disso, use pela Google Cloud CLI ou pela API.

REST

Para criar uma entrada personalizada, use o método entries.create.

Depois de criar uma entrada personalizada, é possível adicionar aspectos a ela. Para mais informações, consulte Adicionar aspectos a uma entrada.

Gerenciar grupos de entrada

Esta seção descreve como consultar a lista de grupos de entrada disponíveis, conferir detalhes, atualizar e excluir grupos de entrada.

Observação :os grupos de entradas trazidos do Data Catalog têm o sufixo (Data Catalog). Não é possível editar nem excluir esses grupos de entrada, mas você pode gerenciar as permissões dele.

Conferir a lista de grupos de entrada disponíveis

Console

1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

   Acessar o catálogo

2. Clique na guia Grupos de entrada.

   Acesse a lista de grupos de entrada personalizados e do sistema. Para mais mais informações, consulte as categorias dos grupos de entrada deste documento.

   Na guia Personalizado, os grupos de entrada com o sufixo (Data Catalog) são os que são trazidos do Data Catalog.

3. Para conferir a lista de grupos de entrada em todos os projetos, clique na guia Personalizado e ative a opção Mostrar de todos os projetos.

   Observação: se o botão Mostrar de todos os projetos estiver ativado, não será possível editar ou excluir um grupo de entrada diretamente. Em vez disso, clique em grupo de entrada para abrir a página de detalhes do grupo e editar ou excluí-la.

REST

Para conferir a lista de grupos de entrada disponíveis, use o método entryGroups.list.

Mais detalhes de um grupo de entrada

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Grupos de entrada.

3. Clique no grupo de entrada para ver os detalhes.

   A página de detalhes do grupo de entrada será aberta. Você pode acessar informações como nome de exibição, ID do grupo de entrada, descrição, ID do projeto, local, rótulos, a data de criação e a data da última modificação do grupo de entradas selecionado.

4. Se o grupo de entrada for trazido do Data Catalog, indicado com o sufixo (Data Catalog), é possível exibir os detalhes em o Data Catalog e o catálogo do Dataplex do Google Cloud. Para isso, na página de detalhes do grupo de entrada, selecione Data Catalog ou Dataplex Catalog.

5. Para conferir a lista de 10 entradas relacionadas criadas recentemente, clique na guia Entradas de amostra.

REST

Para recuperar os detalhes de um grupo de entradas, use o método entryGroups.get .

Atualizar um grupo de entrada

Console

1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

   Acessar o catálogo

2. Clique na guia Grupos de entrada > Personalizado.

3. Clique no grupo de entrada que você quer atualizar.

4. Na página Detalhes do grupo de entradas, clique em Editar.

5. Edite o nome de exibição, a descrição e os rótulos conforme necessário.

6. Clique em Salvar.

REST

Para atualizar um grupo de entradas, use o método entryGroups.patch.

Excluir um grupo de entrada

Console

1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

   Acessar o catálogo

2. Clique na guia Grupos de entrada > Personalizado.

3. Clique no grupo de entrada que você quer excluir.

4. Na página Detalhes do grupo de entradas, clique em Excluir. Confirme quando solicitado.

REST

Para excluir um grupo de entradas, use o entryGroups.delete .

Gerenciar tipos de entrada

Esta seção descreve como conferir a lista de grupos de entrada disponíveis, conferir detalhes, atualizar e excluir tipos de entrada.

Conferir a lista de tipos de entrada disponíveis

Console

1. No console do Google Cloud, acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de entrada.

   Você pode acessar a lista de tipos de entrada do sistema e personalizados. Para mais informações, consulte as categorias de tipos de entrada deste documento.

3. Para ver a lista de tipos de entrada em todos os projetos, clique no guia Personalizada. Em seguida, clique no botão de alternância Mostrar de todos os projetos para a na posição.

   Observação: se o botão Mostrar de todos os projetos estiver ativado, não será possível editar ou excluir um tipo de entrada diretamente. Em vez disso, clique no tipo de entrada para abrir a página de detalhes e edite ou exclua.

REST

Para ver a lista de tipos de entrada disponíveis, use o menu suspenso entryTypes.list .

Mais detalhes de um tipo de entrada

Console

1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de entrada > Personalizado.

3. Clique no tipo de entrada para ver os detalhes.

   A página de detalhes do tipo de entrada é aberta. É possível acessar informações como nome de exibição, ID do tipo de entrada, descrição, ID do projeto, local, plataforma, sistema, tipos de alias, rótulos, data de criação e data da última modificação do tipo de entrada selecionado.

4. Para conferir a lista de 10 entradas relacionadas criadas recentemente, clique na guia Entradas de amostra.

REST

Para extrair os detalhes de um tipo de entrada, use o método entryTypes.get.

Atualizar um tipo de entrada

Console

1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de entrada > Personalizado.

3. Clique no tipo de entrada que você quer atualizar.

4. Na página Detalhes do tipo de entrada, clique em Editar.

5. editar o nome de exibição, a descrição, o sistema, a plataforma, os aliases de tipo; e rótulos, conforme necessário.

6. Clique em Salvar.

REST

Para atualizar um tipo de entrada, use o método entryTypes.patch .

Excluir um tipo de entrada

Console

1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

   Acessar o catálogo

2. Clique na guia Tipos de entrada > Personalizado.

3. Clique no tipo de entrada que você quer excluir.

4. Na página Detalhes do tipo de entrada, clique em Excluir. Confirme quando solicitado.

REST

Para excluir um tipo de entrada, use o método entryTypes.delete .

A seguir

• Saiba como pesquisar recursos de dados no Dataplex Catalog.
• Saiba como gerenciar aspectos e aprimorar metadados.
• Saiba como importar metadados para o Dataplex.
• Saiba mais sobre o Dataplex Catalog.