Gerenciar entradas e ingerir origens personalizadas

Este documento descreve como criar e gerenciar tipos de entrada, grupos de entrada, e entradas personalizadas para permitir a integração de origens de dados personalizadas em o Dataplex.

Uma entrada representa um recurso para o qual você captura metadados. Um grupo de entrada é é um contêiner para uma ou mais entradas, usado para gerenciar o controle de acesso o local. Um tipo de entrada define os metadados necessários para as entradas. Tipos de entrada para reunir estrutura e regras em um recurso de entrada de fluxo livre e pouco definido, permitindo que as entradas sejam extensíveis.

Para integrar uma fonte de dados personalizada ao Dataplex, crie uma entrada usando um tipo de entrada personalizado que está em um grupo de entrada personalizado. A criação de uma entrada personalizada envolve as seguintes etapas avançadas:

  1. Criar um grupo de entrada.
  2. Crie um tipo de entrada.
  3. Crie uma entrada personalizada para o tipo de entrada no grupo de entradas.

Entradas

Uma entrada representa um recurso de dados para o qual você captura metadados. Cada entrada é uma instância de um tipo de entrada. Cada operação nos aspectos de uma entrada precisa cumpram os aspectos exigidos de seu tipo de entrada. Por exemplo, quando você cria uma entrada, você deve fornecer valores para todos os tipos de aspecto definidos pelo tipo de entrada. Não é possível excluir esses aspectos de uma entrada marcada como required no tipo de entrada.

Categorias de inscrições

  • Entradas do sistema: o Dataplex cria entradas para o Google Cloud. recursos, como conjuntos de dados ou tabelas do BigQuery. As entradas que As criações do Dataplex são chamadas de entradas do sistema. Dataplex mantém as entradas do sistema atualizadas automaticamente com metadados contínuos a sincronização dos sistemas do Google Cloud com suporte.

    Não é possível modificar os metadados preenchidos automaticamente (chamados de aspectos) para entradas do sistema. Só é possível adicionar e modificar metadados adicionais para entradas do sistema usando aspectos opcionais. Para mais informações, consulte Categorias de aspectos.

  • Entradas personalizadas: entradas que você pode criar e gerenciar recursos personalizados são chamadas de entradas personalizadas. Os recursos personalizados são os recursos em serviços que não são do Google hospedados no Google Cloud ou externamente. por exemplo, no local.

Grupos de entradas

Um grupo de entrada é um contêiner para uma ou mais entradas. Você pode usar grupos de entradas para gerenciar o controle de acesso e a localização regional das entradas. Todas as entradas grupo pertence a um projeto.

Categorias de grupos de entradas

  • Grupos de entrada do sistema: para recursos do Google Cloud, o Dataplex cria automaticamente grupos de entradas para cada sistema em cada projeto e o local onde os recursos estão. Por exemplo, @bigquery é a entrada do sistema para o BigQuery.

  • Grupos de entradas personalizados: grupos de entradas criados para recursos personalizados.

Tipos de entrada

Os tipos de entrada definem os metadados necessários para entradas desse tipo, usando um conjunto de tipos de aspecto obrigatórios.

É possível especificar os tipos de aspecto necessários somente nas entradas, colunas de uma entrada. Quando você cria uma entrada de um tipo específico, você deve fornecer valores para todos os tipos de aspecto obrigatórios especificados pelo tipo de entrada.

Os tipos de aspecto obrigatórios referenciados em um tipo de entrada precisam pertencer ao mesmo projeto que o tipo de entrada.

Categorias de tipos de entrada

  • Tipos de entrada personalizados: tipos de entrada que você cria e gerencia. Você pode usar esses tipos de entrada para criar entradas personalizadas.

  • Tipos de entrada do sistema: o Dataplex fornece esses tipos de entrada. por padrão. Os tipos de entrada do sistema são categorizados restritas.

    A tabela a seguir descreve as categorias dos tipos de entrada do sistema e as lista de tipos de entrada que o Dataplex fornece para cada uma das categorias:

    Categoria do tipo de entrada do sistema Descrição Tipos de entrada que o Dataplex fornece
    Tipo de entrada do sistema reutilizável Você pode usar esse tipo de entrada para criar entradas personalizadas.
    • generic
    Tipo de entrada do sistema restrito Elas são reservadas para uso do sistema, como a criação de entradas para recursos do Google Cloud.

    Não é possível usar esses tipos de entrada para criar entradas, mas você pode editá-las desses tipos de entrada para adicionar aspectos opcionais.
    • bigquery-connection
    • bigquery-dataset
    • bigquery-model
    • bigquery-routine
    • bigquery-table
    • bigquery-view
    • cloudsql-database
    • cloudsql-instance
    • cloudsql-schema
    • cloudsql-table
    • cloudsql-view
    • sql-access
    • storage
    • storage-bucket
    • storage-folder
.

Você pode criar um tipo de entrada personalizado em um local regional específico ou como um recurso global. Os tipos de entrada do sistema são sempre globais. A localização de um tipo de entrada afeta o escopo de sua aplicabilidade. Para mais informações, consulte Restrições de projeto e local.

Antes de começar

Antes de gerenciar entradas e ingerir origens de dados personalizadas, concluiu as tarefas descritas nesta seção.

Funções exigidas

Para ter as permissões necessárias para criar e gerenciar entradas, peça ao administrador para conceder a você os seguintes papéis do IAM no recurso:

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Também é possível conseguir as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Para mais informações, consulte Papéis do IAM do Dataplex.

Ativar a API

Ativar a API Dataplex no seu projeto do Dataplex.

Ativar a API

Criar um grupo de entrada

Console

  1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

    Acessar o catálogo

  2. Clique na guia Grupos de entrada > Personalizado.

  3. Clique em Criar.

  4. Na janela Criar grupo de entrada, digite o seguinte:

    • Opcional: no campo Nome de exibição, insira o nome de exibição grupo de entrada.
    • ID do grupo de entradas: digite um ID exclusivo para o grupo de entradas.
    • Opcional: no campo Descrição, insira uma descrição para o grupo de entrada.
    • Local: selecione um local. Não é possível modificar o local após antes de criar o grupo de entrada.

  5. Opcional: na seção Rótulos, adicione rótulos arbitrários como chave-valor. aos seus recursos:

    1. Clique em Adicionar rótulo.
    2. No campo Chave, insira uma chave.
    3. No campo Valor, insira um valor para a chave.
    4. Para adicionar mais rótulos, clique em Adicionar rótulo e repita as etapas.

  6. Clique em Salvar.

REST

Para criar um grupo de entrada, use o entryGroups.Create .

Criar um tipo de entrada

Para ingerir uma nova origem, você precisa criar um tipo de entrada.

Console

  1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

    Acessar o catálogo

  2. Clique na guia Tipos de entrada > Personalizado.

  3. Clique em Criar.

  4. Na janela Criar tipo de entrada, digite o seguinte:

    1. Opcional: no campo Nome de exibição, insira o nome de exibição tipo de entrada.
    2. ID do tipo de entrada: insira um ID exclusivo para o tipo de entrada. Você não pode modifique isso depois de criar o tipo de entrada.
    3. Opcional: no campo Descrição, insira uma descrição para o tipo de entrada.
    4. Opcional: no campo Sistema, digite o sistema de origem.
    5. Opcional: no campo Plataforma, insira a plataforma que deste tipo pertencem. Por exemplo, Google Cloud.
    6. No campo Local, selecione uma opção. Não é possível modificar depois de criar o tipo de entrada.

  5. Opcional: na seção Aliases de tipo, defina o tipo de dados para o tipo de entrada. O tipo de dados pode ser usado para consultar entradas.

    1. Clique em Adicionar alias de tipo.
    2. No campo Tipo de alias, selecione um tipo de dados. É possível adicionar vários aliases de tipo.

  6. Na seção Tipos de aspecto obrigatórios, selecione os tipos de aspecto que são obrigatórias para este tipo de entrada. Cada entrada criada com base esse tipo terá esses tipos de aspecto obrigatórios atribuídos.

    1. Clique em Escolher tipo de aspecto.
    2. Na janela Selecionar tipos de aspecto, selecione o tipo de aspecto.
    3. Clique em Selecionar.

    Não é possível excluir os aspectos obrigatórios de uma entrada.

  7. Opcional: na seção Rótulos, adicione rótulos arbitrários como chave-valor. aos seus recursos:

    1. Clique em Adicionar rótulo.
    2. No campo Chave, insira uma chave.
    3. No campo Valor, insira um valor para a chave.
    4. Para adicionar mais rótulos, clique em Adicionar rótulo e repita as etapas.

  8. Clique em Salvar.

REST

Para criar um tipo de entrada, use o método entryType.create .

Criar uma entrada personalizada

Antes de criar uma entrada personalizada, verifique se você tem criou um grupo de entrada e um tipo de entrada.

Console

O console do Google Cloud não oferece suporte à criação de uma entrada personalizada. Em vez disso, use pela Google Cloud CLI ou pela API.

REST

Para criar uma entrada personalizada, use o entries.create .

Depois de criar uma entrada personalizada, adicione aspectos a ela. Para mais informações, consulte Adicionar aspectos a uma entrada.

Gerenciar grupos de entrada

Esta seção descreve como exibir a lista de grupos de entrada disponíveis, visualizar atualizar e excluir grupos de entradas.

Acessar a lista de grupos de entradas disponíveis

Console

  1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

    Acessar o catálogo

  2. Clique na guia Grupos de entrada.

    É possível acessar a lista de grupos de entradas personalizados e do sistema. Para mais mais informações, consulte as categorias dos grupos de entrada deste documento.

    Na guia Personalizada, os grupos de entradas com o sufixo (Data Catalog) são os grupos de entrada trazidos do Data Catalog.

  3. Para ver a lista dos grupos de entradas em todos os projetos, clique no botão Personalizada. Em seguida, clique no botão de alternância Mostrar de todos os projetos para na posição Ativado.

REST

Para ver a lista de grupos de entradas disponíveis, use o entryGroups.list .

Mais detalhes de um grupo de entrada

Console

  1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

    Acessar o catálogo

  2. Clique na guia Grupos de entrada.

  3. Clique no grupo de entradas com os detalhes que você quer conferir.

    A página de detalhes do grupo de entrada será aberta. Você pode acessar informações como nome de exibição, ID do grupo de entrada, descrição, ID do projeto, local, rótulos, a data de criação e a data da última modificação do grupo de entradas selecionado.

  4. Se o grupo de entrada for trazido do Data Catalog, indicado com o sufixo (Data Catalog), é possível exibir os detalhes em o Data Catalog e o catálogo do Dataplex do Google Cloud. Para fazer isso, na página de detalhes do grupo de entradas, selecione Data Catalog ou Dataplex Catalog.

  5. Para ver a lista de dez entradas relacionadas criadas recentemente, Clique na guia Entradas de amostra.

REST

Para recuperar os detalhes de um grupo de entradas, use o método entryGroups.get .

Atualizar um grupo de entrada

Console

  1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

    Acessar o catálogo

  2. Clique na guia Grupos de entrada > Personalizado.

  3. Clique no grupo de entrada que você quer atualizar.

  4. Na página Detalhes do grupo de entradas, clique em Editar.

  5. Edite o nome de exibição, a descrição e os rótulos conforme necessário.

  6. Clique em Salvar.

REST

Para atualizar um grupo de entradas, use o entryGroups.patch .

Excluir um grupo de entradas

Console

  1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

    Acessar o catálogo

  2. Clique na guia Grupos de entrada > Personalizado.

  3. Clique no grupo de entrada que você quer excluir.

  4. Na página Detalhes do grupo de entradas, clique em Excluir. Confirmar quando solicitado.

REST

Para excluir um grupo de entradas, use o entryGroups.delete .

Gerenciar tipos de entrada

Esta seção descreve como exibir a lista de grupos de entrada disponíveis, visualizar atualizar e excluir tipos de entrada.

Consultar a lista de tipos de entrada disponíveis

Console

  1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

    Acessar o catálogo

  2. Clique na guia Tipos de entrada.

    Você pode acessar a lista de tipos de entrada do sistema e personalizados. Para mais informações, consulte as categorias de tipos de entrada deste documento.

  3. Para ver a lista de tipos de entrada em todos os projetos, clique no guia Personalizada. Em seguida, clique no botão de alternância Mostrar de todos os projetos para a na posição.

REST

Para ver a lista de tipos de entrada disponíveis, use o menu suspenso entryTypes.list .

Mais detalhes de um tipo de entrada

Console

  1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

    Acessar o catálogo

  2. Clique na guia Tipos de entrada > Personalizado.

  3. Clique no tipo de entrada de que você quer ver os detalhes.

    A página de detalhes do tipo de entrada será aberta. Você pode acessar informações como nome de exibição, ID do tipo de entrada, descrição, ID do projeto, local, plataforma, sistema, aliases de tipo, marcadores, data de criação e data da última modificação de o tipo de entrada selecionado.

  4. Para ver a lista de dez entradas relacionadas criadas recentemente, Clique na guia Entradas de amostra.

REST

Para recuperar os detalhes de um tipo de entrada, use o método entryTypes.get .

Atualizar um tipo de entrada

Console

  1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

    Acessar o catálogo

  2. Clique na guia Tipos de entrada > Personalizado.

  3. Clique no tipo de entrada que você quer atualizar.

  4. Na página Detalhes do tipo de entrada, clique em Editar.

  5. editar o nome de exibição, a descrição, o sistema, a plataforma, os aliases de tipo; e rótulos, conforme necessário.

  6. Clique em Salvar.

REST

Para atualizar um tipo de entrada, use o método entryTypes.patch .

Excluir um tipo de entrada

Console

  1. No console do Google Cloud, acesse a página Catálogo do Dataplex.

    Acessar o catálogo

  2. Clique na guia Tipos de entrada > Personalizado.

  3. Clique no tipo de entrada que você quer excluir.

  4. Na página Detalhes do tipo de entrada, clique em Excluir. Confirmar quando solicitado.

REST

Para excluir um tipo de entrada, use o método entryTypes.delete .

A seguir