Fazer a transição do Data Catalog para o Dataplex Catalog

Se você estiver usando o Data Catalog, poderá fazer a transição do conteúdo e do uso do Data Catalog para o Dataplex Catalog seguindo as etapas descritas neste documento.

Se você não sabe como usar o catálogo, comece com o Dataplex Catalog configurando-o como sua experiência de catálogo padrão.

Este documento é destinado a administradores e responsáveis pelos dados.

O Dataplex Catalog tem uma nova interface da Web e uma API. A transição para o Dataplex Catalog permite que as cargas de trabalho atuais e futuras e os usuários se beneficiem dos recursos aprimorados. Para mais informações, consulte Visão geral do Dataplex Catalog.

Para comparar o Dataplex Catalog e o Data Catalog, consulte Dataplex Catalog x Data Catalog.

Antes de iniciar a transição, consulte os recursos que não têm suporte no Dataplex Catalog.

Visão geral da transição

A página Gerenciar transição para o Dataplex no console do Google Cloud fornece um único ponto de acesso para gerenciar a transição.

Esta seção descreve os vários cenários de transição e descreve o processo de transição para cada um deles.

Se você não tiver metadados personalizados no Data Catalog ou nunca tiver usado o Data Catalog

Se você estiver usando o Data Catalog e não tiver metadados personalizados, como tags, modelos de tags, entradas personalizadas ou grupos de entradas, ou se nunca tiver usado o Data Catalog, conclua a transição definindo a experiência UI de catálogo padrão como o Dataplex Catalog.

Observação: se você não tiver metadados personalizados no Data Catalog ou se nunca tiver usado o Data Catalog, pule todas as outras tarefas descritas neste documento.

Se você tiver metadados personalizados ou cargas de trabalho programáticas do Data Catalog

Se você estiver usando o Data Catalog com metadados personalizados (como tags, modelos de tag, entradas personalizadas ou grupos de entrada), o Dataplex poderá importar esses metadados automaticamente para o Dataplex Catalog como read-only. Para ativar esse recurso, são necessárias mudanças na configuração, conforme descrito na fase preparatória.

A segunda fase é a fase de transferência, em que o estado ativo (read-write) dos metadados personalizados é movido para o Dataplex Catalog. Durante essa fase, você também precisa atualizar todas as cargas de trabalho programáticas (como API, bibliotecas de cliente, módulos do Terraform e comandos da Google Cloud CLI) para interagir com o Dataplex Catalog.

Confira a seguir mais detalhes sobre cada fase do processo de transição:

1. Fase preparatória: realize as tarefas de configuração necessárias para disponibilizar o conteúdo do Data Catalog simultaneamente no Dataplex Catalog como read-only. Durante essa fase, o Data Catalog continua sendo a fonte confiável do conteúdo de metadados.

   A fase preparatória inclui as seguintes tarefas:

   1. Atualize os modelos de tags particulares do Data Catalog para públicos.
   2. Ative os modelos de tag e as tags para disponibilidade simultânea de metadados no Dataplex Catalog.
   3. Configure as permissões do IAM do Dataplex Catalog para seus metadados personalizados.

   Para mais informações, consulte Fase preparatória.

2. Fase de transferência: mova o uso do catálogo e o estado ativo (read-write) dos metadados personalizados para o Dataplex Catalog.

   A fase de transferência inclui as seguintes tarefas:

   1. Defina a experiência padrão da UI do catálogo como o Dataplex Catalog.
   2. Transfira os metadados personalizados do Data Catalog para o Dataplex Catalog.
   3. Atualizar cargas de trabalho programáticas.

   Quando você conclui a fase de transferência, o Dataplex Catalog se torna a fonte oficial de todos os seus metadados, e você não precisa usar o Data Catalog.

   Para mais informações, consulte a Fase de transferência.

Funções exigidas

Para receber as permissões necessárias para fazer a transição do Data Catalog para o Dataplex Catalog, conceda os seguintes papéis do IAM no recurso:

• Atualizar modelos de tag particulares para públicos: Proprietário de TagTemplate do Data Catalog (roles/datacatalog.tagTemplateOwner)

  Esse papel predefinido contém a permissão datacatalog.tagTemplates.update, que é necessária para atualizar os modelos de tags privadas para públicas.

• Ative modelos e tags públicas para disponibilidade simultânea de metadados no Dataplex Catalog: Administrador de configuração de migração do DataCatalog (roles/datacatalog.migrationConfigAdmin).

  Esse papel predefinido contém a permissão datacatalog.migrationConfig.set, que é necessária para ativar os modelos e as tags.

• Defina a experiência padrão da UI do catálogo como Dataplex Catalog: Administrador de configuração de migração do DataCatalog (roles/datacatalog.migrationConfigAdmin)

  Esse papel predefinido contém a permissão datacatalog.migrationConfig.set, que é necessária para definir a experiência UI padrão do catálogo.

• Transferir modelos de tag públicos do Data Catalog para o Dataplex Catalog: Proprietário de TagTemplate do Data Catalog (roles/datacatalog.tagTemplateOwner).

  Esse papel predefinido contém a permissão datacatalog.tagTemplates.update, que é necessária para transferir modelos de tags públicas.

• Transferir grupos de entrada do Data Catalog para o catálogo do Dataplex: proprietário do DataCatalog EntryGroup (roles/datacatalog.entryGroupOwner).

  Esse papel predefinido contém a permissão datacatalog.entryGroups.update, que é necessária para transferir grupos de entrada.

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Também é possível receber as permissões necessárias com papéis personalizados ou outros papéis predefinidos.

Fase preparatória

Observação: realize as tarefas descritas nesta seção somente se você tiver metadados personalizados ou cargas de trabalho programáticas do Data Catalog.

Essa fase envolve tarefas para disponibilizar o conteúdo de metadados do Data Catalog simultaneamente no Dataplex Catalog, no modo read-only.

Confira a seguir os principais pontos a serem lembrados durante a fase preparatória:

• O Data Catalog continua sendo a fonte oficial dos metadados personalizados.
• A página Pesquisa do Dataplex aponta para a pesquisa do Data Catalog por padrão, que inclui apenas metadados do Data Catalog, e não do Dataplex Catalog.
• A pesquisa do Dataplex Catalog pode não incluir todos os modelos de tag e tags públicas do Data Catalog até que você conclua a fase preparatória.

Saiba mais sobre a disponibilidade simultânea de metadados do Data Catalog no Dataplex Catalog

Os grupos de entrada personalizados do Data Catalog e as entradas deles já são disponibilizados simultaneamente no Dataplex Catalog como read-only. Quando você ativa modelos de tags e tags públicas na fase preparatória, o conteúdo delas é disponibilizado simultaneamente no Dataplex Catalog como read-only.

A tabela a seguir mostra o mapeamento entre os recursos do Data Catalog e do Dataplex Catalog quando os recursos do Data Catalog são disponibilizados simultaneamente no Dataplex Catalog:

Mapeamento entre o Data Catalog e o Dataplex Catalog

Recurso do Data Catalog	Recurso correspondente do Dataplex Catalog	Descrição
Modelo de tag	Tipo de aspecto (global)	Os modelos de tag no Data Catalog são recursos regionais. Quando você ativa os modelos de tag, o conteúdo deles fica disponível simultaneamente como tipos de aspecto globais no Dataplex Catalog. Isso é para preservar as referências entre regiões entre tags e modelos de tag. As definições de tipos de aspecto globais são replicadas para todas as regiões do Google Cloud . Conceitos padrão, como Schema, são representados por tipos de aspecto do sistema, fornecidos pelo Dataplex. Para mais informações, consulte Categorias de tipos de aspectos.
Tag	Aspecto opcional	Quando você ativa os modelos de tag, as tags são disponibilizadas simultaneamente como aspectos opcionais no Dataplex Catalog. Para mais informações, consulte Categorias de aspectos.
Grupo de entradas	Grupo de entradas	Os grupos de entrada para entradas do sistema são estabelecidos por projeto e região no Dataplex Catalog. Os grupos de entrada criados no Data Catalog são disponibilizados simultaneamente no Dataplex Catalog.
Entrada personalizada	Entrada personalizada	Todas as entradas personalizadas no Data Catalog são disponibilizadas simultaneamente como entradas de GenericEntryType no Dataplex Catalog. Para mais informações, consulte Categorias de tipos de entrada.
Entrada do sistema (Google Cloud)	Aspecto obrigatório de entrada no sistema	Os metadados que descrevem entradas do sistema, como Schema para tabelas do BigQuery, são capturados em aspectos obrigatórios dos tipos de aspecto definidos pelo sistema.

Observação:normalmente, as atualizações do conteúdo do Data Catalog são propagadas para o Dataplex Catalog em até 10 minutos. Em alguns casos, pode levar mais tempo. Para garantir a consistência dos dados, recomendamos que você pare todas as gravações no Data Catalog e verifique os recursos do Dataplex Catalog em relação aos recursos do Data Catalog ou ao sistema de origem original antes do uso.

Atualizar os modelos de tags particulares do Data Catalog para públicos

Observação: realize esta tarefa somente se você estiver usando modelos de tags particulares e tags no Data Catalog.
Os administradores de dados ou de governança de dados precisam realizar esta tarefa.

O Dataplex Catalog não oferece suporte ao conceito de aspectos particulares (equivalentes a tags particulares). Portanto, as tags e os modelos de tags particulares não são disponibilizados simultaneamente no Dataplex Catalog. Para propagar modelos de tags e tags particulares no Dataplex Catalog, torne-as públicas.

Antes de continuar, revise a estrutura dos modelos de tags particulares para garantir que a estrutura e os metadados sejam consistentes com a visibilidade das tags públicas.

Para atualizar modelos de tag e tags particulares para públicos, siga estas etapas:

Console

1. No console do Google Cloud , acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique em Gerenciar transição para o Dataplex.

3. Clique na guia Modelos de tags privadas.

4. Clique em Gerenciar modelos de tag.

5. Na página Modelos de tag, clique no modelo de tag particular que você quer atualizar.

6. Na página Detalhes do modelo, clique em Editar.

7. Na seção Visibilidade, selecione Público.

8. Clique em Atualizar.

REST

Para atualizar os modelos de tags particulares para públicos, use o método tagTemplates.patch.

Ativar tags e modelos de tags públicos para disponibilidade simultânea de metadados no Dataplex Catalog

Observação: realize esta tarefa somente se você tiver modelos de tags e tags públicas no Data Catalog.
Se você tiver uma organização do Google Cloud , o administrador da organização vai precisar configurar essa configuração no nível da organização, e ela se aplica a todos os modelos de tag na organização.
Para projetos sem uma organização, o administrador precisa configurar essa configuração para projetos individuais, e ela se aplica a todos os modelos de tag do projeto.

Ao aceitar, o conteúdo de tags e modelos de tags públicas do Data Catalog é propagado de forma automática e contínua para o Dataplex Catalog na sua organização ou projeto (sem uma organização) do Google Cloud . Os modelos de tag e as tags públicas do Data Catalog são propagados para o Dataplex Catalog como tipos de aspectos e aspectos públicos, respectivamente. As definições de tipos de aspecto globais são replicadas para todas as regiões do Google Cloud .

Para ativar tags e modelos de tags públicas, siga estas etapas:

Console

1. No console do Google Cloud , acesse a página Catálogo do Dataplex.

   Acessar o catálogo

2. Clique em Gerenciar transição para o Dataplex.

3. Clique na guia Ativar.

4. Clique em Fornecer aceitação.

5. Na caixa de diálogo de confirmação, digite o texto exibido e clique em Confirmar.

REST

Para ativar modelos e tags, use o método setConfig.

Para organizações do Google Cloud e para projetos sem uma organização, é possível revogar a ativação fornecida originalmente clicando em Revogar ativação. Quando você revoga a ativação, o processo de propagação de tags e modelos de tags públicos do Data Catalog para o Dataplex Catalog é interrompido. Os tipos de aspecto e aspectos do Dataplex Catalog que são criados pelo processo de ativação, mas não são transferidos para o Dataplex Catalog, são excluídos. O processo de exclusão pode levar até 12 horas.

Configurar as permissões do IAM do Dataplex Catalog para seus metadados personalizados

Os tipos de aspecto e os grupos de entrada personalizados do Dataplex Catalog que representam modelos de tag e grupos de entrada do Data Catalog não herdam as permissões originais do IAM do Data Catalog. É necessário configurar manualmente as permissões do IAM do Dataplex para esses tipos de aspecto e grupos de entrada personalizados.

Por exemplo, se você quiser criar aspectos usando um tipo de aspecto propagado (que representa um modelo de tag do Data Catalog), configure as permissões necessárias do IAM para esse tipo de aspecto. Da mesma forma, ao transferir metadados personalizados, para criar entradas personalizadas em um grupo de entrada propagado, é necessário configurar as permissões necessárias do IAM para esse grupo.

Para mais informações sobre como as permissões do IAM no Data Catalog correspondem às do Dataplex Catalog, consulte Mapeamento de permissões do IAM entre o Data Catalog e o Dataplex Catalog.

Para configurar as permissões necessárias do IAM do Dataplex para tipos de aspecto e grupos de entrada personalizados, siga estas etapas:

Console

1. No console do Google Cloud , acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique em Gerenciar transição para o Dataplex.

3. Clique na guia Permissões do Dataplex.

4. Para configurar as permissões do IAM do Dataplex para tipos de aspectos, clique em Tipos de aspectos e modelos de tag.

   1. Para o modelo de tag propagado do Data Catalog, clique em > Permissões.

   2. Clique em Adicionar participantes.

   3. Adicione um novo principal e atribua os papéis necessários.

   4. Clique em Salvar.

5. Para configurar as permissões do IAM do Dataplex para grupos de entrada, clique em Grupos de entrada.

   1. Para o grupo de entrada propagado do Data Catalog, clique em > Permissões.

   2. Clique em Adicionar participantes.

   3. Adicione um novo principal e atribua os papéis necessários.

   4. Clique em Salvar.

REST

Para configurar as permissões do IAM do Dataplex para tipos de aspectos, use o método aspectTypes.setIamPolicy.

Para configurar as permissões do IAM do Dataplex para grupos de entrada, use o método entryGroups.setIamPolicy.

Fase de transferência

Observação: realize as tarefas descritas nesta seção somente se você tiver metadados personalizados ou cargas de trabalho programáticas do Data Catalog.

Essa fase envolve tarefas para mover o estado ativo (read-write) dos metadados personalizados do Data Catalog para o Dataplex Catalog.

Confira os pontos principais a serem lembrados durante a fase de transferência:

• A página Pesquisa do Dataplex aponta para a pesquisa do Dataplex Catalog por padrão.
• É possível descobrir e ler os metadados do Data Catalog e do Dataplex Catalog no Dataplex Catalog.
• Para atualizar os metadados no console do Google Cloud , você será redirecionado para a fonte. Por exemplo, se você estiver atualizando modelos de tag do Data Catalog, vai ser redirecionado para a página de modelos de tag no Data Catalog.

Definir a experiência padrão da interface do catálogo como Dataplex Catalog

Observação: para uma organização do Google Cloud , o administrador precisa configurar essa configuração no nível da organização. Para projetos sem uma organização, o administrador do projeto precisa configurar essa configuração para projetos individuais.

Definir a experiência padrão da UI do catálogo como o Dataplex Catalog significa:

• Quando você acessa a página Pesquisa do Dataplex no console doGoogle Cloud , a pesquisa do catálogo do Dataplex é exibida por padrão. A pesquisa do Dataplex Catalog opera sobre o Dataplex Catalog e encontra todo o conteúdo de metadados, incluindo o conteúdo criado no Dataplex Catalog e o conteúdo importado do Data Catalog.

  A pesquisa do Data Catalog encontra apenas o conteúdo do Data Catalog, não do Dataplex Catalog. Portanto, recomendamos usar a pesquisa do Dataplex Catalog.

• A interface da Web incentiva a criação de novos recursos no Dataplex Catalog. Por exemplo, o padrão é Criar tipos de aspecto em vez de Criar modelos de tag e Criar grupo de entrada (Catálogo do Dataplex) em vez de Criar grupo de entrada (Data Catalog).

• A definição da experiência padrão da UI do catálogo como o Dataplex Catalog é geralmente uma operação unidirecional. No entanto, o Dataplex permite reverter mudanças em casos excepcionais, por exemplo, quando você quer mudar a experiência padrão da interface de catálogo de volta para o Data Catalog. Se você reverter as mudanças, não vai poder acessar nenhum conteúdo criado no Dataplex Catalog na interface da Web do Data Catalog.

Para definir a experiência padrão da UI do catálogo como o Dataplex Catalog, siga estas etapas:

Console

1. No console do Google Cloud , acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique em Gerenciar transição para o Dataplex.

3. Clique na guia Pesquisa do Dataplex.

4. Clique em Definir a experiência padrão da interface do catálogo como Dataplex Catalog.

REST

Para definir a experiência padrão da UI do catálogo como o Dataplex Catalog, use o método setConfig.

Transferir metadados personalizados do Data Catalog para o Dataplex Catalog

Observação: administradores de dados, responsáveis ou engenheiros de dados precisam realizar essa tarefa.

É possível transferir os modelos de tag públicos do Data Catalog (que você ativou) e os grupos de entrada personalizados para o Dataplex Catalog. Transfira cada modelo de tag e grupo de entrada personalizado separadamente.

Aviso: a ação de transferência é irreversível. Depois de transferir os modelos de tag e os grupos de entrada do Data Catalog para o Dataplex Catalog, não será possível atualizá-los no Data Catalog. No entanto, é possível excluí-los no Data Catalog, porque isso não afeta a versão transferida para o Dataplex Catalog.

Confira a seguir um resumo do processo de transferência:

• Efeito

  • Transfere o estado ativo dos recursos do Data Catalog para o Dataplex Catalog. Depois da transferência, para modificar o recurso ou acessar o estado atual, use o Dataplex Catalog.

• Mudanças no conteúdo e no fluxo de dados

  • Marca o recurso como read-only no Data Catalog.
  • Marca o recurso como read-write no Dataplex Catalog.
  • Interrompe a disponibilidade simultânea desse recurso.

• Dependências

  • Ao transferir um modelo de tag, todas as tags que usam esse modelo também são transferidas.
  • Ao transferir grupos de entrada, todas as entradas desse grupo também são transferidas.
  • A transferência de entradas não afeta o status de transferência das tags e dos respectivos modelos de tag.

Antes da transferência, para modificar o contexto comercial de uma entrada (por exemplo, overview, contacts), você pode usar as APIs Data Catalog e Dataplex. Após a transferência, use apenas a API Dataplex.

Confira a seguir quais operações são permitidas para uma entrada personalizada do Data Catalog que está marcada, dependendo do status de transferência do grupo de entrada personalizada e do modelo de tag relacionado:

• Quando um modelo de tag está ativo no Data Catalog, você pode usá-lo para criar tags. Depois de transferir o modelo de tag para o Dataplex Catalog, não será possível usá-lo para criar tags no Data Catalog.
• Só é possível criar aspectos usando tipos de aspecto propagados de modelos de tags do Data Catalog depois de transferir os modelos de tags.

Para transferir os modelos de tags e os grupos de entrada personalizados do Data Catalog para o Dataplex Catalog, siga estas etapas:

Console

1. No console do Google Cloud , acesse a página Catalog do Dataplex.

   Acessar o catálogo

2. Clique em Gerenciar transição para o Dataplex.

3. Clique na guia Transferir para o Dataplex.

4. Para transferir modelos de tag do Data Catalog para o Dataplex Catalog, clique em Exibir tipos de aspecto e modelos de tag.

   1. Selecione os modelos de tag que você quer transferir.

   2. Clique em Transferir.

   3. Na caixa de diálogo, clique em Confirmar.

5. Para transferir grupos de entrada personalizados do Data Catalog para o Dataplex Catalog, clique em Exibir grupos de entrada.

   1. Selecione os grupos de entrada que você quer transferir.

   2. Clique em Transferir.

   3. Na caixa de diálogo, clique em Confirmar.

REST

Para transferir modelos de tag e grupos de entrada personalizados do Data Catalog para o Dataplex Catalog, use o método tagTemplates.patch.

Quando você conclui a fase de transferência, o Dataplex Catalog se torna a fonte oficial de todos os metadados, e você não precisa usar o Data Catalog.

Observação: pode haver um pequeno atraso após a transferência, antes que todas as mudanças do Data Catalog sejam refletidas no Dataplex Catalog. Para garantir a consistência dos dados em cargas de trabalho críticas para o tempo, recomendamos verificar os recursos do Dataplex Catalog em relação aos recursos do Data Catalog ou ao sistema de origem original antes do uso.

Atualizar cargas de trabalho programáticas

O Dataplex Catalog vem com uma nova API, bibliotecas de cliente, módulos do Terraform e comandos da Google Cloud CLI. Portanto, atualize as cargas de trabalho atuais com o uso programático do Data Catalog para o Dataplex Catalog. Consulte os exemplos de código para o Dataplex.

Alinhe a atualização de cargas de trabalho programáticas com a transferência dos recursos dependentes, como modelos de tags e grupos de entradas personalizados. Isso é necessário porque a transferência move o estado ativo (read-write) de um recurso do Data Catalog para o Dataplex Catalog.

Confira a seguir um exemplo de sequência de atualização de cargas de trabalho programáticas para interagir com o Dataplex Catalog, coordenado com a transferência dos recursos dependentes:

1. Se as cargas de trabalho puderem tolerar a consistência posterior, mova as operações read delas para o Dataplex Catalog.

2. Mova os workloads que executam operações de write de marcação para o Dataplex Catalog em conjunto com a transferência dos modelos de tag correspondentes.

3. Mova as cargas de trabalho que executam operações de ingestão personalizada write para o Dataplex Catalog, coordenando a transferência dos respectivos grupos de entrada personalizados.

Se você precisar desacoplar as cargas de trabalho de atualização e transferir os recursos correspondentes, considere implementar uma lógica nas cargas de trabalho para encaminhar read-write ao Data Catalog ou Dataplex Catalog no status de transferência de recursos. Assim, as cargas de trabalho vão operar independentemente do status de transferência do recurso relacionado.

Observação: o Dataplex Catalog não oferece suporte ao gerenciamento de entradas e aspectos personalizados usando o Terraform. Para gerenciar aspectos de entradas personalizadas, use bulk entry import. Não é possível gerenciar aspectos de entradas do sistema que o Dataplex cria automaticamente para seus recursos do Google Cloud. Use bulk entry import para isso.

A seguir

• Saiba mais sobre o Dataplex Catalog.
• Saiba como pesquisar recursos no Dataplex Catalog.
• Saiba como gerenciar aspectos e enriquecer metadados no Dataplex Catalog.
• Saiba como gerenciar entradas e importar fontes personalizadas no Dataplex Catalog.
• Consulte a referência da API Dataplex Catalog.