Faça a transição do Data Catalog para o Dataplex Universal Catalog

Se estiver a usar o Data Catalog, pode fazer a transição do conteúdo e da utilização do Data Catalog para o catálogo universal do Dataplex seguindo os passos descritos neste documento.

Se for a primeira vez que usa o catálogo, comece pelo Dataplex Universal Catalog ao configurá-lo como a experiência de catálogo predefinida.

Este documento destina-se a administradores de dados e responsáveis pelos dados.

O Dataplex Universal Catalog tem uma interface Web e uma API unificadas. A transição para o Dataplex Universal Catalog permite que as suas cargas de trabalho e utilizadores existentes e futuros beneficiem das respetivas funcionalidades e capacidades melhoradas. Para mais informações, consulte o artigo Acerca da gestão de metadados no Dataplex Universal Catalog.

Para uma comparação entre o Dataplex Universal Catalog e o Data Catalog, consulte o artigo Dataplex Universal Catalog versus Data Catalog.

Antes de iniciar a transição, reveja as funcionalidades de gestão de metadados que não são suportadas no catálogo universal do Dataplex.

Nota: as etiquetas de políticas e as taxonomias de etiquetas de políticas, que são usadas para o controlo de acesso ao nível da coluna no BigQuery, não estão descontinuadas.

Vista geral da transição

A página Gerir transição para o Dataplex Universal Catalog na Google Cloud consola oferece um único ponto de acesso para gerir a transição.

Esta secção descreve os vários cenários de transição e resume o processo de transição para cada um dos cenários.

Se não tiver metadados personalizados no catálogo de dados ou se nunca tiver usado o catálogo de dados

Se estiver a usar o Data Catalog e não tiver metadados personalizados, como etiquetas, modelos de etiquetas, entradas personalizadas ou grupos de entradas, ou se nunca tiver usado o Data Catalog, conclua a transição definindo a experiência predefinida da IU do catálogo como o Dataplex Universal Catalog.

Nota: se não tiver metadados personalizados no catálogo de dados ou se nunca tiver usado o catálogo de dados, ignore todas as outras tarefas descritas neste documento.

Se tiver metadados personalizados do Data Catalog ou cargas de trabalho programáticas

Se estiver a usar o Data Catalog com metadados personalizados (como etiquetas, modelos de etiquetas, entradas personalizadas ou grupos de entradas), o Dataplex Universal Catalog pode importar automaticamente estes metadados personalizados como read-only. Para ativar esta capacidade, são necessárias alterações de configuração, conforme descrito na fase preparatória.

A segunda fase é a fase de atualização, em que o estado ativo (read-write) dos seus metadados personalizados é movido para o catálogo universal do Dataplex. Durante esta fase, também tem de atualizar todas as cargas de trabalho programáticas (como API, bibliotecas de clientes, módulos do Terraform e comandos da CLI gcloud) para interagir com o catálogo universal do Dataplex.

Seguem-se mais detalhes sobre cada fase do processo de transição:

1. Fase preparatória: execute as tarefas de configuração necessárias para disponibilizar simultaneamente o conteúdo do Data Catalog no Dataplex Universal Catalog como read-only. Durante esta fase, o catálogo de dados continua a ser a origem autorizada do conteúdo dos metadados.

   A fase preparatória inclui as seguintes tarefas:

   1. Atualize os modelos de etiquetas privadas do catálogo de dados para públicos.
   2. Se o seu projeto estiver no Assured Workloads, ative os modelos de etiquetas e as etiquetas para a disponibilidade simultânea de metadados no Dataplex Universal Catalog.
   3. Configure as autorizações IAM do Dataplex Universal Catalog para os seus metadados personalizados.

   Para mais informações, consulte o artigo Fase preparatória.

2. Fase de atualização: mova a utilização do catálogo e o estado ativo (read-write) dos seus metadados personalizados para o Dataplex Universal Catalog.

   A fase de atualização inclui as seguintes tarefas:

   1. Defina a experiência da IU do catálogo predefinido para o Dataplex Universal Catalog.

   2. Atualize os metadados personalizados do Data Catalog para o Dataplex Universal Catalog.

      Tem de aguardar, pelo menos, 48 horas depois de ativar os modelos de etiquetas e as etiquetas e depois de tornar os modelos de etiquetas públicos antes de poder atualizar os metadados personalizados. Este tempo é necessário para o processamento interno.

   3. Atualize as cargas de trabalho programáticas.

   Quando concluir a fase de atualização, o catálogo universal do Dataplex torna-se a origem autorizada de todos os seus metadados e não precisa de usar o Data Catalog.

   Para mais informações, consulte a secção Fase de atualização.

Funções necessárias

Para receber as autorizações necessárias para fazer a transição do Data Catalog para o Dataplex Universal Catalog, conceda as seguintes funções de IAM no recurso:

• Atualize os modelos de etiquetas privados para públicos: Data Catalog TagTemplate Owner (roles/datacatalog.tagTemplateOwner)

  Esta função predefinida contém a autorização datacatalog.tagTemplates.update, que é necessária para atualizar modelos de etiquetas privadas para públicas.

• Ative os modelos de etiquetas públicas e as etiquetas para a disponibilidade simultânea de metadados no Dataplex Universal Catalog: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

  Esta função predefinida contém a autorização datacatalog.migrationConfig.set, que é necessária para ativar os modelos de etiquetas e as etiquetas.

• Defina a experiência da IU do catálogo predefinido como Dataplex Universal Catalog: DataCatalog Migration Config Admin (roles/datacatalog.migrationConfigAdmin)

  Esta função predefinida contém a autorização datacatalog.migrationConfig.set, que é necessária para definir a experiência da IU do catálogo predefinida.

• Atualize os modelos de etiquetas públicos do Data Catalog para o Dataplex Universal Catalog: Data Catalog TagTemplate Owner (roles/datacatalog.tagTemplateOwner)

  Esta função predefinida contém a autorização datacatalog.tagTemplates.update, que é necessária para atualizar os modelos de etiquetas públicas.

• Atualize os grupos de entradas do Data Catalog para o Dataplex Universal Catalog: DataCatalog EntryGroup Owner (roles/datacatalog.entryGroupOwner)

  Esta função predefinida contém a autorização datacatalog.entryGroups.update, que é necessária para atualizar grupos de entradas.

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Também pode conseguir as autorizações necessárias com funções personalizadas ou outras funções predefinidas.

Fase preparatória

Nota: execute as tarefas descritas nesta secção apenas se tiver metadados personalizados do catálogo de dados ou cargas de trabalho programáticas.

Esta fase envolve tarefas para disponibilizar simultaneamente o conteúdo dos metadados do Data Catalog no Dataplex Universal Catalog, no modo read-only.

Seguem-se os pontos-chave a ter em atenção durante a fase preparatória:

• O catálogo de dados continua a ser a origem autorizada dos seus metadados personalizados.
• A página Pesquisa do Dataplex Universal Catalog aponta para a pesquisa do Data Catalog por predefinição, que inclui apenas metadados do Data Catalog e não metadados do Dataplex Universal Catalog.
• A pesquisa do Dataplex Universal Catalog pode não incluir todos os modelos de etiquetas públicas e etiquetas do Data Catalog até concluir a fase preparatória.

Saiba mais sobre a disponibilidade simultânea de metadados do Data Catalog no Dataplex Universal Catalog

Os grupos de entradas personalizadas do Data Catalog e as respetivas entradas já estão disponíveis simultaneamente no Dataplex Universal Catalog como read-only. Quando ativa os modelos de etiquetas e as etiquetas públicas na fase preparatória, o respetivo conteúdo é disponibilizado simultaneamente no Dataplex Universal Catalog como read-only.

A tabela seguinte mostra o mapeamento entre os recursos do Data Catalog e do Dataplex Universal Catalog quando os recursos do Data Catalog são disponibilizados simultaneamente no Dataplex Universal Catalog:

Mapeamento entre o Data Catalog e o Dataplex Universal Catalog

Recurso do Data Catalog	Recurso do Dataplex Universal Catalog correspondente	Descrição
Modelo de etiqueta	Tipo de aspeto (global)	Os modelos de etiquetas no Data Catalog são recursos regionais. Quando ativa os modelos de etiquetas, o respetivo conteúdo fica disponível em simultâneo como tipos de aspetos globais no Dataplex Universal Catalog. Isto destina-se a preservar as referências inter-regionais entre etiquetas e modelos de etiquetas. As definições dos tipos de aspetos globais são replicadas para todas as Google Cloud regiões. Os conceitos padrão, como Schema, são representados por tipos de aspetos do sistema, que o Dataplex Universal Catalog fornece. Para mais informações, consulte o artigo Categorias de tipos de aspetos.
Etiqueta	Aspeto opcional	Quando ativa os modelos de etiquetas, as respetivas etiquetas ficam disponíveis simultaneamente como aspetos opcionais no Dataplex Universal Catalog. Para mais informações, consulte o artigo Categorias de aspetos.
Grupo de entradas	Grupo de entradas	Os grupos de entradas para entradas do sistema são estabelecidos por projeto e por região no Dataplex Universal Catalog. Os grupos de entradas criados no Data Catalog são disponibilizados simultaneamente no Dataplex Universal Catalog.
Entrada personalizada	Entrada personalizada	Todas as entradas personalizadas no catálogo de dados ficam simultaneamente disponíveis como entradas de GenericEntryType no catálogo universal do Dataplex. Para mais informações, consulte o artigo Categorias de tipos de entradas.
Entrada do sistema (Google Cloud)	Aspeto de entrada do sistema obrigatório	Os metadados que descrevem as entradas do sistema, como Schema para tabelas do BigQuery, são capturados nos aspetos necessários dos tipos de aspetos definidos pelo sistema.

Nota: normalmente, as atualizações ao conteúdo do Data Catalog são propagadas para o Dataplex Universal Catalog no prazo de 10 minutos. Em alguns casos, pode demorar mais tempo. Para validar a consistência dos dados, recomendamos que pare todas as escritas no Data Catalog e valide os recursos do catálogo universal do Dataplex em relação aos recursos do Data Catalog ou ao sistema de origem original antes da utilização.

Atualize os modelos de etiquetas privadas do catálogo de dados para públicos

Nota: execute esta tarefa apenas se estiver a usar modelos de etiquetas privados e etiquetas no catálogo de dados.
Os responsáveis ou os administradores de dados têm de executar esta tarefa.

O Dataplex Universal Catalog não suporta o conceito de aspetos privados (contrapartes de etiquetas privadas). Por conseguinte, os modelos de etiquetas privados e as etiquetas não são disponibilizados simultaneamente no Dataplex Universal Catalog. Para propagar etiquetas e modelos de etiquetas privados no Dataplex Universal Catalog, tem de os atualizar para públicos.

Antes de continuar, reveja a estrutura dos modelos de etiquetas privadas para verificar se a respetiva estrutura e metadados são consistentes com a visibilidade das etiquetas públicas.

Para atualizar modelos de etiquetas e etiquetas privadas para públicas, siga estes passos:

Consola

1. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

   Aceder ao catálogo

2. Clique em Gerir transição para o Dataplex Universal Catalog.

3. Clique no separador Modelos de etiquetas privadas.

4. Clique em Gerir modelos de etiquetas.

5. Na página Modelos de etiquetas, clique no modelo de etiqueta privado que quer atualizar.

6. Na página Detalhes do modelo, clique em Editar.

7. Na secção Visibilidade, selecione Público.

8. Clique em Atualizar.

REST

Para atualizar os modelos de etiquetas privadas para públicas, use o método tagTemplates.patch.

Ative etiquetas e modelos de etiquetas públicos para a disponibilidade simultânea de metadados no Dataplex Universal Catalog

Nota: execute esta tarefa apenas se os seus projetos estiverem no Assured Workloads e tiverem modelos de etiquetas e etiquetas públicos no Data Catalog.
Se tiver uma Google Cloud organização, o administrador da organização pode configurar esta definição ao nível da organização, para que se aplique a todos os modelos de etiquetas na organização.
Para migrar os modelos de etiquetas apenas num projeto específico, pode configurar esta definição para projetos individuais, sem afetar as definições de toda a organização.
Para projetos sem uma organização, o administrador do projeto tem de configurar esta definição para projetos individuais, e aplica-se a todos os modelos de etiquetas no projeto.

Quando ativa a opção, o conteúdo dos modelos e das tags públicos do Data Catalog é propagado de forma automática e contínua para o Dataplex Universal Catalog na sua Google Cloud organização ou projeto. Os modelos de etiquetas e as etiquetas públicas do Data Catalog são propagados para o Dataplex Universal Catalog como tipos de aspetos e aspetos públicos, respetivamente. As definições dos tipos de aspetos globais são replicadas para todas as Google Cloud regiões.

Para ativar as etiquetas e os modelos de etiquetas públicos, siga estes passos:

Consola

1. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

   Aceder ao catálogo

2. Clique em Gerir transição para o Dataplex Universal Catalog.

3. Clique no separador Ativar.

4. Clique em Fornecer aceitação.

5. Na caixa de diálogo de confirmação, introduza o texto apresentado e clique em Confirmar.

REST

Para ativar modelos de etiquetas e etiquetas, use o método setConfig.

Tanto para as Google Cloud organizações como para os projetos, pode revogar a opção de ativação originalmente fornecida clicando em Revogar opção de ativação. Quando revoga a aceitação, o processo de propagação de modelos de etiquetas e etiquetas do Data Catalog para o Dataplex Universal Catalog é interrompido. Os tipos de aspetos e os aspetos do Dataplex Universal Catalog que são criados pelo processo de aceitação, mas não são atualizados para o Dataplex Universal Catalog, são eliminados. O processo de eliminação pode demorar até 12 horas.

Nota: se revogar a aceitação para o seu projeto, mas o administrador da organização fornecer a aceitação ao nível da organização, a configuração da organização tem precedência e os modelos de etiquetas em todos os projetos na organização são migrados.

Configure as autorizações IAM do Dataplex Universal Catalog para os seus metadados personalizados

Os tipos de aspetos do catálogo universal do Dataplex e os grupos de entradas personalizados que representam modelos de etiquetas e grupos de entradas do Data Catalog não herdam as autorizações IAM do Data Catalog originais. As autorizações de IAM específicas necessárias também diferem entre o Dataplex Universal Catalog e o Data Catalog.

Por exemplo, se quiser criar aspetos usando um tipo de aspeto propagado (que representa um modelo de etiqueta do Data Catalog), tem de configurar as autorizações da IAM necessárias para esse tipo de aspeto. Da mesma forma, quando carrega metadados personalizados, para criar entradas personalizadas num grupo de entradas personalizadas propagado, tem de configurar as autorizações IAM necessárias para esse grupo de entradas.

Se estiver a usar funções de IAM do Data Catalog para gerir o acesso no Data Catalog ao nível do projeto ou superior, as autorizações necessárias do Dataplex Universal Catalog são incluídas automaticamente. No entanto, se estiver a usar funções personalizadas ou a atribuir funções da IAM diretamente a recursos específicos, tem de configurar manualmente as autorizações do catálogo universal do Dataplex para esses aspetos específicos e grupos de entradas personalizados.

Para mais informações sobre como as autorizações de IAM no Data Catalog correspondem às do Dataplex Universal Catalog, consulte o artigo Mapeamento de autorizações de IAM entre o Data Catalog e o Dataplex Universal Catalog.

Para configurar as autorizações de IAM do catálogo universal do Dataplex necessárias para os tipos de aspetos e os grupos de entradas personalizados, siga estes passos:

Consola

1. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

   Aceder ao catálogo

2. Clique em Gerir transição para o Dataplex Universal Catalog.

3. Clique no separador Autorizações da IAM do Dataplex.

4. Para configurar as autorizações da IAM do Dataplex Universal Catalog para tipos de aspetos, clique em Tipos de aspetos e modelos de etiquetas.

   1. Para o modelo de etiqueta propagado a partir do catálogo de dados, clique em > Autorizações.

   2. Clique em Adicionar responsáveis.

   3. Adicione um novo principal e atribua as funções necessárias.

   4. Clique em Guardar.

5. Para configurar as autorizações IAM do Dataplex Universal Catalog para grupos de entradas, clique em Grupos de entradas.

   1. Para o grupo de entradas propagado a partir do catálogo de dados, clique em > Autorizações.

   2. Clique em Adicionar responsáveis.

   3. Adicione um novo principal e atribua as funções necessárias.

   4. Clique em Guardar.

REST

Para configurar as autorizações da IAM do Dataplex Universal Catalog para tipos de aspetos, use o método aspectTypes.setIamPolicy.

Para configurar as autorizações da IAM do Dataplex Universal Catalog para grupos de entradas, use o método entryGroups.setIamPolicy.

Fase de atualização

Nota: execute as tarefas descritas nesta secção apenas se tiver metadados personalizados do catálogo de dados ou cargas de trabalho programáticas.

Esta fase envolve tarefas para mover o estado ativo (read-write) dos seus metadados personalizados do Data Catalog para o Dataplex Universal Catalog.

Seguem-se os pontos-chave a ter em conta durante a fase de atualização:

• A página Pesquisa do Dataplex Universal Catalog aponta para a pesquisa do Dataplex Universal Catalog por predefinição.
• Pode descobrir e ler os metadados do Data Catalog e do Dataplex Universal Catalog no Dataplex Universal Catalog.
• Para atualizar os metadados na consola Google Cloud , é feito o redirecionamento para a respetiva origem. Por exemplo, se estiver a atualizar modelos de etiquetas do catálogo de dados, é feito o redirecionamento para a página de modelos de etiquetas no catálogo de dados.

Defina a experiência da IU do catálogo predefinido para o Dataplex Universal Catalog

Nota: para uma Google Cloud organização, o administrador da organização tem de configurar esta definição ao nível da organização. Também pode configurá-lo para o seu próprio projeto, sem afetar as definições de toda a organização. Para projetos sem uma organização, o administrador do projeto tem de configurar esta definição para projetos individuais.

A definição da experiência da IU do catálogo predefinido para o Dataplex Universal Catalog significa o seguinte:

• Quando acede à página Pesquisa do Dataplex Universal Catalog na Google Cloud consola, a pesquisa do Dataplex Universal Catalog (catálogo do Dataplex) é apresentada por predefinição. A pesquisa do Dataplex Universal Catalog opera sobre o Dataplex Universal Catalog e encontra todo o seu conteúdo de metadados, incluindo conteúdo criado no Dataplex Universal Catalog e conteúdo importado do Data Catalog.

  A pesquisa do Data Catalog encontra apenas conteúdo do Data Catalog e não conteúdo do Dataplex Universal Catalog. Por conseguinte, recomendamos a utilização da pesquisa do Dataplex Universal Catalog.

• A interface Web incentiva a criação de novos recursos no catálogo universal do Dataplex. Por exemplo, a predefinição é Criar tipos de aspetos em vez de Criar modelos de etiquetas e Criar grupo de entradas (catálogo universal do Dataplex) em vez de Criar grupo de entradas (catálogo de dados).

• A definição da experiência da IU do catálogo predefinido para o Dataplex Universal Catalog é normalmente uma operação unidirecional. No entanto, o Dataplex Universal Catalog permite-lhe reverter alterações em casos excecionais, por exemplo, quando quer voltar a mudar a experiência da IU do catálogo predefinido para o Data Catalog. Se reverter as alterações, não pode aceder a nenhum conteúdo criado no catálogo universal do Dataplex, na interface Web do catálogo de dados.

Para definir a experiência da IU do catálogo predefinido como Dataplex Universal Catalog, siga estes passos:

Consola

1. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

   Aceder ao catálogo

2. Clique em Gerir transição para o Dataplex Universal Catalog.

3. Clique no separador Experiência da IU do catálogo predefinida.

4. Clique em Definir a experiência da IU do catálogo predefinido como Dataplex Universal Catalog.

REST

Para definir a experiência da IU do catálogo predefinido como Dataplex Universal Catalog, use o método setConfig.

Atualize os metadados personalizados do Data Catalog para o Dataplex Universal Catalog

Nota: os administradores de dados, os responsáveis pela gestão de dados ou os engenheiros de dados têm de realizar esta tarefa.

Pode atualizar os modelos de etiquetas públicas do Data Catalog (para os quais optou por participar) e os grupos de entradas personalizados para o Dataplex Universal Catalog. Certifique-se de que atualiza cada modelo de etiqueta e grupo de entradas personalizado separadamente.

Aviso: a ação de atualização é irreversível. Depois de atualizar os modelos de etiquetas e os grupos de entradas do Data Catalog existentes para o Dataplex Universal Catalog, não pode atualizá-los no Data Catalog. No entanto, pode eliminá-los no Data Catalog, uma vez que não tem impacto na versão atualizada para o Dataplex Universal Catalog.

O seguinte resume o processo de atualização:

• Efeito

  • Transfere o estado ativo dos recursos do Data Catalog para o Dataplex Universal Catalog. Após a atualização, para modificar o recurso ou aceder ao respetivo estado atual, tem de usar o catálogo universal do Dataplex.

• Alterações ao conteúdo e fluxo de dados

  • Marca o recurso como read-only no Data Catalog.
  • Marca o recurso como read-write no Dataplex Universal Catalog.
  • Interrompe a disponibilidade simultânea deste recurso.

• Dependências

  • A atualização de um modelo de etiqueta também atualiza todas as etiquetas que usam esse modelo.
  • A atualização dos grupos de entradas também atualiza todas as entradas desse grupo.
  • A atualização das entradas não afeta o estado de atualização das respetivas etiquetas e modelos de etiquetas.

Antes da atualização, para modificar o contexto empresarial de uma entrada (por exemplo, overview, contacts), pode usar a API Data Catalog e a API Dataplex. Após a atualização, tem de usar apenas a API Dataplex.

A descrição seguinte indica que operações são permitidas para uma entrada do catálogo de dados personalizada etiquetada, consoante o estado de atualização do grupo de entradas personalizado e do modelo de etiqueta relacionados:

• Quando um modelo de etiqueta está ativo no catálogo de dados, pode usar esse modelo de etiqueta para criar etiquetas. Depois de atualizar o modelo de etiqueta para o catálogo universal do Dataplex, não o pode usar para criar etiquetas no Data Catalog.
• Pode criar aspetos através de tipos de aspetos propagados a partir de modelos de etiquetas do Data Catalog apenas depois de atualizar os modelos de etiquetas.

Para atualizar os modelos de etiquetas e os grupos de entradas personalizados do Data Catalog para o Dataplex Universal Catalog, siga estes passos:

Consola

1. Certifique-se de que passaram, pelo menos, 48 horas após a ativação e após a publicação dos modelos de etiquetas antes de atualizar os modelos de etiquetas do catálogo de dados para o catálogo universal do Dataplex. Este tempo é necessário para o processamento interno.

2. Na Google Cloud consola, aceda à página Catálogo do Dataplex Universal Catalog.

   Aceder ao catálogo

3. Clique em Gerir transição para o Dataplex Universal Catalog.

4. Clique no separador Atualizar para o Dataplex.

5. Para atualizar os modelos de etiquetas do Data Catalog para o Dataplex Universal Catalog, clique em Ver tipos de aspetos e modelos de etiquetas.

   1. Selecione os modelos de etiquetas que quer atualizar.

   2. Clique em Atualizar.

   3. Na caixa de diálogo de confirmação, clique em Confirmar.

6. Para atualizar os grupos de entradas personalizados do Data Catalog para o Dataplex Universal Catalog, clique em Ver grupos de entradas.

   1. Selecione os grupos de entradas que quer atualizar.

   2. Clique em Atualizar.

   3. Na caixa de diálogo de confirmação, clique em Confirmar.

REST

Certifique-se de que passaram, pelo menos, 48 horas após a ativação e a disponibilização pública dos modelos de etiquetas antes de atualizar os modelos de etiquetas do catálogo de dados para o catálogo universal do Dataplex. Este tempo é necessário para o processamento interno.

Em seguida, para atualizar os modelos de etiquetas e os grupos de entradas personalizados do Data Catalog para o Dataplex Universal Catalog, use o método tagTemplates.patch.

Quando concluir a fase de atualização, o catálogo universal do Dataplex torna-se a fonte autorizada de todos os seus metadados, e não precisa de usar o Data Catalog.

Nota: pode haver um pequeno atraso após a atualização antes de todas as alterações do catálogo de dados serem refletidas no catálogo universal do Dataplex. Para validar a consistência dos dados em cargas de trabalho críticas em termos de tempo, recomendamos que valide os recursos do catálogo universal do Dataplex em relação aos recursos do catálogo de dados ou ao sistema de origem original antes da utilização.

Atualize cargas de trabalho programáticas

O Dataplex Universal Catalog inclui uma nova API, bibliotecas cliente, módulos do Terraform e comandos da CLI Google Cloud. Por conseguinte, tem de atualizar todas as cargas de trabalho existentes com utilização programática do Data Catalog para o Dataplex Universal Catalog. Consulte exemplos de código para o Dataplex Universal Catalog.

Certifique-se de que alinha a atualização das cargas de trabalho programáticas com a atualização dos recursos dependentes, como modelos de etiquetas e grupos de entradas personalizados. Isto é necessário porque a atualização move o estado ativo (read-write) de um recurso do Data Catalog para o Dataplex Universal Catalog.

Segue-se um exemplo de uma sequência de atualização de cargas de trabalho programáticas para interagir com o Dataplex Universal Catalog, coordenado com a atualização dos recursos dependentes:

1. Se as suas cargas de trabalho puderem tolerar a consistência eventual, mova as operações read das cargas de trabalho para o Dataplex Universal Catalog.

2. Mova as cargas de trabalho que executam operações de etiquetagem para o Dataplex Universal Catalog coordenado com a atualização dos respetivos modelos de etiquetas.write

3. Mova as cargas de trabalho que executam operações de carregamento personalizado write para o catálogo universal do Dataplex coordenado com a atualização dos respetivos grupos de entradas personalizadas.

Se precisar de desassociar a atualização das cargas de trabalho e a atualização dos recursos correspondentes, considere implementar lógica nas cargas de trabalho para encaminhar read-write para o Data Catalog ou o catálogo universal do Dataplex com base no estado de atualização dos recursos. Assim, as cargas de trabalho funcionam independentemente do estado de atualização do recurso relacionado.

Nota: o catálogo universal do Dataplex não suporta a gestão de entradas personalizadas e aspetos através do Terraform. Em alternativa, pode gerir os metadados personalizados em grande escala através de programação com um pipeline de conetividade gerido ou os métodos da API de importação de metadados.

O que se segue?

• Saiba mais sobre a gestão de metadados no Dataplex Universal Catalog.
• Saiba como pesquisar recursos no Dataplex Universal Catalog.
• Saiba como gerir aspetos e enriquecer os metadados.
• Saiba como gerir entradas e carregar origens personalizadas.
• Consulte a referência da API Dataplex.