Adicionar tabelas a um job de replicação

Depois de implantar um job de replicação, não é possível editar ou adicionar tabelas a ele. Em vez disso, adicione as tabelas a um job de replicação novo ou duplicado.

Opção 1: criar um novo job de replicação

Adicionar tabelas a um novo job é a abordagem mais simples. Isso evita o recarregamento histórico de todas as tabelas e evita problemas de inconsistência de dados.

As desvantagens são o aumento da sobrecarga no gerenciamento de vários jobs de replicação e o consumo de mais recursos de computação, já que cada job é executado em um cluster temporário separado do Dataproc por padrão. Esse último pode ser atenuado até certo ponto usando um cluster estático compartilhado do Dataproc para os dois jobs.

Para mais informações sobre como criar novos jobs, consulte os Tutoriais de replicação.

Para mais informações sobre o uso de cluster estático do Dataproc no Cloud Data Fusion, consulte Executar um pipeline em um cluster atual do Dataproc

Opção 2: interromper o job de replicação atual e criar uma cópia

Se você duplicar o job de replicação para adicionar as tabelas, considere o seguinte:

  • A ativação do snapshot do job duplicado resulta no carregamento histórico de todas as tabelas do zero. Isso é recomendado se não for possível usar a opção anterior, em que você executa jobs separados.

  • Desativar o snapshot para evitar o carregamento histórico pode resultar em perda de dados, já que pode haver eventos perdidos entre o momento em que o pipeline antigo é interrompido e o novo é iniciado. Criar uma sobreposição para atenuar esse problema não é recomendado, já que isso também pode resultar em perda de dados. Os dados históricos das novas tabelas não são replicados.

Para criar um job de replicação duplicado, siga estas etapas:

  1. Interrompa o pipeline atual.

  2. Na página "Jobs de replicação", localize o job que você quer duplicar e clique em e em Duplicar.

  3. Ative o snapshot:

    1. Acesse Configurar origem.
    2. No campo Replicar dados atuais, selecione Sim.

  4. Adicione tabelas na janela Selecionar tabelas e transformações e siga o assistente para implantar o pipeline de replicação.

A seguir