Adicionar tabelas a um job de replicação

Depois de implantar um job de replicação, não é possível editar ou adicionar tabelas reimplantá-lo. Em vez disso, adicione as tabelas a um job de replicação novo ou duplicado.

Opção 1: criar um job de replicação

Adicionar tabelas a um novo job é a abordagem mais simples. Ele evita o recarregamento histórico de todas as tabelas e evita problemas de inconsistência de dados.

As desvantagens são o aumento da sobrecarga no gerenciamento de vários jobs de replicação e o consumo de mais recursos de computação, cada job é executado em um cluster temporário separado do Dataproc padrão. Essa última opção pode ser atenuada até certo ponto com o uso de um do Dataproc para os dois jobs.

Para obter mais informações sobre como criar novas tarefas, consulte a Tutoriais de replicação.

Para mais informações sobre como usar o cluster estático do Dataproc no Cloud Data Fusion, consulte Executar um pipeline em um cluster atual do Dataproc.

Opção 2: interromper o job de replicação atual e criar uma cópia

Se você duplicar o job de replicação para adicionar as tabelas, considere o seguinte:

  • Ativar o snapshot para o job duplicado resulta no carregamento histórico de todas as tabelas do zero. Isso é recomendado se você não puder usar a opção anterior, em que você executa jobs separados.

  • Desativar o snapshot para evitar o carregamento histórico pode resultar em dados perda, já que podem ocorrer eventos perdidos entre o momento em que o pipeline antigo é interrompido e o novo começa. Não é recomendável criar uma sobreposição para atenuar esse problema, porque isso também pode resultar na perda de dados. Os dados históricos das novas tabelas não são replicados.

Para criar um job de replicação duplicado, siga estas etapas:

  1. Interrompa o pipeline atual.

  2. Na página "Jobs de replicação", localize o job que você quer duplicar, clique em e em Duplicar.

  3. Ative o snapshot:

    1. Acesse Configurar origem.
    2. No campo Replicar dados atuais, selecione Sim.

  4. Adicione tabelas na janela Selecionar tabelas e transformações e siga as para implantar o pipeline de replicação.

A seguir