Esta página descreve como alterar esquemas no Cloud Data Fusion quando replica dados de uma base de dados do Microsoft SQL Server para uma tabela do BigQuery. Para garantir que a tarefa de replicação continua a replicar dados de uma origem do SQL Server após as alterações ao esquema, siga estes passos.
Altere o esquema
Aceda à sua instância:
Na Google Cloud consola, aceda à página do Cloud Data Fusion.
Para abrir a instância no Cloud Data Fusion Studio, clique em Instâncias e, de seguida, em Ver instância.
Na interface Web do Cloud Data Fusion, clique em Replicação.
Pare a tarefa de replicação.
Aplique uma alteração de esquema suportada à tabela de origem, como Adicionar coluna anulável.
Crie uma nova tabela de captura usando o procedimento
sys.sp_cdc_enable_table
com um valor único para o parâmetro@capture_instance
.Aplique a mesma alteração de esquema na tabela de destino no BigQuery.
Reinicie a tarefa de replicação.
Opcional: quando a tarefa começa a transmitir novas alterações que ocorrem depois de parar a tarefa, pode eliminar a tabela de captura antiga através do procedimento armazenado
sys.sp_cdc_disable_table
. Defina o parâmetro@capture_instance
com o nome da instância de captura antigo.
Depois de aplicar uma alteração ao esquema da tabela de origem e antes de criar uma nova tabela de captura (como fez nos passos anteriores), todas as alterações são capturadas pela captura antiga com o esquema antigo. Se adicionou uma coluna, qualquer evento de alteração durante esse período não contém dados para a nova coluna. Se a sua aplicação não conseguir processar essa transição, siga estes passos:
Suspender todas as aplicações que geram registos da base de dados.
Certifique-se de que a tarefa de replicação processou todos os eventos existentes.
Pare a tarefa de replicação.
Aplique a alteração do esquema à tabela de origem, como Adicionar coluna anulável.
Crie uma nova tabela de captura através do procedimento
sys.sp_cdc_enable_table
com um valor único para o parâmetro@capture_instance
.Retome as aplicações que suspendeu no primeiro passo.
Aplique a mesma alteração de esquema na tabela de destino no BigQuery.
Reinicie a tarefa de replicação.
Opcional: quando a tarefa começar a transmitir novas alterações que ocorram depois de criar a nova tabela de captura no passo anterior, pode eliminar a tabela de captura antiga através do procedimento armazenado
sys.sp_cdc_disable_table
. Defina o parâmetro@capture_instance
com o nome da instância de captura antigo.
O que se segue?
- Saiba mais sobre a replicação.
- Consulte as alterações ao esquema suportadas.
- Consulte a API Replication.