Como replicar dados do SQL Server para o BigQuery

---

Neste tutorial, mostramos como criar e implantar um job que replica continuamente os dados alterados de um banco de dados do Microsoft SQL Server para uma tabela do BigQuery.

Objetivos

Neste tutorial, você aprenderá a:

1. Ative a captura de dados de alteração (CDC) no seu banco de dados do SQL Server.
2. Crie e execute um job de replicação do Cloud Data Fusion.
3. Ver os resultados no BigQuery.

Custos

Neste documento, você usará os seguintes componentes faturáveis do Google Cloud:

• Cloud Data Fusion
• BigQuery
• Dataproc
• Cloud Storage
• Compute Engine

Para gerar uma estimativa de custo baseada na projeção de uso deste tutorial, use a calculadora de preços. Novos usuários do Google Cloud podem estar qualificados para uma avaliação gratuita.

Quando a replicação é executada, você é cobrado pelo cluster do Dataproc e há custos de processamento para o BigQuery. Para otimizar esses custos, recomendamos que você use os preços fixos do BigQuery.

Antes de começar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Cloud Data Fusion, BigQuery, and Cloud Storage APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Cloud Data Fusion, BigQuery, and Cloud Storage APIs.

   Enable the APIs

8. Crie uma instância pública do Cloud Data Fusion na versão 6.3.0 ou mais recente. Se você criar uma instância particular, configure o peering de rede VPC.
   • Ao criar a instância, ative a replicação clicando em Add Accelerators e selecionando a caixa de seleção Replication.
   • Para ativar em uma instância atual, consulte Ativar a replicação.

Importante: é necessário ativar a replicação na sua instância para que ela apareça no Menu da interface da Web do Cloud Data Fusion. Consulte Ativar a replicação.

Para mais informações sobre rede, consulte Como usar o HAProxy com o Cloud Data Fusion para navegar em topologias de rede complexas.

Funções exigidas

Para receber as permissões necessárias para este tutorial, consulte Controle de acesso com o IAM e Conceder permissão de usuário da conta de serviço.

Opcional: configurar uma instância de VM do SQL Server

1. Crie uma instância do SQL Server.

2. Faça o download do banco de dados AdventureWorks2017 (OLTP) e carregue os dados na sua instância do SQL Server.

Observação: se o SQL Server estiver sempre ativado, consulte Solução de problemas para conferir outras etapas.

Ativar a CDC no banco de dados do SQL Server

Para a replicação, ative a captura de dados de alteração (CDC) no banco de dados e na tabela que você quer replicar.

Observação: entre em contato com o administrador do banco de dados para conceder permissão para executar os comandos.

Se você tiver definido tipos de dados personalizados nas colunas da tabela que estão sendo replicadas, o proprietário da tabela precisará conceder permissões EXECUTE para os tipos de dados personalizados ao usuário do banco de dados especificado no job de replicação.

Criar e executar um job de replicação do Cloud Data Fusion

Fazer upload do driver JDBC

1. Faça o download do driver JDBC do SQL Server na máquina local.

2. Na interface da Web do Cloud Data Fusion, faça upload do driver JDBC. Use estes valores para configurar o driver JDBC:

   • No campo Nome, use sqlserver.
   • No campo Class Name, digite com.microsoft.sqlserver.jdbc.SQLServerDriver.
   • No campo Versão, mantenha o padrão.

Criar o job

1. Na interface da Web do Cloud Data Fusion, clique em Replicação.

2. Clique em Criar um job de replicação.

3. Na página Criar novo job de replicação, especifique um Nome para o job de replicação e clique em Próxima.

4. Configure a origem:

   1. Selecione Microsoft SQL Server como origem.
   2. Em Host, digite o nome do host do servidor SQL Server que será lido.
   3. Em Porta, insira a porta que será usada para se conectar ao SQL Server: 1433.
   4. Em Nome do plug-in JDBC, selecione sqlserver ou o nome que você especificou ao configurar o driver JDBC.
   5. Em Nome do banco de dados, insira AdventureWorks2017.
   6. Na seção Credenciais, insira seu nome de usuário e senha para acessar o servidor do SQL Server.

5. Clique em Próxima.

6. Configure o destino:

   1. Selecione o destino do BigQuery.
   2. O ID do projeto e a chave da conta de serviço são detectados automaticamente. Mantenha os valores padrão.
   3. Opcional: na seção Avançado, é possível configurar o nome e o local do bucket do Cloud Storage, o intervalo de carregamento, o prefixo da tabela de preparo e o comportamento quando as tabelas ou bancos de dados são descartados.

7. Clique em Próxima.

8. Se a conexão for bem-sucedida, uma lista de tabelas AdventureWorks2017 será exibida. Para este tutorial, selecione algumas tabelas e eventos, como Insert, Update e Delete.

   Observação: para continuar, é necessário ativar a CDC nas tabelas selecionadas.

9. Opcional: configure as propriedades avançadas. Neste tutorial, use as configurações padrão.

10. Clique em Próxima.

11. Na página Analisar avaliação, clique em Visualizar mapeamentos em qualquer uma das tabelas para conferir uma avaliação dos problemas de esquema, dos recursos ausentes ou dos problemas de conectividade que podem ocorrer durante a replicação. Os problemas precisam ser resolvidos antes de continuar. Para este tutorial, se alguma das tabelas tiver problemas, volte para a etapa em que você selecionou tabelas e selecione uma tabela ou evento sem problemas.

    Para mais informações sobre conversões de tipos de dados do banco de dados de origem para o destino do BigQuery, consulte Tipos de dados de replicação.

12. Clique em Back.

13. Clique em Próxima.

14. Revise o resumo dos detalhes do job de replicação e clique em Implantar job de replicação.

Observação: este tutorial usa o banco de dados OLTP AdventureWorks2017, que tem chaves primárias em todas as tabelas. Para replicar um banco de dados diferente, como o Data Warehouse DB AdventureWorksDW2017, exclua as tabelas que não têm chaves primárias ou adicione chaves primárias a essas tabelas.

Iniciar o job

• Na página Detalhes do job de replicação, clique em Iniciar.

O job de replicação é transferido do estado Provisionando para Iniciando em Em execução. No estado em execução, o job de replicação carrega um snapshot inicial dos dados da tabela que você selecionou (por exemplo, a tabela "Pessoas") no BigQuery. Nesse estado, o estado da tabela "Pessoas" é listado como Snapshot. Depois que o snapshot inicial é carregado no BigQuery, todas as alterações feitas na tabela "Pessoa" são replicadas no BigQuery. O estado da tabela é listado como Replicação.

Monitorar o job

É possível iniciar e interromper o job de replicação, revisar a configuração e os registros dele e monitorar o job.

É possível monitorar as atividades do job de replicação na página Detalhes do job de replicação.

1. Na página Replicação, clique no Nome do job de replicação.

2. Clique em Monitoring.

Ver os resultados no BigQuery

O job de replicação cria um conjunto de dados e uma tabela replicados no BigQuery. Os nomes são herdados dos nomes de bancos de dados e tabelas SQL Server correspondentes.

Observação: se o nome do banco de dados de origem não seguir as convenções de nomenclatura de conjuntos de dados do BigQuery ou se você tiver conflitos de nomenclatura ao replicar vários conjuntos de dados em um único conjunto de dados do BigQuery, especifique aliases nas propriedades de destino do BigQuery.

1. Abra o BigQuery no console do Google Cloud.

2. No painel à esquerda, clique no nome do projeto para abrir uma lista de conjuntos de dados.

3. Selecione o conjunto de dados adventureworks2017 e, depois, uma tabela para visualizar.

Para mais informações, consulte a documentação do BigQuery.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados no tutorial, exclua o projeto que os contém ou mantenha o projeto e exclua os recursos individuais.

Depois de concluir o tutorial, exclua os recursos criados em Google Cloud.

Excluir a instância de VM

1. In the Google Cloud console, go to the VM instances page.

   Go to VM instances

2. Select the checkbox for the instance that you want to delete.
3. To delete the instance, click More actions, click Delete, and then follow the instructions.

Excluir a instância do Cloud Data Fusion

Siga as instruções para excluir a instância do Cloud Data Fusion.

Excluir o projeto

Cuidado: excluir um projeto tem os seguintes efeitos:

• Tudo no projeto é excluído. Se você tiver usado um projeto existente para as tarefas neste documento, a exclusão dele incluirá a exclusão de quaisquer outros trabalhos feitos no projeto.
• Os IDs do projeto personalizados são perdidos. Ao criar o projeto, você pode ter criado um código do projeto personalizado para ser usado no futuro. Para preservar os URLs que usam o ID do projeto, como um URL appspot.com, exclua recursos específicos do projeto, em vez de excluir o projeto inteiro.

Se você planeja passar por várias arquiteturas, tutoriais ou guias de início rápido, a reutilização de projetos pode evitar que você exceda os limites da cota do projeto.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

A seguir

• Saiba mais sobre replicação no Cloud Data Fusion.
• Consulte a referência da API Replication.
• Faça o tutorial Como replicar dados do MySQL para o BigQuery.
• Faça o tutorial Como replicar dados do Oracle para o BigQuery.