As etapas a seguir mostram como configurar um banco de dados do SQL Server do Amazon RDS para uso com o Datastream:
Ative a captura de dados alterados (CDC) no seu banco de dados de origem. Para ativar a CDC para seu banco de dados de origem, conecte-se ao banco de dados e execute o seguinte comando em um prompt SQL, em um terminal ou usando o painel do Amazon RDS:
EXEC msdb.dbo.rds_cdc_enable_db 'DATABASE_NAME'
Substitua
DATABASE_NAME
pelo nome do banco de dados de origem.Ative a CDC em cada tabela em que você precisa capturar mudanças:
USE [DATABASE_NAME] EXEC sys.sp_cdc_enable_table @source_schema = N'SCHEMA_NAME', @source_name = N'TABLE_NAME', @role_name = NULL GO
Substitua:
DATABASE_NAME
: o nome do banco de dados de origem.SCHEMA_NAME
: o nome do esquema ao qual as tabelas pertencemTABLE_NAME
: o nome da tabela em que você quer ativar a CDC
Inicie o agente SQL Server e verifique se ele está sendo executado durante todo o processo. Se o agente do SQL Server permanecer inativo por um período prolongado, os registros poderão ser truncados, resultando em uma perda permanente dos dados de mudança que não foram lidos pelo Datastream.
Para informações sobre como executar o SQL Server Agent, consulte Inicie, interrompa ou reinicie uma instância do SQL Server Agent.
Ative o isolamento de snapshots.
Ao preencher dados do seu banco de dados do SQL Server, é importante garantir instantâneos consistentes. Se você não aplicar as configurações descritas nesta seção, as alterações feitas no banco de dados durante o processo de preenchimento podem levar a duplicados ou resultados incorretos, especialmente para tabelas sem chaves primárias.
Ativar o isolamento de snapshots cria uma visualização temporária do seu banco de dados no início do processo de preenchimento. Isso garante que os dados copiados permaneçam consistentes, mesmo que outros usuários façam alterações nas tabelas ativas ao mesmo tempo. Ativar o isolamento de snapshots pode ter um pequeno impacto no desempenho, mas é essencial para a extração de dados confiável.
Para ativar o isolamento de snapshots:
- Acesse o banco de dados com um cliente do SQL Server.
- Execute este comando:
ALTER DATABASE DATABASE_NAME SET ALLOW_SNAPSHOT_ISOLATION ON;
Substitua DATABASE_NAME pelo nome do seu banco de dados.
Crie um usuário do Datastream:
Conecte-se ao banco de dados de origem e insira o seguinte comando:
USE DATABASE_NAME;
Crie um login para usar ao configurar o perfil de conexão no Datastream.
CREATE LOGIN YOUR_LOGIN WITH PASSWORD = 'PASSWORD';
Crie um usuário e atribua os papéis
db_owner
edb_denydatawriter
a ele:CREATE USER USER_NAME FOR LOGIN YOUR_LOGIN;
EXEC sp_addrolemember 'db_owner', 'USER_NAME'; EXEC sp_addrolemember 'db_denydatawriter', 'USER_NAME';
Adicione esse usuário ao banco de dados
master
:USE master; CREATE USER USER_NAME FOR LOGIN YOUR_LOGIN;
Etapas extras necessárias para o método CDC de registros de transações
As etapas descritas nesta seção são necessárias apenas quando você configura o banco de dados de origem do SQL Server para uso com o método CDC de registros de transações.
Conceda permissões
SELECT
para a funçãosys.fn_dblog
.USE master; GRANT SELECT ON sys.fn_dblog TO USER_NAME;
Adicione o usuário ao banco de dados msdb e atribua as seguintes permissões:
USE msdb; CREATE USER USER_NAME FOR LOGIN YOUR_LOGIN; GRANT SELECT ON dbo.sysjobs TO USER_NAME;
Atribua as seguintes permissões ao usuário no banco de dados
master
:USE master; GRANT VIEW SERVER STATE TO YOUR_LOGIN;
Defina o período de armazenamento para o qual você quer que as alterações fiquem disponíveis no seu fonte.
USE [DATABASE_NAME] EXEC sys.sp_cdc_change_job @job_type = 'capture' , @pollinginterval = 86399 EXEC sp_cdc_stop_job 'capture' EXEC sp_cdc_start_job 'capture'
O parâmetro
@pollinginterval
é medido em segundos com um valor recomendado. Defina como86399
. Isso significa que o registro de transações retém as alterações por 86.399 segundos (um dia). A execução do procedimentosp_cdc_start_job 'capture
inicia nas configurações.Configure uma proteção contra truncamento de registros.
Para garantir que o leitor de CDC tenha tempo suficiente para ler os registros, permitindo para evitar o uso do espaço de armazenamento, é possível configurar um truncamento proteger:
- Acesse o banco de dados com um cliente do SQL Server.
Crie uma tabela fictícia no banco de dados:
USE [DATABASE_NAME]; CREATE TABLE dbo.gcp_datastream_truncation_safeguard ( [id] INT IDENTITY(1,1) PRIMARY KEY, CreatedDate DATETIME DEFAULT GETDATE(), [char_column] CHAR(8) );
Crie um procedimento armazenado que execute uma transação ativa por um período que especificado para evitar o truncamento de registros:
CREATE PROCEDURE [dbo].[DatastreamLogTruncationSafeguard] @transaction_logs_retention_time INT AS BEGIN -- Start a new transaction BEGIN TRANSACTION; INSERT INTO dbo.gcp_datastream_truncation_safeguard (char_column) VALUES ('a') DECLARE @formatted_time VARCHAR(5) SET @formatted_time = CONVERT(VARCHAR(5), DATEADD(MINUTE, @transaction_logs_retention_time, 0), 108); -- Wait for X minutes before ending the transaction WAITFOR DELAY @formatted_time; -- Commit the transaction COMMIT TRANSACTION; END;
Crie outro procedimento armazenado. Desta vez, você cria um job que executa o procedimento armazenado que você criou na etapa anterior de acordo com um valor cadência:
CREATE PROCEDURE [dbo].[SetUpDatastreamJob] @transaction_logs_retention_time INT AS BEGIN DECLARE @database_name VARCHAR(MAX) SET @database_name = (SELECT DB_NAME());; DECLARE @command_str VARCHAR(MAX); SET @command_str = CONCAT('Use ', @database_name,'; exec dbo.DatastreamLogTruncationSafeguard @transaction_logs_retention_time = ' + CAST(@transaction_logs_retention_time AS VARCHAR(10))); DECLARE @job_name VARCHAR(MAX); SET @job_name = CONCAT(@database_name, '_', 'DatastreamLogTruncationSafeguardJob1') -- Add 3 schedules to the job to run again after specified time. IF NOT EXISTS( SELECT * FROM msdb.dbo.sysjobs WHERE name = @job_name ) BEGIN EXEC msdb.dbo.sp_add_job @job_name = @job_name, @enabled = 1, @description = N'Execute the procedure to run an active transaction for x minutes.'; EXEC msdb.dbo.sp_add_jobstep @job_name = @job_name, @step_name = N'Execute_DatastreamLogTruncationSafeguard', @subsystem = N'TSQL', @command = @command_str; -- Add a schedule that runs the stored procedure every given minutes starting now. DECLARE @schedule_name_1 VARCHAR(MAX); SET @schedule_name_1 = CONCAT(@database_name, '_', 'DatastreamEveryGivenMinutesFromNow') DECLARE @start_time_1 time; SET @start_time_1 = DATEADD(SECOND, 1, GETDATE()); DECLARE @formatted_start_time_1 INT; SET @formatted_start_time_1 = CONVERT(INT, REPLACE(CONVERT(VARCHAR(8), @start_time_1, 114), ':' ,'')); EXEC msdb.dbo.sp_add_schedule @schedule_name = @schedule_name_1, @freq_type = 4, -- daily start @freq_subday_type = 4, -- every X minutes daily @freq_interval = 1, @freq_subday_interval = @transaction_logs_retention_time, @active_start_time = @formatted_start_time_1; EXEC msdb.dbo.sp_attach_schedule @job_name = @job_name, @schedule_name = @schedule_name_1 ; -- Add a schedule that runs the stored procedure after every given minutes starting after some delay. DECLARE @schedule_name_2 VARCHAR(MAX); Set @schedule_name_2 = CONCAT(@database_name, '_', 'DatastreamEveryGivenMinutesAfterDelay'); DECLARE @start_time_2 time; SET @start_time_2 = DATEADD(MINUTE, @transaction_logs_retention_time / 2, GETDATE()); DECLARE @formatted_start_time_2 INT; SET @formatted_start_time_2 = CONVERT(INT, REPLACE(CONVERT(VARCHAR(8), @start_time_2, 114), ':' ,'')); EXEC msdb.dbo.sp_add_schedule @schedule_name = @schedule_name_2, @freq_type = 4, -- daily start @freq_subday_type = 4, -- every x minutes daily @freq_interval = 1, @freq_subday_interval = @transaction_logs_retention_time, @active_start_time = @formatted_start_time_2; EXEC msdb.dbo.sp_attach_schedule @job_name = @job_name, @schedule_name = @schedule_name_2 ; -- Add a schedule that runs the stored procedure on the SQL Server Agent startup. DECLARE @schedule_name_agent_startup VARCHAR(MAX); Set @schedule_name_agent_startup = CONCAT(@database_name, '_', 'DatastreamSqlServerAgentStartupSchedule') EXEC msdb.dbo.sp_add_schedule @schedule_name = @schedule_name_agent_startup, @freq_type = 64, -- start on SQL Server Agent startup @active_start_time = @formatted_start_time_1; EXEC msdb.dbo.sp_attach_schedule @job_name = @job_name, @schedule_name = @schedule_name_agent_startup ; EXEC msdb.dbo.sp_add_jobserver @job_name = @job_name, @server_name = @@servername ; END END;
Executar o procedimento armazenado que cria o job do Datastream.
DECLARE @transaction_logs_retention_time INT = (INT) EXEC [dbo].[SetUpDatastreamJob] @transaction_logs_retention_time
Substitua INT pelo número de minutos em que você quer reter os registros. Exemplo:
- O valor de
60
define o tempo de retenção como 1 hora. - O valor de
24 * 60
define o tempo de retenção como 1 dia. - O valor de
3 * 24 * 60
define o tempo de retenção como 3 dias
- O valor de
A seguir
- Saiba mais sobre como o Datastream funciona com fontes do SQL Server.