本頁面說明如何設定變更資料擷取 (CDC),將資料從 Amazon RDS SQL Server 資料庫串流至支援的目的地,例如 BigQuery 或 Cloud Storage。
為來源資料庫啟用變更資料擷取 (CDC) 功能。如要為來源資料庫啟用 CDC,請連線至資料庫,並在 SQL 提示字元、終端機或使用 Amazon RDS 資訊主頁時,執行下列指令:
EXEC msdb.dbo.rds_cdc_enable_db 'DATABASE_NAME'
將
DATABASE_NAME
替換為來源資料庫的名稱。針對需要擷取變更的每個資料表啟用 CDC:
USE [DATABASE_NAME] EXEC sys.sp_cdc_enable_table @source_schema = N'SCHEMA_NAME', @source_name = N'TABLE_NAME', @role_name = NULL GO
更改下列內容:
DATABASE_NAME
:來源資料庫的名稱SCHEMA_NAME
:資料表所屬的結構定義名稱TABLE_NAME
:要啟用 CDC 的資料表名稱
啟動 SQL Server 代理程式,並確認代理程式持續運作。如果 SQL Server Agent 長時間處於停機狀態,記錄可能會遭到截斷,導致 Datastream 未讀取的變更資料永久遺失。
如要瞭解如何執行 SQL Server 代理程式,請參閱「啟動、停止或重新啟動 SQL Server 代理程式執行個體」。
啟用快照隔離功能。
從 SQL Server 資料庫回填資料時,請務必確保快照一致。如果您未套用本節所述設定,在回填程序期間對資料庫所做的變更可能會導致重複或不正確的結果,尤其是沒有主鍵的資料表。
啟用快照隔離後,系統會在回填程序開始時建立資料庫的暫時檢視畫面。即使其他使用者同時變更即時資料表,也能確保複製的資料保持一致。啟用快照隔離可能會稍微影響效能,但這是可靠擷取資料的必要條件。
如要啟用快照隔離功能,請按照下列步驟操作:
- 透過 SQL Server 用戶端連結至資料庫。
- 執行下列指令:
ALTER DATABASE DATABASE_NAME SET ALLOW_SNAPSHOT_ISOLATION ON;
將 DATABASE_NAME 替換成資料庫名稱。
建立 Datastream 使用者:
連線至來源資料庫,然後輸入下列指令:
USE DATABASE_NAME;
建立登入資料,在 Datastream 中設定連線設定檔時使用。
CREATE LOGIN YOUR_LOGIN WITH PASSWORD = 'PASSWORD';
建立使用者,並指派
db_owner
和db_denydatawriter
角色:CREATE USER USER_NAME FOR LOGIN YOUR_LOGIN;
EXEC sp_addrolemember 'db_owner', 'USER_NAME'; EXEC sp_addrolemember 'db_denydatawriter', 'USER_NAME';
將這位使用者新增至
master
資料庫:USE master; CREATE USER USER_NAME FOR LOGIN YOUR_LOGIN;
交易記錄 CDC 方法的額外步驟
只有在設定來源 SQL Server 資料庫,以搭配使用交易記錄 CDC 方法時,才需要執行本節所述步驟。
授予
SELECT
函式的sys.fn_dblog
權限。USE master; GRANT SELECT ON sys.fn_dblog TO USER_NAME;
將使用者新增至 msdb 資料庫,並指派下列權限:
USE msdb; CREATE USER USER_NAME FOR LOGIN YOUR_LOGIN; GRANT SELECT ON dbo.sysjobs TO USER_NAME;
在
master
資料庫中,為使用者指派下列權限:USE master; GRANT VIEW SERVER STATE TO YOUR_LOGIN;
設定保留期限,指定變更內容在來源中可用的時間長度。
USE [DATABASE_NAME] EXEC sys.sp_cdc_change_job @job_type = 'capture' , @pollinginterval = 86399 EXEC sp_cdc_stop_job 'capture' EXEC sp_cdc_start_job 'capture'
@pollinginterval
參數以秒為單位,建議將值設為86399
。也就是說,交易記錄會保留 86,399 秒 (一天) 的變更。執行sp_cdc_start_job 'capture
程序會啟動設定。設定記錄檔截斷保護機制。
為確保 CDC 讀取器有足夠時間讀取記錄檔,同時允許記錄檔截斷,以免用盡儲存空間,您可以設定記錄檔截斷保護措施:
- 透過 SQL Server 用戶端連線至資料庫。
在資料庫中建立虛擬資料表:
USE [DATABASE_NAME]; CREATE TABLE dbo.gcp_datastream_truncation_safeguard ( [id] INT IDENTITY(1,1) PRIMARY KEY, CreatedDate DATETIME DEFAULT GETDATE(), [char_column] CHAR(8) );
建立會執行有效交易的預存程序,以防記錄檔遭到截斷:
CREATE PROCEDURE [dbo].[DatastreamLogTruncationSafeguard] @transaction_logs_retention_time INT AS BEGIN -- Start a new transaction BEGIN TRANSACTION; INSERT INTO dbo.gcp_datastream_truncation_safeguard (char_column) VALUES ('a') DECLARE @formatted_time VARCHAR(5) SET @formatted_time = CONVERT(VARCHAR(5), DATEADD(MINUTE, @transaction_logs_retention_time, 0), 108); -- Wait for X minutes before ending the transaction WAITFOR DELAY @formatted_time; -- Commit the transaction COMMIT TRANSACTION; END;
建立另一個預存程序。這次,您要建立工作,根據指定的頻率執行在上一個步驟中建立的預存程序:
CREATE PROCEDURE [dbo].[SetUpDatastreamJob] @transaction_logs_retention_time INT AS BEGIN DECLARE @database_name VARCHAR(MAX) SET @database_name = (SELECT DB_NAME());; DECLARE @command_str VARCHAR(MAX); SET @command_str = CONCAT('Use ', @database_name,'; exec dbo.DatastreamLogTruncationSafeguard @transaction_logs_retention_time = ' + CAST(@transaction_logs_retention_time AS VARCHAR(10))); DECLARE @job_name VARCHAR(MAX); SET @job_name = CONCAT(@database_name, '_', 'DatastreamLogTruncationSafeguardJob1') -- Add 3 schedules to the job to run again after specified time. IF NOT EXISTS( SELECT * FROM msdb.dbo.sysjobs WHERE name = @job_name ) BEGIN EXEC msdb.dbo.sp_add_job @job_name = @job_name, @enabled = 1, @description = N'Execute the procedure to run an active transaction for x minutes.'; EXEC msdb.dbo.sp_add_jobstep @job_name = @job_name, @step_name = N'Execute_DatastreamLogTruncationSafeguard', @subsystem = N'TSQL', @command = @command_str; -- Add a schedule that runs the stored procedure every given minutes starting now. DECLARE @schedule_name_1 VARCHAR(MAX); SET @schedule_name_1 = CONCAT(@database_name, '_', 'DatastreamEveryGivenMinutesFromNow') DECLARE @start_time_1 time; SET @start_time_1 = DATEADD(SECOND, 1, GETDATE()); DECLARE @formatted_start_time_1 INT; SET @formatted_start_time_1 = CONVERT(INT, REPLACE(CONVERT(VARCHAR(8), @start_time_1, 114), ':' ,'')); EXEC msdb.dbo.sp_add_schedule @schedule_name = @schedule_name_1, @freq_type = 4, -- daily start @freq_subday_type = 4, -- every X minutes daily @freq_interval = 1, @freq_subday_interval = @transaction_logs_retention_time, @active_start_time = @formatted_start_time_1; EXEC msdb.dbo.sp_attach_schedule @job_name = @job_name, @schedule_name = @schedule_name_1 ; -- Add a schedule that runs the stored procedure after every given minutes starting after some delay. DECLARE @schedule_name_2 VARCHAR(MAX); Set @schedule_name_2 = CONCAT(@database_name, '_', 'DatastreamEveryGivenMinutesAfterDelay'); DECLARE @start_time_2 time; SET @start_time_2 = DATEADD(MINUTE, @transaction_logs_retention_time / 2, GETDATE()); DECLARE @formatted_start_time_2 INT; SET @formatted_start_time_2 = CONVERT(INT, REPLACE(CONVERT(VARCHAR(8), @start_time_2, 114), ':' ,'')); EXEC msdb.dbo.sp_add_schedule @schedule_name = @schedule_name_2, @freq_type = 4, -- daily start @freq_subday_type = 4, -- every x minutes daily @freq_interval = 1, @freq_subday_interval = @transaction_logs_retention_time, @active_start_time = @formatted_start_time_2; EXEC msdb.dbo.sp_attach_schedule @job_name = @job_name, @schedule_name = @schedule_name_2 ; -- Add a schedule that runs the stored procedure on the SQL Server Agent startup. DECLARE @schedule_name_agent_startup VARCHAR(MAX); Set @schedule_name_agent_startup = CONCAT(@database_name, '_', 'DatastreamSqlServerAgentStartupSchedule') EXEC msdb.dbo.sp_add_schedule @schedule_name = @schedule_name_agent_startup, @freq_type = 64, -- start on SQL Server Agent startup @active_start_time = @formatted_start_time_1; EXEC msdb.dbo.sp_attach_schedule @job_name = @job_name, @schedule_name = @schedule_name_agent_startup ; EXEC msdb.dbo.sp_add_jobserver @job_name = @job_name, @server_name = @@servername ; END END;
執行會建立 Datastream 工作的預存程序。
DECLARE @transaction_logs_retention_time INT = (INT) EXEC [dbo].[SetUpDatastreamJob] @transaction_logs_retention_time
請將 INT 替換為您要保留記錄的分鐘數。例如:
60
的值會將保留時間設為 1 小時24 * 60
的值會將保留時間設為 1 天3 * 24 * 60
的值會將保留時間設為 3 天
後續步驟
- 進一步瞭解 Datastream 如何搭配 SQL Server 來源使用。