Activez la capture des données modifiées (CDC, Change Data Capture) pour votre base de données source. Pour ce faire, connectez-vous à la base de données et exécutez la commande suivante dans une invite SQL, dans un terminal ou à l'aide du tableau de bord Amazon RDS:
EXEC msdb.dbo.rds_cdc_enable_db 'DATABASE_NAME'
Remplacez
DATABASE_NAME
par le nom de votre base de données source.Activez la CDC sur les tables pour lesquelles vous devez capturer les modifications:
USE [DATABASE_NAME] EXEC sys.sp_cdc_enable_table @source_schema = N'SCHEMA_NAME', @source_name = N'TABLE_NAME', @role_name = NULL GO
Remplacez les éléments suivants :
DATABASE_NAME
: nom de votre base de données sourceSCHEMA_NAME
: nom du schéma auquel appartiennent les tables.TABLE_NAME
: nom de la table pour laquelle vous souhaitez activer la CDC
Définissez la durée de conservation pendant laquelle vous souhaitez que les modifications soient disponibles dans votre source:
EXEC rdsadmin.rds_set_configuration 'cdc_capture_pollinginterval' , 86399
Le paramètre
@pollinginterval
est mesuré en secondes avec une valeur recommandée définie sur86399
. Cela signifie que le journal des transactions conserve les modifications pendant 86 399 secondes (un jour). L'exécution de la procéduresp_cdc_start_job 'capture
lance les paramètres.Activez l'isolation d'instantané:
Lorsque vous remplissez des données à partir de votre base de données SQL Server, il est important de garantir la cohérence des instantanés. Si vous n'appliquez pas les paramètres décrits plus en détail dans cette section, les modifications apportées à la base de données pendant le processus de remplissage peuvent entraîner des doublons ou des résultats incorrects, en particulier pour les tables sans clé primaire.
L'activation de l'isolation d'instantané crée une vue temporaire de votre base de données au début du processus de remplissage. Cela garantit que les données copiées restent cohérentes, même si d'autres utilisateurs apportent des modifications aux tables actives en même temps. L'activation de l'isolation d'instantané peut avoir un léger impact sur les performances, mais elle est essentielle pour une extraction de données fiable.
Pour activer l'isolation d'instantané:
- Connectez-vous à votre base de données à l'aide d'un client SQL Server.
- Exécutez la commande ci-dessous.
ALTER DATABASE DATABASE_NAME SET ALLOW_SNAPSHOT_ISOLATION ON;
Remplacez DATABASE_NAME par le nom de votre base de données.
Configurer une protection contre la troncation des journaux
Pour vous assurer que le lecteur CDC a suffisamment de temps pour lire les journaux, tout en autorisant la troncation afin d'éviter d'utiliser l'espace de stockage, vous pouvez configurer une protection contre la troncation:
- Connectez-vous à la base de données à l'aide d'un client SQL Server.
Créez une table factice dans la base de données :
USE [DATABASE_NAME]; CREATE TABLE dbo.gcp_datastream_truncation_safeguard ( [id] INT IDENTITY(1,1) PRIMARY KEY, CreatedDate DATETIME DEFAULT GETDATE(), [char_column] CHAR(8) );
Remplacez DATABASE_NAME par le nom de la base de données dans laquelle vous souhaitez créer votre table factice.
Créez une procédure stockée qui exécute une transaction active pendant 24 heures afin d'éviter la troncation des journaux:
CREATE PROCEDURE dbo.DatastreamLogTruncationSafeguard AS BEGIN -- Start a new transaction BEGIN TRANSACTION; INSERT INTO dbo.gcp_datastream_truncation_safeguard (char_column) VALUES ('a') -- Wait for one day before ending the transaction WAITFOR DELAY '23:59'; -- Commit the transaction COMMIT TRANSACTION; END;
Créez une autre procédure stockée. Cette fois, vous créez une tâche qui exécute quotidiennement la procédure stockée que vous avez créée à l'étape précédente:
CREATE PROCEDURE dbo.SetUpDatastreamJob AS BEGIN DECLARE @database_name VARCHAR(MAX) Set @database_name = (SELECT DB_NAME());; DECLARE @command_str VARCHAR(MAX); Set @command_str = CONCAT('Use [', @database_name,']; exec dbo.DatastreamLogTruncationSafeguard') DECLARE @job_name_1 VARCHAR(MAX); Set @job_name_1 = CONCAT(@database_name, '_', 'DatastreamLogTruncationSafeguardJob1') -- Schedule the procedure to run again tomorrow IF NOT EXISTS ( select * from msdb.dbo.sysjobs WHERE name = @job_name_1 ) BEGIN EXEC msdb.dbo.sp_add_job @job_name = @job_name_1, @enabled = 1, @description = N'Execute the procedure every day' ; EXEC msdb.dbo.sp_add_jobstep @job_name = @job_name_1, @step_name = N'Execute_DatastreamLogTruncationSafeguard1', @subsystem = N'TSQL', @command = @command_str; -- Add a schedule that runs the stored procedure every day. DECLARE @start_time_1 time; SET @start_time_1 = DATEADD(MINUTE, 1, GETDATE()); DECLARE @schedule_name_1 VARCHAR(MAX); Set @schedule_name_1 = CONCAT(@database_name, '_', 'DatastreamEverydaySchedule1') DECLARE @formatted_start_time_1 INT; SET @formatted_start_time_1 = CONVERT(INT, REPLACE(CONVERT(VARCHAR(8), @start_time_1, 114), ':' ,'')); EXEC msdb.dbo.sp_add_schedule @schedule_name = @schedule_name_1, @freq_type = 4, -- daily start @freq_interval = 1, @active_start_time = @formatted_start_time_1; EXEC msdb.dbo.sp_attach_schedule @job_name = @job_name_1, @schedule_name = @schedule_name_1 ; -- Add a schedule that runs the stored procedure on the SQL Server Agent startup. DECLARE @schedule_name_agent_startup VARCHAR(MAX); Set @schedule_name_agent_startup = CONCAT(@database_name, '_', 'DatastreamSqlServerAgentStartupSchedule') EXEC msdb.dbo.sp_add_schedule @schedule_name = @schedule_name_agent_startup, @freq_type = 64, -- start on SQL Server Agent startup @active_start_time = @formatted_start_time_1; EXEC msdb.dbo.sp_attach_schedule @job_name = @job_name_1, @schedule_name = @schedule_name_agent_startup ; EXEC msdb.dbo.sp_add_jobserver @job_name = @job_name_1, @server_name = @@servername ; END DECLARE @job_name_2 VARCHAR(MAX); Set @job_name_2 = CONCAT(@database_name, '_', 'DatastreamLogTruncationSafeguardJob2') IF NOT EXISTS ( select * from msdb.dbo.sysjobs WHERE name = @job_name_2 ) BEGIN EXEC msdb.dbo.sp_add_job @job_name = @job_name_2, @enabled = 1, @description = N'Procedure execution every day' ; EXEC msdb.dbo.sp_add_jobstep @job_name = @job_name_2, @step_name = N'Execute_DatastreamLogTruncationSafeguard2', @subsystem = N'TSQL', @command = @command_str; DECLARE @start_time_2 time; SET @start_time_2 = DATEADD(HOUR, 12, GETDATE()); DECLARE @formatted_start_time_2 INT; SET @formatted_start_time_2 = CONVERT(INT, REPLACE(CONVERT(VARCHAR(8), @start_time_2, 114), ':' ,'')); DECLARE @schedule_name_2 VARCHAR(MAX); Set @schedule_name_2 = CONCAT(@database_name, '_', 'DatastreamEverydaySchedule2') EXEC msdb.dbo.sp_add_schedule @schedule_name = @schedule_name_2, @freq_type = 4, -- daily start @freq_interval = 1, @active_start_time = @formatted_start_time_2; EXEC msdb.dbo.sp_attach_schedule @job_name = @job_name_2, @schedule_name = @schedule_name_2 ; EXEC msdb.dbo.sp_add_jobserver @job_name = @job_name_2, @server_name = @@servername ; END End;
Exécutez la procédure stockée qui crée le job Datastream.
EXEC dbo.SetUpDatastreamJob
Créez un utilisateur Datastream:
Connectez-vous à la base de données source et saisissez la commande suivante:
USE DATABASE_NAME; ```
Créez une connexion à utiliser lors de la configuration du profil de connexion dans Datastream.
CREATE LOGIN YOUR_LOGIN WITH PASSWORD = 'PASSWORD';
Créez un utilisateur et attribuez-lui les rôles
db_owner
etdb_denydatawriter
:CREATE USER USER_NAME FOR LOGIN YOUR_LOGIN;
EXEC sp_addrolemember 'db_owner', 'USER_NAME'; EXEC sp_addrolemember 'db_denydatawriter', 'USER_NAME';
Ajoutez cet utilisateur à la base de données
master
et attribuez-lui les autorisations suivantes:USE master; CREATE USER USER_NAME FOR LOGIN YOUR_LOGIN; GRANT VIEW SERVER STATE TO YOUR_LOGIN; GRANT SELECT ON sys.fn_dblog TO USER_NAME;
Ajoutez cet utilisateur à la base de données msdb et attribuez-lui les autorisations suivantes:
USE msdb; CREATE USER USER_NAME FOR LOGIN YOUR_LOGIN; GRANT SELECT ON dbo.sysjobs TO USER_NAME;
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2024/05/19 (UTC).
[{
"type": "thumb-down",
"id": "hardToUnderstand",
"label":"Hard to understand"
},{
"type": "thumb-down",
"id": "incorrectInformationOrSampleCode",
"label":"Incorrect information or sample code"
},{
"type": "thumb-down",
"id": "missingTheInformationSamplesINeed",
"label":"Missing the information/samples I need"
},{
"type": "thumb-down",
"id": "translationIssue",
"label":"Problème de traduction"
},{
"type": "thumb-down",
"id": "otherDown",
"label":"Autre"
}]
[{
"type": "thumb-up",
"id": "easyToUnderstand",
"label":"Facile à comprendre"
},{
"type": "thumb-up",
"id": "solvedMyProblem",
"label":"J'ai pu résoudre mon problème"
},{
"type": "thumb-up",
"id": "otherUp",
"label":"Autre"
}]