Configurer une base de données Amazon RDS SQL Server

Pour configurer une base de données Amazon RDS SQL Server à utiliser avec Datastream, procédez comme suit:

  1. Activez la capture des données modifiées (CDC, Change Data Capture) pour votre base de données source. Pour activer la CDC pour votre base de données source, connectez-vous à la base de données et exécutez la commande suivante via une invite SQL, dans un terminal ou à l'aide du tableau de bord Amazon RDS:

    EXEC msdb.dbo.rds_cdc_enable_db 'DATABASE_NAME'
    

    Remplacez DATABASE_NAME par le nom de votre base de données source.

  2. Activez la CDC sur chaque table pour laquelle vous devez capturer les modifications:

    USE [DATABASE_NAME]
    EXEC sys.sp_cdc_enable_table
    @source_schema = N'SCHEMA_NAME',
    @source_name = N'TABLE_NAME',
    @role_name = NULL
    GO
    

    Remplacez les éléments suivants :

    • DATABASE_NAME: nom de votre base de données source
    • SCHEMA_NAME: nom du schéma auquel appartiennent les tables
    • TABLE_NAME: nom de la table pour laquelle vous souhaitez activer la CDC
  3. Démarrez l'agent SQL Server et assurez-vous qu'il s'exécute en permanence. Si l'agent SQL Server reste indisponible pendant une période prolongée, les journaux peuvent être tronqués, ce qui entraîne une perte définitive des données de modification non lues par Datastream.

    Pour en savoir plus sur l'exécution de l'agent SQL Server, consultez la section Démarrer, arrêter ou redémarrer une instance de l'agent SQL Server.

  4. Activer l'isolation d'instantané.

    Lorsque vous remplissez des données à partir de votre base de données SQL Server, il est important de garantir la cohérence des instantanés. Si vous n'appliquez pas les paramètres décrits dans cette section, les modifications apportées à la base de données lors du processus de remplissage peuvent entraîner des doublons ou des résultats incorrects, en particulier pour les tables sans clé primaire.

    L'activation de l'isolation d'instantané crée une vue temporaire de votre base de données au début du processus de remplissage. Cela garantit que les données copiées restent cohérentes, même si d'autres utilisateurs modifient les tables actives en même temps. L'activation de l'isolation d'instantané peut avoir un léger impact sur les performances, mais elle est essentielle pour une extraction de données fiable.

    Pour activer l'isolation d'instantané:

    1. Connectez-vous à votre base de données à l'aide d'un client SQL Server.
    2. Exécutez la commande ci-dessous.
    ALTER DATABASE DATABASE_NAME SET ALLOW_SNAPSHOT_ISOLATION ON;
    

    Remplacez DATABASE_NAME par le nom de votre base de données.

  5. Créez un utilisateur Datastream:

    1. Connectez-vous à la base de données source et saisissez la commande suivante:

      USE DATABASE_NAME;
      
    2. Créez un identifiant à utiliser lors de la configuration du profil de connexion dans Datastream.

      CREATE LOGIN YOUR_LOGIN WITH PASSWORD = 'PASSWORD';
      
    3. Créez un utilisateur et attribuez-lui les rôles db_owner et db_denydatawriter:

      CREATE USER USER_NAME FOR LOGIN YOUR_LOGIN;
      
      EXEC sp_addrolemember 'db_owner', 'USER_NAME';
      EXEC sp_addrolemember 'db_denydatawriter', 'USER_NAME';
      
    4. Ajoutez cet utilisateur à la base de données master:

      USE master;
      CREATE USER USER_NAME FOR LOGIN YOUR_LOGIN;
      

Étapes supplémentaires requises pour la méthode CDC pour les journaux de transactions

Les étapes décrites dans cette section ne sont requises que lorsque vous configurez votre base de données SQL Server source pour l'utiliser avec la méthode CDC des journaux de transactions.

  1. Accordez les autorisations SELECT pour la fonction sys.fn_dblog.

    USE master;
    GRANT SELECT ON sys.fn_dblog TO USER_NAME;
    
  2. Ajoutez votre utilisateur à la base de données msdb et attribuez-lui les autorisations suivantes:

    USE msdb;
    CREATE USER USER_NAME FOR LOGIN YOUR_LOGIN;
    GRANT SELECT ON dbo.sysjobs TO USER_NAME;
    
  3. Attribuez les autorisations suivantes à votre utilisateur dans la base de données master:

      USE master;
      GRANT VIEW SERVER STATE TO YOUR_LOGIN;
    
  4. Définissez la durée de conservation pendant laquelle vous souhaitez que les modifications soient disponibles sur votre source.

    USE [DATABASE_NAME]
    EXEC sys.sp_cdc_change_job @job_type = 'capture' , @pollinginterval = 86399
    EXEC sp_cdc_stop_job 'capture'
    EXEC sp_cdc_start_job 'capture'
    

    Le paramètre @pollinginterval est mesuré en secondes avec la valeur recommandée définie sur 86399. Cela signifie que le journal des transactions conserve les modifications pendant 86 399 secondes (un jour). L'exécution de la procédure sp_cdc_start_job 'capture lance les paramètres.

  5. Configurez une protection contre la troncation des journaux.

    Pour vous assurer que le lecteur CDC dispose de suffisamment de temps pour lire les journaux tout en autorisant la troncation des journaux afin d'éviter d'utiliser l'espace de stockage, vous pouvez configurer une protection de la troncation des journaux:

    1. Connectez-vous à la base de données à l'aide d'un client SQL Server.
    2. Créez une table factice dans la base de données :

      USE [DATABASE_NAME];
      CREATE TABLE dbo.gcp_datastream_truncation_safeguard (
        [id] INT IDENTITY(1,1) PRIMARY KEY,
        CreatedDate DATETIME DEFAULT GETDATE(),
        [char_column] CHAR(8)
        );
      
    3. Créez une procédure stockée qui exécute une transaction active pendant une période que vous spécifiez afin d'empêcher la troncation des journaux:

      CREATE PROCEDURE [dbo].[DatastreamLogTruncationSafeguard] @transaction_logs_retention_time INT
      AS
      BEGIN
        -- Start a new transaction
        BEGIN TRANSACTION;
        INSERT INTO dbo.gcp_datastream_truncation_safeguard (char_column) VALUES ('a')
      
      DECLARE @formatted_time VARCHAR(5)
      SET @formatted_time = CONVERT(VARCHAR(5), DATEADD(MINUTE, @transaction_logs_retention_time, 0), 108);
        -- Wait for X minutes before ending the transaction
        WAITFOR DELAY @formatted_time;
        -- Commit the transaction
        COMMIT TRANSACTION;
      END;
      
    4. Créez une autre procédure stockée. Cette fois, vous créez une tâche qui exécute la procédure stockée que vous avez créée à l'étape précédente en fonction d'une cadence spécifiée:

      CREATE PROCEDURE [dbo].[SetUpDatastreamJob] @transaction_logs_retention_time INT
      AS
      BEGIN
        DECLARE @database_name VARCHAR(MAX)
        SET @database_name =  (SELECT DB_NAME());;
      
        DECLARE @command_str VARCHAR(MAX);
        SET @command_str = CONCAT('Use ', @database_name,'; exec dbo.DatastreamLogTruncationSafeguard @transaction_logs_retention_time = ' + @transaction_logs_retention_time)
      
        DECLARE @job_name VARCHAR(MAX);
      SET @job_name =
        CONCAT(@database_name, '_', 'DatastreamLogTruncationSafeguardJob1')
      
          -- Add 3 schedules to the job to run again after specified time.
          IF
            NOT EXISTS(
              SELECT *
              FROM msdb.dbo.sysjobs
              WHERE name = @job_name
            )
              BEGIN
                EXEC
                  msdb.dbo.sp_add_job
                    @job_name
        = @job_name,
        @enabled = 1,
        @description = N'Execute the procedure to run an active transaction for x minutes.';
      
      EXEC msdb.dbo.sp_add_jobstep @job_name = @job_name,
      @step_name = N'Execute_DatastreamLogTruncationSafeguard',
      @subsystem = N'TSQL',
      @command = @command_str;
      
        -- Add a schedule that runs the stored procedure every given minutes starting now.
        DECLARE @schedule_name_1 VARCHAR(MAX);
        SET @schedule_name_1 = CONCAT(@database_name, '_', 'DatastreamEveryGivenMinutesFromNow')
      
        DECLARE @start_time_1 time;
        SET @start_time_1 = DATEADD(SECOND, 1, GETDATE());
        DECLARE @formatted_start_time_1 INT;
        SET @formatted_start_time_1 = CONVERT(INT, REPLACE(CONVERT(VARCHAR(8), @start_time_1, 114), ':' ,''));
      
        EXEC msdb.dbo.sp_add_schedule
        @schedule_name = @schedule_name_1,
        @freq_type = 4,  -- daily start
        @freq_subday_type = 4,  -- every X minutes daily
        @freq_interval = 1,
        @freq_subday_interval = @transaction_logs_retention_time,
        @active_start_time = @formatted_start_time_1;
      
        EXEC msdb.dbo.sp_attach_schedule
        @job_name = @job_name,
        @schedule_name = @schedule_name_1 ;
      
        -- Add a schedule that runs the stored procedure after every given minutes starting after some delay.
        DECLARE @schedule_name_2 VARCHAR(MAX);
        Set @schedule_name_2 = CONCAT(@database_name, '_', 'DatastreamEveryGivenMinutesAfterDelay');
      
        DECLARE @start_time_2 time;
        SET @start_time_2 = DATEADD(MINUTE, @transaction_logs_retention_time / 2, GETDATE());
      
        DECLARE @formatted_start_time_2 INT;
        SET @formatted_start_time_2 = CONVERT(INT, REPLACE(CONVERT(VARCHAR(8), @start_time_2, 114), ':' ,''));
      
        EXEC msdb.dbo.sp_add_schedule
        @schedule_name = @schedule_name_2,
        @freq_type = 4,  -- daily start
        @freq_subday_type = 4,  -- every x minutes daily
        @freq_interval = 1,
        @freq_subday_interval = @transaction_logs_retention_time,
        @active_start_time = @formatted_start_time_2;
      
        EXEC msdb.dbo.sp_attach_schedule
        @job_name = @job_name,
        @schedule_name = @schedule_name_2 ;
      
        -- Add a schedule that runs the stored procedure on the SQL Server Agent startup.
        DECLARE @schedule_name_agent_startup VARCHAR(MAX);
        Set @schedule_name_agent_startup = CONCAT(@database_name, '_', 'DatastreamSqlServerAgentStartupSchedule')
      
        EXEC msdb.dbo.sp_add_schedule
        @schedule_name = @schedule_name_agent_startup,
        @freq_type = 64,  -- start on SQL Server Agent startup
        @active_start_time = @formatted_start_time_1;
      
        EXEC msdb.dbo.sp_attach_schedule
        @job_name = @job_name,
        @schedule_name = @schedule_name_agent_startup ;
      
        EXEC msdb.dbo.sp_add_jobserver
        @job_name = @job_name,
        @server_name = @@servername ;
        END
      END;
      
    5. Exécutez la procédure stockée qui crée le job Datastream.

      EXEC dbo.SetUpDatastreamJob @@transaction_logs_retention_time = (INT)
      

      Remplacez INT par le nombre de minutes pendant lesquelles vous souhaitez conserver les journaux. Exemple :

      • La valeur 60 définit la durée de conservation sur 1 heure
      • La valeur 24 * 60 définit la durée de conservation sur 1 jour
      • La valeur 3 * 24 * 60 définit la durée de conservation sur trois jours