Configura una base de datos de Cloud SQL para SQL Server

En los siguientes pasos, se explica cómo configurar una base de datos de Cloud SQL para SQL Server para usarla con Datastream:

  1. Conéctese a su instancia de Cloud SQL. Puedes hacerlo con el el comando gcloud sql connect en símbolo del sistema de Cloud Shell.

  2. Ejecuta el siguiente comando para habilitar la CDC en la base de datos:

    EXEC msdb.dbo.gcloudsql_cdc_enable_db 'DATABASE_NAME'
    

    Reemplaza DATABASE_NAME por el nombre de tu base de datos de origen.

  3. Habilita la CDC en las tablas para las que necesitas capturar cambios:

    USE [DATABASE_NAME]
    EXEC sys.sp_cdc_enable_table
    @source_schema = N'SCHEMA_NAME',
    @source_name = N'TABLE_NAME',
    @role_name = NULL
    GO
    
  4. Habilitar el aislamiento de instantánea

    Cuando reabasteces datos desde tu base de datos de SQL Server, es importante que te asegures instantáneas coherentes. Si no aplicas la configuración que se describe en esta sección, los cambios que se realicen en la base de datos durante el proceso de reabastecimiento podrían generar duplicados o resultados incorrectos, en especial para las tablas sin claves primarias.

    Si habilitas el aislamiento de instantáneas, se crea una vista temporal de tu base de datos al comienzo del proceso de reabastecimiento. Esto garantiza que los datos que se copian permanezcan coherentes, incluso si otros usuarios realizan cambios en las tablas activas al mismo tiempo. Habilitar el aislamiento de instantáneas puede tener un ligero impacto en el rendimiento, pero es esencial para una extracción de datos confiable.

    Para habilitar el aislamiento de instantánea, haz lo siguiente:

    1. Conéctate a tu base de datos con un cliente de SQL Server.
    2. Ejecuta el siguiente comando:
    ALTER DATABASE DATABASE_NAME SET ALLOW_SNAPSHOT_ISOLATION ON;
    

    Reemplaza DATABASE_NAME por el nombre de tu base de datos.

  5. Crea un usuario de Datastream:

    1. En la consola de Google Cloud, ve a la página Instancias de Cloud SQL.

      Ir a Instancias de Cloud SQL

    2. Crea un usuario y asigna los roles db_owner y db_denydatawriter para ellos:

    CREATE USER USER_NAME FOR LOGIN YOUR_LOGIN;
    
    EXEC sp_addrolemember 'db_owner', 'USER_NAME';
    EXEC sp_addrolemember 'db_denydatawriter', 'USER_NAME';
    

Pasos adicionales necesarios para el método CDC de registros de transacción

Los pasos que se describen en esta sección solo son obligatorios cuando configuras tu base de datos de SQL Server de origen para usarla con el método CDC de los registros de transacciones.

  1. Establece el período de retención para el que deseas que los cambios estén disponibles en tu fuente.

    USE [DATABASE_NAME]
    EXEC sys.sp_cdc_change_job @job_type = 'capture' , @pollinginterval = 86399
    EXEC sp_cdc_stop_job 'capture'
    EXEC sp_cdc_start_job 'capture'
    

    El parámetro @pollinginterval se mide en segundos con un valor recomendado establecido en 86399. Esto significa que el registro de transacciones retiene los cambios de 86,399 segundos (un día). La ejecución del procedimiento sp_cdc_start_job 'capture inicia la configuración.

  2. Configura una protección contra el truncamiento de registros.

    Para asegurarte de que el lector de CDC tenga tiempo suficiente para leer los registros y, al mismo tiempo, permitir que el truncamiento de registros evite que se agote el espacio de almacenamiento, puedes configurar una protección de truncamiento de registros:

    1. Conéctate a la base de datos con un cliente de SQL Server.
    2. Crea una tabla ficticia en la base de datos:

      USE [DATABASE_NAME];
      CREATE TABLE dbo.gcp_datastream_truncation_safeguard (
        [id] INT IDENTITY(1,1) PRIMARY KEY,
        CreatedDate DATETIME DEFAULT GETDATE(),
        [char_column] CHAR(8)
        );
      
    3. Crear un procedimiento almacenado que ejecute una transacción activa durante un período que que especifiques para evitar que se trunquen los registros:

      CREATE PROCEDURE [dbo].[DatastreamLogTruncationSafeguard] @transaction_logs_retention_time INT
      AS
      BEGIN
        -- Start a new transaction
        BEGIN TRANSACTION;
        INSERT INTO dbo.gcp_datastream_truncation_safeguard (char_column) VALUES ('a')
      
      DECLARE @formatted_time VARCHAR(5)
      SET @formatted_time = CONVERT(VARCHAR(5), DATEADD(MINUTE, @transaction_logs_retention_time, 0), 108);
        -- Wait for X minutes before ending the transaction
        WAITFOR DELAY @formatted_time;
        -- Commit the transaction
        COMMIT TRANSACTION;
      END;
      
    4. Crea otro procedimiento almacenado. Esta vez, crearás un trabajo que ejecute el procedimiento almacenado que creaste en el paso anterior según una cadencia especificada:

      CREATE PROCEDURE [dbo].[SetUpDatastreamJob] @transaction_logs_retention_time INT
      AS
      BEGIN
        DECLARE @database_name VARCHAR(MAX)
        SET @database_name =  (SELECT DB_NAME());;
      
        DECLARE @command_str VARCHAR(MAX);
        SET @command_str = CONCAT('Use ', @database_name,'; exec dbo.DatastreamLogTruncationSafeguard @transaction_logs_retention_time = ' + CAST(@transaction_logs_retention_time AS VARCHAR(10)));
      
        DECLARE @job_name VARCHAR(MAX);
      SET @job_name =
        CONCAT(@database_name, '_', 'DatastreamLogTruncationSafeguardJob1')
      
          -- Add 3 schedules to the job to run again after specified time.
          IF
            NOT EXISTS(
              SELECT *
              FROM msdb.dbo.sysjobs
              WHERE name = @job_name
            )
              BEGIN
                EXEC
                  msdb.dbo.sp_add_job
                    @job_name
        = @job_name,
        @enabled = 1,
        @description = N'Execute the procedure to run an active transaction for x minutes.';
      
      EXEC msdb.dbo.sp_add_jobstep @job_name = @job_name,
      @step_name = N'Execute_DatastreamLogTruncationSafeguard',
      @subsystem = N'TSQL',
      @command = @command_str;
      
        -- Add a schedule that runs the stored procedure every given minutes starting now.
        DECLARE @schedule_name_1 VARCHAR(MAX);
        SET @schedule_name_1 = CONCAT(@database_name, '_', 'DatastreamEveryGivenMinutesFromNow')
      
        DECLARE @start_time_1 time;
        SET @start_time_1 = DATEADD(SECOND, 1, GETDATE());
        DECLARE @formatted_start_time_1 INT;
        SET @formatted_start_time_1 = CONVERT(INT, REPLACE(CONVERT(VARCHAR(8), @start_time_1, 114), ':' ,''));
      
        EXEC msdb.dbo.sp_add_schedule
        @schedule_name = @schedule_name_1,
        @freq_type = 4,  -- daily start
        @freq_subday_type = 4,  -- every X minutes daily
        @freq_interval = 1,
        @freq_subday_interval = @transaction_logs_retention_time,
        @active_start_time = @formatted_start_time_1;
      
        EXEC msdb.dbo.sp_attach_schedule
        @job_name = @job_name,
        @schedule_name = @schedule_name_1 ;
      
        -- Add a schedule that runs the stored procedure after every given minutes starting after some delay.
        DECLARE @schedule_name_2 VARCHAR(MAX);
        Set @schedule_name_2 = CONCAT(@database_name, '_', 'DatastreamEveryGivenMinutesAfterDelay');
      
        DECLARE @start_time_2 time;
        SET @start_time_2 = DATEADD(MINUTE, @transaction_logs_retention_time / 2, GETDATE());
      
        DECLARE @formatted_start_time_2 INT;
        SET @formatted_start_time_2 = CONVERT(INT, REPLACE(CONVERT(VARCHAR(8), @start_time_2, 114), ':' ,''));
      
        EXEC msdb.dbo.sp_add_schedule
        @schedule_name = @schedule_name_2,
        @freq_type = 4,  -- daily start
        @freq_subday_type = 4,  -- every x minutes daily
        @freq_interval = 1,
        @freq_subday_interval = @transaction_logs_retention_time,
        @active_start_time = @formatted_start_time_2;
      
        EXEC msdb.dbo.sp_attach_schedule
        @job_name = @job_name,
        @schedule_name = @schedule_name_2 ;
      
        -- Add a schedule that runs the stored procedure on the SQL Server Agent startup.
        DECLARE @schedule_name_agent_startup VARCHAR(MAX);
        Set @schedule_name_agent_startup = CONCAT(@database_name, '_', 'DatastreamSqlServerAgentStartupSchedule')
      
        EXEC msdb.dbo.sp_add_schedule
        @schedule_name = @schedule_name_agent_startup,
        @freq_type = 64,  -- start on SQL Server Agent startup
        @active_start_time = @formatted_start_time_1;
      
        EXEC msdb.dbo.sp_attach_schedule
        @job_name = @job_name,
        @schedule_name = @schedule_name_agent_startup ;
      
        EXEC msdb.dbo.sp_add_jobserver
        @job_name = @job_name,
        @server_name = @@servername ;
        END
      END;
      
    5. Ejecuta el procedimiento almacenado que crea el trabajo de Datastream.

      DECLARE @transaction_logs_retention_time INT = (INT)
      EXEC [dbo].[SetUpDatastreamJob] @transaction_logs_retention_time
      

      Reemplaza INT por la cantidad de minutos durante los que deseas retener los registros. Por ejemplo:

      • El valor de 60 establece el tiempo de retención en 1 hora.
      • El valor de 24 * 60 establece el tiempo de retención en 1 día.
      • El valor de 3 * 24 * 60 establece el tiempo de retención en 3 días
  3. Habilita la recuperación de un momento determinado (PITR).

¿Qué sigue?