Mengonfigurasi database Cloud SQL untuk SQL Server

Langkah-langkah berikut membahas cara mengonfigurasi database Cloud SQL untuk SQL Server agar dapat digunakan dengan Datastream:

  1. Hubungkan ke instance Cloud SQL Anda. Anda dapat melakukannya menggunakan perintah gcloud sql connect di perintah Cloud Shell.

  2. Aktifkan CDC di database dengan menjalankan perintah berikut:

    EXEC msdb.dbo.gcloudsql_cdc_enable_db 'DATABASE_NAME'
    

    Ganti DATABASE_NAME dengan nama database sumber Anda.

  3. Aktifkan CDC pada tabel yang perubahannya perlu Anda rekam:

    USE [DATABASE_NAME]
    EXEC sys.sp_cdc_enable_table
    @source_schema = N'SCHEMA_NAME',
    @source_name = N'TABLE_NAME',
    @role_name = NULL
    GO
    
  4. Aktifkan isolasi snapshot.

    Saat Anda mengisi ulang data dari database SQL Server, penting untuk memastikan snapshot yang konsisten. Jika Anda tidak menerapkan setelan yang dijelaskan di bagian ini, perubahan yang dilakukan pada database selama proses pengisian ulang dapat menyebabkan duplikat atau hasil yang salah, terutama untuk tabel tanpa kunci utama.

    Mengaktifkan isolasi snapshot akan membuat tampilan sementara database Anda di awal proses pengisian ulang. Tindakan ini memastikan bahwa data yang disalin tetap konsisten, meskipun pengguna lain melakukan perubahan pada tabel aktif secara bersamaan. Mengaktifkan isolasi snapshot mungkin memiliki sedikit dampak pada performa, tetapi hal ini penting untuk ekstraksi data yang andal.

    Untuk mengaktifkan isolasi snapshot:

    1. Hubungkan ke database Anda menggunakan klien SQL Server.
    2. Jalankan perintah berikut:
    ALTER DATABASE DATABASE_NAME SET ALLOW_SNAPSHOT_ISOLATION ON;
    

    Ganti DATABASE_NAME dengan nama database Anda.

  5. Buat pengguna Datastream:

    1. Di konsol Google Cloud, buka halaman Instance Cloud SQL.

      Buka Instance Cloud SQL

    2. Buat pengguna dan tetapkan peran db_owner dan db_denydatawriter kepada mereka:

    CREATE USER USER_NAME FOR LOGIN YOUR_LOGIN;
    
    EXEC sp_addrolemember 'db_owner', 'USER_NAME';
    EXEC sp_addrolemember 'db_denydatawriter', 'USER_NAME';
    

Langkah tambahan yang diperlukan untuk metode CDC log transaksi

Langkah-langkah yang dijelaskan di bagian ini hanya diperlukan saat Anda mengonfigurasi database SQL Server sumber untuk digunakan dengan metode CDC log transaksi.

  1. Tetapkan periode retensi yang Anda inginkan agar perubahan tersedia di sumber.

    USE [DATABASE_NAME]
    EXEC sys.sp_cdc_change_job @job_type = 'capture' , @pollinginterval = 86399
    EXEC sp_cdc_stop_job 'capture'
    EXEC sp_cdc_start_job 'capture'
    

    Parameter @pollinginterval diukur dalam hitungan detik dengan nilai yang direkomendasikan ditetapkan ke 86399. Ini berarti log transaksi mempertahankan perubahan selama 86.399 detik (satu hari). Menjalankan prosedur sp_cdc_start_job 'capture akan memulai setelan.

  2. Siapkan pengamanan pemotongan log.

    Untuk memastikan bahwa pembaca CDC memiliki cukup waktu untuk membaca log sekaligus mengizinkan pemotongan log untuk mencegah penggunaan ruang penyimpanan, Anda dapat menyiapkan pengamanan pemotongan log:

    1. Hubungkan ke database menggunakan klien SQL Server.
    2. Buat tabel dummy di database:

      USE [DATABASE_NAME];
      CREATE TABLE dbo.gcp_datastream_truncation_safeguard (
        [id] INT IDENTITY(1,1) PRIMARY KEY,
        CreatedDate DATETIME DEFAULT GETDATE(),
        [char_column] CHAR(8)
        );
      
    3. Buat prosedur tersimpan yang menjalankan transaksi aktif selama periode yang Anda tentukan untuk mencegah pemotongan log:

      CREATE PROCEDURE [dbo].[DatastreamLogTruncationSafeguard] @transaction_logs_retention_time INT
      AS
      BEGIN
        -- Start a new transaction
        BEGIN TRANSACTION;
        INSERT INTO dbo.gcp_datastream_truncation_safeguard (char_column) VALUES ('a')
      
      DECLARE @formatted_time VARCHAR(5)
      SET @formatted_time = CONVERT(VARCHAR(5), DATEADD(MINUTE, @transaction_logs_retention_time, 0), 108);
        -- Wait for X minutes before ending the transaction
        WAITFOR DELAY @formatted_time;
        -- Commit the transaction
        COMMIT TRANSACTION;
      END;
      
    4. Buat prosedur tersimpan lainnya. Kali ini, Anda akan membuat tugas yang menjalankan prosedur tersimpan yang Anda buat di langkah sebelumnya sesuai dengan jeda yang ditentukan:

      CREATE PROCEDURE [dbo].[SetUpDatastreamJob] @transaction_logs_retention_time INT
      AS
      BEGIN
        DECLARE @database_name VARCHAR(MAX)
        SET @database_name =  (SELECT DB_NAME());;
      
        DECLARE @command_str VARCHAR(MAX);
        SET @command_str = CONCAT('Use ', @database_name,'; exec dbo.DatastreamLogTruncationSafeguard @transaction_logs_retention_time = ' + CAST(@transaction_logs_retention_time AS VARCHAR(10)));
      
        DECLARE @job_name VARCHAR(MAX);
      SET @job_name =
        CONCAT(@database_name, '_', 'DatastreamLogTruncationSafeguardJob1')
      
          -- Add 3 schedules to the job to run again after specified time.
          IF
            NOT EXISTS(
              SELECT *
              FROM msdb.dbo.sysjobs
              WHERE name = @job_name
            )
              BEGIN
                EXEC
                  msdb.dbo.sp_add_job
                    @job_name
        = @job_name,
        @enabled = 1,
        @description = N'Execute the procedure to run an active transaction for x minutes.';
      
      EXEC msdb.dbo.sp_add_jobstep @job_name = @job_name,
      @step_name = N'Execute_DatastreamLogTruncationSafeguard',
      @subsystem = N'TSQL',
      @command = @command_str;
      
        -- Add a schedule that runs the stored procedure every given minutes starting now.
        DECLARE @schedule_name_1 VARCHAR(MAX);
        SET @schedule_name_1 = CONCAT(@database_name, '_', 'DatastreamEveryGivenMinutesFromNow')
      
        DECLARE @start_time_1 time;
        SET @start_time_1 = DATEADD(SECOND, 1, GETDATE());
        DECLARE @formatted_start_time_1 INT;
        SET @formatted_start_time_1 = CONVERT(INT, REPLACE(CONVERT(VARCHAR(8), @start_time_1, 114), ':' ,''));
      
        EXEC msdb.dbo.sp_add_schedule
        @schedule_name = @schedule_name_1,
        @freq_type = 4,  -- daily start
        @freq_subday_type = 4,  -- every X minutes daily
        @freq_interval = 1,
        @freq_subday_interval = @transaction_logs_retention_time,
        @active_start_time = @formatted_start_time_1;
      
        EXEC msdb.dbo.sp_attach_schedule
        @job_name = @job_name,
        @schedule_name = @schedule_name_1 ;
      
        -- Add a schedule that runs the stored procedure after every given minutes starting after some delay.
        DECLARE @schedule_name_2 VARCHAR(MAX);
        Set @schedule_name_2 = CONCAT(@database_name, '_', 'DatastreamEveryGivenMinutesAfterDelay');
      
        DECLARE @start_time_2 time;
        SET @start_time_2 = DATEADD(MINUTE, @transaction_logs_retention_time / 2, GETDATE());
      
        DECLARE @formatted_start_time_2 INT;
        SET @formatted_start_time_2 = CONVERT(INT, REPLACE(CONVERT(VARCHAR(8), @start_time_2, 114), ':' ,''));
      
        EXEC msdb.dbo.sp_add_schedule
        @schedule_name = @schedule_name_2,
        @freq_type = 4,  -- daily start
        @freq_subday_type = 4,  -- every x minutes daily
        @freq_interval = 1,
        @freq_subday_interval = @transaction_logs_retention_time,
        @active_start_time = @formatted_start_time_2;
      
        EXEC msdb.dbo.sp_attach_schedule
        @job_name = @job_name,
        @schedule_name = @schedule_name_2 ;
      
        -- Add a schedule that runs the stored procedure on the SQL Server Agent startup.
        DECLARE @schedule_name_agent_startup VARCHAR(MAX);
        Set @schedule_name_agent_startup = CONCAT(@database_name, '_', 'DatastreamSqlServerAgentStartupSchedule')
      
        EXEC msdb.dbo.sp_add_schedule
        @schedule_name = @schedule_name_agent_startup,
        @freq_type = 64,  -- start on SQL Server Agent startup
        @active_start_time = @formatted_start_time_1;
      
        EXEC msdb.dbo.sp_attach_schedule
        @job_name = @job_name,
        @schedule_name = @schedule_name_agent_startup ;
      
        EXEC msdb.dbo.sp_add_jobserver
        @job_name = @job_name,
        @server_name = @@servername ;
        END
      END;
      
    5. Jalankan prosedur tersimpan yang membuat tugas Datastream.

      DECLARE @transaction_logs_retention_time INT = (INT)
      EXEC [dbo].[SetUpDatastreamJob] @transaction_logs_retention_time
      

      Ganti INT dengan jumlah menit yang ingin Anda simpan lognya. Contoh:

      • Nilai 60 menetapkan waktu retensi ke 1 jam
      • Nilai 24 * 60 menetapkan waktu retensi ke 1 hari
      • Nilai 3 * 24 * 60 menetapkan waktu retensi ke 3 hari
  3. Aktifkan pemulihan point-in-time (PITR).

Langkah selanjutnya