Configura una base de datos de PostgreSQL autoadministrada para CDC

En esta página, se describe cómo configurar la captura de datos modificados (CDC) para transmitir datos desde una base de datos de PostgreSQL autoadministrada a un destino compatible, como BigQuery o Cloud Storage.

Cómo habilitar la replicación lógica en la base de datos

  1. Agrega wal_level=logical al archivo postgresql.conf para establecer el parámetro wal_level en tu base de datos.

  2. Reinicia el servidor.

Crea una publicación y una ranura de replicación

  1. Accede a una consola de PostgreSQL como superusuario.

  2. Crea una publicación. Te recomendamos que crees una publicación solo para las tablas que quieras replicar. Esto permite que Datastream lea solo los datos relevantes y reduce la carga en la base de datos y en Datastream:

    CREATE PUBLICATION PUBLICATION_NAME
FOR TABLE SCHEMA1.TABLE1, SCHEMA2.TABLE2;

    Reemplaza lo siguiente:

    • PUBLICATION_NAME: El nombre de tu publicación. Deberás proporcionar este nombre cuando crees un flujo en el asistente de creación de flujos de Datastream.
    • SCHEMA: Es el nombre del esquema que contiene la tabla.
    • TABLE: Es el nombre de la tabla que deseas replicar.

    Puedes crear una publicación para todas las tablas de un esquema. Este enfoque te permite replicar los cambios en las tablas de la lista de esquemas especificada, incluidas las tablas que crees en el futuro:

    CREATE PUBLICATION PUBLICATION_NAME
FOR TABLES IN SCHEMA SCHEMA1, SCHEMA2;

    También puedes crear una publicación para todas las tablas de tu base de datos. Ten en cuenta que este enfoque aumenta la carga tanto en la base de datos de origen como en Datastream:

    CREATE PUBLICATION PUBLICATION_NAME FOR ALL TABLES;

  3. Crea una ranura de replicación ingresando el siguiente comando de SQL: 

    SELECT PG_CREATE_LOGICAL_REPLICATION_SLOT('REPLICATION_SLOT_NAME', 'pgoutput');

    Reemplaza lo siguiente:

    • REPLICATION_SLOT_NAME: Es el nombre de tu ranura de replicación. Deberás proporcionar este nombre cuando crees un flujo en el asistente de creación de flujos de Datastream.

Crea un usuario de Datastream

  1. Para crear un usuario de Datastream, ingresa los siguientes comandos de SQL: 

    CREATE USER USER_NAME WITH ENCRYPTED PASSWORD 'USER_PASSWORD';

    Reemplaza lo siguiente:

    • USER_NAME: Es el nombre del usuario de Datastream que deseas crear.
    • USER_PASSWORD: Es la contraseña de acceso para el usuario de Datastream que deseas crear.

  2. Otorga los siguientes privilegios al usuario que creaste:

    ALTER ROLE USER_NAME WITH REPLICATION;
GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO USER_NAME;
GRANT USAGE ON SCHEMA SCHEMA_NAME TO USER_NAME;
ALTER DEFAULT PRIVILEGES IN SCHEMA SCHEMA_NAME
  GRANT SELECT ON TABLES TO USER_NAME;

    Reemplaza lo siguiente:

    • USER_NAME: Es el usuario al que deseas otorgar los privilegios.
    • SCHEMA_NAME: Es el nombre del esquema al que deseas otorgar privilegios.

¿Qué sigue?