Configurar una base de datos PostgreSQL de Amazon RDS para CDC

En esta página se describe cómo configurar la captura de datos de cambios (CDC) para transmitir datos de una base de datos de Amazon RDS para PostgreSQL a un destino compatible, como BigQuery o Cloud Storage.

Crear un grupo de parámetros

1. Abre el panel de control de Amazon RDS.

2. En el panel de navegación, haga clic en Grupos de parámetros y, a continuación, en Crear grupo de parámetros. Se mostrará la página Crear grupo de parámetros.

3. Selecciona la familia de bases de datos que coincida con tu base de datos, proporciona un nombre y una descripción para el grupo de parámetros y, a continuación, haz clic en Crear.

4. Marca la casilla situada a la izquierda del grupo de parámetros que acabas de crear y, a continuación, en Acciones del grupo de parámetros, haz clic en Editar.

5. Defina el siguiente parámetro para su grupo.

   Parámetro	Valor
   rds.logical_replication	1

6. Haz clic en Guardar cambios.

   En PostgreSQL 13 y versiones posteriores, se recomienda que también defina el parámetro max_slot_wal_keep_size en el archivo postgresql.conf para limitar la cantidad de almacenamiento que usan las ranuras de replicación. Para obtener más información, consulta Trabajar con archivos de registro WAL de bases de datos PostgreSQL.

Configurar la base de datos de origen

1. Abre el panel de control de Amazon RDS.

2. En el cajón de navegación, haz clic en Bases de datos.

3. Selecciona la fuente y haz clic en Modificar.

4. Ve a la sección Configuración adicional.

5. Seleccione el grupo de parámetros que ha creado.

6. Haz clic en Continuar.

7. En Programación de modificaciones, selecciona Aplicar inmediatamente.

   Como has modificado la fuente, debes esperar a que se apliquen los cambios en el grupo de parámetros para continuar.

Verificar que el grupo de parámetros está asignado a la instancia de base de datos

1. Abre el panel de control de Amazon RDS.

2. En el cajón de navegación, haga clic en Bases de datos y, a continuación, seleccione su instancia de base de datos.

3. Haz clic en la pestaña Configuraciones.

4. Comprueba que ves el grupo de parámetros que has creado y que su estado es pending-reboot.

5. Reinicia la instancia de base de datos para completar la configuración. Para reiniciar la instancia:

   1. En el cajón de navegación, haz clic en Instancias.
   2. Selecciona tu instancia de base de datos.
   3. En el menú Acciones de la instancia, selecciona Reiniciar.
   Después de reiniciar la instancia de base de datos, su estado cambia a Sincronizado.

Crear una publicación y un slot de replicación

1. Crea una publicación. Te recomendamos que crees una publicación solo para las tablas que quieras replicar. De esta forma, Datastream puede leer los datos relevantes y se reduce la carga de la base de datos y de Datastream:

   CREATE PUBLICATION PUBLICATION_NAME
   FOR TABLE SCHEMA1.TABLE1, SCHEMA2.TABLE2;

   Haz los cambios siguientes:

   • PUBLICATION_NAME: el nombre de tu publicación. Deberá proporcionar este nombre cuando cree un flujo en el asistente de creación de flujos de Datastream.
   • SCHEMA: el nombre del esquema que contiene la tabla.
   • TABLE: el nombre de la tabla que quieres replicar.

   También puede crear una publicación para todas las tablas de su base de datos. Tenga en cuenta que este enfoque aumenta la carga tanto en la base de datos de origen como en Datastream:

   CREATE PUBLICATION PUBLICATION_NAME FOR ALL TABLES;
   

   En PostgreSQL 15 y versiones posteriores, puedes crear una publicación para todas las tablas de un esquema. Con este método, puede replicar los cambios de las tablas de la lista de esquemas especificada, incluidas las tablas que cree en el futuro:

   CREATE PUBLICATION PUBLICATION_NAME
   FOR TABLES IN SCHEMA SCHEMA1, SCHEMA2;

2. Crea un slot de replicación introduciendo el siguiente comando de PostgreSQL:

   SELECT PG_CREATE_LOGICAL_REPLICATION_SLOT('REPLICATION_SLOT_NAME', 'pgoutput'); 

   Haz los cambios siguientes:

   • REPLICATION_SLOT_NAME: el nombre de tu ranura de replicación. Deberá proporcionar este nombre cuando cree un flujo en el asistente de creación de flujos de Datastream.
   El espacio de replicación debe ser único para cada flujo que se replique desde esta base de datos.

Crear un usuario de Datastream

1. Para crear un usuario de Datastream, introduce el siguiente comando de PostgreSQL:

   CREATE USER USER_NAME WITH ENCRYPTED PASSWORD 'USER_PASSWORD';
   

   Haz los cambios siguientes:

   • USER_NAME: nombre del usuario de Datastream que quieres crear.
   • USER_PASSWORD: la contraseña de inicio de sesión del usuario de flujo de datos que quieras crear.

2. Concede los siguientes privilegios al usuario que has creado:

   GRANT RDS_REPLICATION TO USER_NAME;
   GRANT SELECT ON ALL TABLES IN SCHEMA SCHEMA_NAME TO USER_NAME;
   GRANT USAGE ON SCHEMA SCHEMA_NAME TO USER_NAME;
   ALTER DEFAULT PRIVILEGES IN SCHEMA SCHEMA_NAME
     GRANT SELECT ON TABLES TO USER_NAME;
   

   Haz los cambios siguientes:

   • USER_NAME: el usuario al que quieres conceder los privilegios.
   • SCHEMA_NAME: el nombre del esquema al que quieres conceder los privilegios.

Siguientes pasos

• Consulta más información sobre cómo funciona Datastream con las fuentes de PostgreSQL.