Configurar una base de datos MySQL autogestionada para CDC

En esta página se describe cómo configurar la captura de datos de cambios (CDC) para transmitir datos desde una base de datos MySQL autogestionada a un destino admitido, como BigQuery o Cloud Storage. Estas instrucciones también funcionan con bases de datos como MariaDB, Percona Server para MySQL o Alibaba Cloud PolarDB.

Verificar la configuración y el periodo de conservación del registro binario

1. Confirma que el registro binario esté configurado correctamente introduciendo el siguiente comando de MySQL:

   SHOW GLOBAL VARIABLES LIKE '%binlog_format%';
   

2. Verifica que la variable binlog_format tenga asignado el valor ROW. Datastream no admite formatos de registro binario MIXED ni STATEMENT.

3. Confirma que el formato de fila del registro binario se ha definido como FULL introduciendo el siguiente comando de MySQL:

   SHOW GLOBAL VARIABLES LIKE 'binlog_row_image';
   

4. Verifica que la opción de actualización de réplica del registro binario esté definida como ON introduciendo el siguiente comando de MySQL:

   SHOW GLOBAL VARIABLES LIKE 'log_replica_updates';
   

   En las versiones de MySQL anteriores a la 8.0.26, introduce el siguiente comando:

   SHOW GLOBAL VARIABLES LIKE 'log_slave_updates';
   

5. Para comprobar que el periodo de retención del registro binario se ha definido en 604800 segundos (7 días), introduce el siguiente comando de MySQL:

   SHOW GLOBAL VARIABLES LIKE 'binlog_expire_logs_seconds';
   

   En las versiones de MySQL anteriores a la 8.0.3, introduce el siguiente comando:

   SHOW GLOBAL VARIABLES LIKE 'expire_logs_days';
   

   Si tu base de datos MySQL no está configurada para usar la replicación basada en filas completa y un periodo de conservación de 7 días, tendrás que cambiar la configuración del registro binario de la siguiente manera:

   1. Ve al directorio /etc/mysql/.
   2. Abre el archivo my.cnf con un editor.
   3. Añade las siguientes líneas al archivo:

        [mysqld]
        log-bin=mysql-bin
        server-id=1
        binlog_format=ROW
        log-replica-updates=1
        # For MySQL versions earlier than 8.0.26, use log-slave-updates=true
        # instead.
        binlog_expire_logs_seconds=604800
        # For MySQL versions earlier than 8.0.3, use expire_logs_days=7 instead.
        max_allowed_packet=1G
        # '1G' is the recommended value.
        

   4. En el caso de la replicación basada en GTID, también debe añadir las siguientes líneas:

        [mysqld]
        gtid_mode=ON
        enforce-gtid-consistency=ON
        

   5. Guarda los cambios en el archivo my.cnf y ciérralo.
   6. Reinicia el servidor MySQL para que se apliquen los cambios que has hecho.

Crear un usuario de Datastream

1. Para crear un usuario de Datastream, introduce los siguientes comandos de MySQL:

   CREATE USER 'datastream'@'%' IDENTIFIED BY 'YOUR_PASSWORD';
   GRANT REPLICATION SLAVE, SELECT, REPLICATION CLIENT ON *.* TO 'datastream'@'%';
   FLUSH PRIVILEGES;

Siguientes pasos

• Consulte más información sobre cómo funciona Datastream con las fuentes de MySQL.