Transmitir datos desde bases de datos MySQL

Esta sección contiene información sobre lo siguiente:

  • El comportamiento de Datastream al gestionar los datos que se extraen de una base de datos MySQL de origen
  • Versiones de la base de datos MySQL compatibles con Datastream
  • Limitaciones conocidas al usar una base de datos MySQL como fuente
  • Resumen de cómo configurar una base de datos MySQL de origen para que los datos se puedan transmitir desde ella a un destino

Comportamiento

En esta sección se describe el comportamiento de las fuentes de MySQL cuando se replican datos con Datastream. Cuando ingieres datos de bases de datos MySQL, puedes usar la replicación basada en binlog o la replicación basada en el identificador de transacción global (GTID). Selecciona el método de CDC al crear un flujo.

Replicación basada en binlogs

Datastream puede usar archivos de registro binario para mantener un registro de los cambios de datos en las bases de datos MySQL. La información contenida en estos archivos de registro se replica en el destino para reproducir los cambios realizados en el origen.

Estas son las características principales de la replicación basada en binlog en Datastream:

  • Se pueden seleccionar todas las bases de datos o bases de datos específicas de un origen de MySQL determinado, así como todas las tablas de las bases de datos o tablas específicas.
  • Todos los datos históricos se replican.
  • Se replican todos los cambios del lenguaje de manipulación de datos (DML), como las inserciones, las actualizaciones y las eliminaciones de las bases de datos y las tablas especificadas.
  • Solo se replican los cambios confirmados.

Replicación basada en el identificador de transacción global (GTID)

Datastream también admite la replicación basada en el identificador global (GTID).

El identificador de transacción global (GTID) es un identificador único que se crea y se asocia a cada transacción confirmada en una fuente de MySQL. Este identificador es único no solo para la fuente en la que se originó, sino también para todos los servidores de una topología de replicación determinada, a diferencia de la replicación basada en registros binarios, en la que cada nodo del clúster de bases de datos mantiene sus propios archivos de registro binario, con su propia numeración. Mantener archivos binlog independientes y una numeración puede suponer un problema en caso de fallo o de inactividad programada, ya que se interrumpe la continuidad de binlog y se produce un error en la replicación basada en binlog.

La replicación basada en GTID admite conmutaciones por error y clústeres de bases de datos autogestionados, y sigue funcionando independientemente de los cambios que se produzcan en el clúster de bases de datos.

Estas son las características principales de la replicación basada en GTID en Datastream:

  • Se pueden seleccionar todas las bases de datos o bases de datos específicas de un origen de MySQL determinado, así como todas las tablas de las bases de datos o tablas específicas.
  • Todos los datos históricos se replican.
  • Se replican todos los cambios del lenguaje de manipulación de datos (DML), como las inserciones, las actualizaciones y las eliminaciones de las bases de datos y las tablas especificadas.
  • Solo se replican los cambios confirmados.
  • Compatibilidad con conmutaciones por error sin interrupciones.

Cambiar de la replicación basada en binlog a la basada en GTID

Si quieres actualizar tu flujo y cambiar de la replicación basada en binlog a la basada en GTID sin tener que hacer un relleno, sigue estos pasos:

  1. Asegúrate de que se cumplen todos los requisitos para la replicación basada en GTID. Para obtener más información, consulta el artículo sobre cómo configurar una base de datos MySQL de origen.
  2. Opcionalmente, crea y ejecuta un flujo de prueba basado en GTID. Para obtener más información, consulta Crear un flujo.
  3. Crea un flujo basado en GTID. No lo inicies todavía.
  4. Detener el tráfico de aplicaciones a la base de datos de origen.
  5. Pausa la réplica basada en binlogs. Para obtener más información, consulta Pausar la emisión.
  6. Espera unos minutos para asegurarte de que Datastream se ha puesto al día con la base de datos. Para comprobarlo, consulta las métricas de la pestaña Monitorización de la página Detalles del flujo. Los valores de Actualización de datos y Rendimiento deben ser 0.
  7. Inicia la réplica basada en GTID. Para obtener más información, consulta Iniciar la emisión.
  8. Reanuda el tráfico a la base de datos de origen.

Si no hay ningún problema en realizar un relleno, puedes truncar tus tablas en BigQuery, eliminar el flujo antiguo e iniciar uno nuevo con relleno. Para obtener más información sobre cómo gestionar el backfill, consulta el artículo Gestionar backfill para objetos de un flujo.

Versiones

Datastream admite las siguientes versiones de la base de datos MySQL:

  • MySQL 5.6
  • MySQL 5.7
  • MySQL 8.0

  • MySQL 8.4 (solo se admite la replicación basada en GTID)

Datastream admite los siguientes tipos de bases de datos MySQL:

Limitaciones conocidas

Estas son algunas de las limitaciones conocidas al usar una base de datos MySQL como fuente:

  • Las secuencias tienen un límite de 10.000 tablas.
  • Las tablas que tienen una clave principal definida como INVISIBLE no se pueden rellenar.
  • No se puede rellenar una tabla que tenga más de 500 millones de filas a menos que se cumplan las siguientes condiciones:
    1. La tabla tiene un índice único.
    2. Ninguna de las columnas del índice puede tener un valor nulo.
    3. El índice no es descendente.
    4. Todas las columnas del índice se incluyen en el flujo.
  • Datastream obtiene periódicamente el esquema más reciente de la fuente a medida que se procesan los eventos. Si cambia un esquema, Datastream lo detecta y activa una obtención del esquema. Sin embargo, es posible que algunos eventos se procesen de forma incorrecta o se pierdan entre las solicitudes de esquema, lo que puede provocar discrepancias en los datos.
  • No todos los cambios en el esquema de origen se pueden detectar automáticamente, por lo que puede que los datos se dañen. Los siguientes cambios en el esquema pueden provocar que los datos se dañen o que no se puedan procesar los eventos posteriores:
    • Eliminar columnas
    • Añadir columnas en medio de una tabla
    • Cambiar el tipo de datos de una columna
    • Reordenar columnas
    • Eliminar tablas (es relevante si la misma tabla se vuelve a crear con nuevos datos añadidos)
    • Truncar tablas
  • Datastream no admite la replicación de vistas.
  • Datastream no admite columnas de tipos de datos espaciales. Los valores de estas columnas se sustituyen por valores NULL.
  • Datastream no admite el valor cero (0000-00-00 00:00:00) en las columnas de los tipos de datos DATETIME, DATE o TIMESTAMP. El valor cero se sustituye por el valor NULL.
  • Datastream no admite la replicación de filas que incluyan los siguientes valores en las columnas JSON: DECIMAL, NEWDECIMAL, TIME, TIME2, DATETIME, DATETIME2, DATE, TIMESTAMP o TIMESTAMP2. Los eventos que contengan estos valores se descartarán.
  • Datastream no admite la compresión de transacciones de registro binario.
  • Datastream no admite cadenas de certificados SSL en los perfiles de conexión de MySQL de origen. Solo se admiten certificados únicos x509 codificados en PEM.
  • Datastream no admite eliminaciones en cascada. Estos eventos no se escriben en el registro binario y, por lo tanto, no se propagan al destino.
  • Datastream no admite operaciones DROP PARTITION. Estas operaciones son solo de metadatos y no se replican. Otros eventos no se ven afectados y la emisión se ejecuta correctamente.
  • Como Datastream no admite conmutaciones por error a réplicas cuando se usa la replicación basada en registros binarios, recomendamos usar la replicación basada en GTID para las fuentes de Cloud SQL para MySQL Enterprise Plus. Las instancias de Cloud SQL Enterprise Plus están sujetas a mantenimiento con un periodo de inactividad casi inexistente y conmutan por error a una réplica durante el mantenimiento.

Limitaciones adicionales de la replicación basada en GTID

  • La recuperación de las secuencias que usan la replicación basada en GTID solo está disponible cuando se usa la API de Datastream.
  • No se pueden crear tablas a partir de otras tablas mediante las instrucciones CREATE TABLE ... SELECT.
  • Datastream no admite GTIDs etiquetados.
  • Para consultar las restricciones de MySQL que se aplican a la replicación basada en GTID, consulta la documentación de MySQL.

Siguientes pasos