Replica datos de MySQL en BigQuery

---

En este instructivo, se muestra cómo crear e implementar un trabajo que replica de forma continua los datos modificados de una base de datos de MySQL a una tabla de BigQuery.

Objetivos

En este instructivo, harás lo siguiente:

1. Implementar tu base de datos de MySQL en Compute Engine.
2. Configurar tu base de datos de MySQL para habilitar la replicación.
3. Crea y ejecuta un trabajo de replicación de Cloud Data Fusion.
4. Observar los resultados en BigQuery.

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

• Cloud Data Fusion
• BigQuery
• Dataproc
• Cloud Storage
• Compute Engine

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Cuando se ejecuta la replicación, se te cobra por el clúster de Dataproc y se incurren en costos de procesamiento de BigQuery. Para optimizar estos costos, te recomendamos que uses los precios de tasa fija de BigQuery.

Antes de comenzar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Cloud Data Fusion, BigQuery, and Cloud Storage APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Cloud Data Fusion, BigQuery, and Cloud Storage APIs.

   Enable the APIs

8. Crea una instancia pública de Cloud Data Fusion en la versión 6.3.0 o una posterior. Si creas una instancia privada, configura el intercambio de tráfico entre redes de VPC.
   • Cuando crees la instancia, habilita la replicación haciendo clic en Agregar aceleradores y seleccionando la casilla de verificación Replicación.
   • Para habilitarlo en una instancia existente, consulta Habilita la replicación.

Importante: Debes habilitar la replicación en tu instancia para que aparezca en el menú de la interfaz web de Cloud Data Fusion (consulta Habilita la replicación).

Roles obligatorios

Para obtener los permisos que necesitas para este instructivo, consulta Control de acceso con IAM y Otorga permiso de usuario a la cuenta de servicio.

Instala MySQL en Compute Engine

1. Descarga una imagen de Docker del servidor de MySQL.

2. Sube tu imagen de Docker a Artifact Registry.

3. Implementa tu imagen de Docker en una instancia de VM nueva.

   Nota: Para implementar la imagen en la nueva instancia de VM, el servicio de Compute Engine debe tener el rol de lector de Artifact Registry (roles/artifactregistry.reader).

4. En la página Discos de Compute Engine, cambia el tamaño del disco a 500 GB y reinicia la VM.

   Ir a Discos

5. Crea un firewall para la instancia de VM.

6. Instala la base de datos de muestra de Sakila.

Habilita la replicación en tu base de datos de MySQL

Para habilitar la replicación, configura la captura de datos modificados (CDC) en MySQL.

Es posible que debas comunicarte con el administrador de la base de datos para obtener permisos para ejecutar los comandos.

Crea y ejecuta un trabajo de replicación de Cloud Data Fusion

Sube el controlador de JDBC

Nota: Usa la versión 8 del controlador de JDBC o una posterior.

1. Descarga el controlador de JDBC de MySQL (versión 8 o superior) en tu máquina local.

2. En la interfaz web de Cloud Data Fusion, sube el controlador de JDBC.

   Usa estos valores para configurar el controlador de JDBC:

   • En el campo Nombre, ingresa mysql.
   • En el campo Versión, mantén el valor predeterminado.
   • En el campo Nombre de la clase, ingresa com.mysql.jdbc.Driver.

Crea el trabajo

1. En la interfaz web de Cloud Data Fusion, haz clic en Replicación.

2. Haz clic en Crear un trabajo de replicación.

3. En la página Crear un trabajo de replicación, especifica un Nombre para el trabajo de replicación y haz clic en Siguiente.

4. Configura la fuente:

   1. Selecciona MySQL como la fuente.
   2. En Host, ingresa el nombre de host del servidor MySQL del que se leerá.
   3. En Puerto, ingresa el puerto que se usará para conectarse al servidor de MySQL: 3306.
   4. En Nombre del complemento de JDBC , selecciona mysql o el nombre que especificaste cuando configuraste el controlador de JDBC.
   5. En Nombre de la base de datos (Database name), ingresa sakila.
   6. En la sección Credenciales, ingresa tu nombre de usuario y contraseña para acceder al servidor de MySQL.

5. Haz clic en Siguiente.

6. Configura el destino:

   1. Selecciona el destino de BigQuery.
   2. El ID del proyecto y la clave de la cuenta de servicio se detectan de forma automática. Mantén los valores predeterminados.
   3. Opcional: En la sección Avanzado, configura el nombre, la ubicación, el intervalo de carga, el prefijo de la tabla de etapa de pruebas y el comportamiento cuando se descartan las tablas o bases de datos.

7. Haz clic en Siguiente.

8. Si la conexión se realiza correctamente, se mostrará una lista de tablas de la base de datos de muestra de Sakila. Para este instructivo, selecciona algunas tablas y eventos para replicar, como los eventos Insert, Update y Delete.

9. Opcional: Configura las propiedades avanzadas. Para este instructivo, puedes usar la configuración predeterminada.

10. Haz clic en Siguiente.

11. En la página Revisar evaluación, haz clic en Ver asignaciones en cualquiera de las tablas para obtener una evaluación de los problemas de esquema, las características faltantes o los problemas de conectividad que podrían ocurrir durante la replicación. Si se producen problemas, debes resolverlos antes de poder continuar. Para este instructivo, si alguna de las tablas tiene problemas, regresa al paso en el que seleccionaste las tablas y elige tablas o eventos (inserciones, actualizaciones o eliminaciones) sin problemas.

    Para obtener más información sobre las conversiones de tipos de datos de la base de datos de origen al destino de BigQuery, consulta Tipos de datos de replicación.

12. Haz clic en Siguiente.

13. Revisa los detalles del resumen del trabajo de replicación y, luego, haz clic en Implementar trabajo de replicación.

Inicia el trabajo

• En la página Detalles del trabajo de replicación, haz clic en Iniciar.

El trabajo de replicación pasa del estado Aprovisionando a Iniciando a En ejecución. En el estado de ejecución, el trabajo de replicación carga una instantánea inicial de los datos de la tabla que seleccionaste en BigQuery. En este estado, el estado de la tabla aparece como Creación de instantáneas. Después de que se carga la instantánea inicial en BigQuery, los cambios que se realicen en la tabla se replicarán en BigQuery, y el estado de la tabla aparecerá como Replicating.

Supervisa el trabajo

Puedes iniciar y detener el trabajo de replicación, revisar su configuración y registros, y supervisarlo.

Puedes supervisar las actividades de los trabajos de replicación desde la página Detalles del trabajo de replicación.

1. En la página Replicación, haz clic en el Nombre del trabajo de replicación.

2. Haz clic en Monitoring.

Consulta los resultados en BigQuery

El trabajo de replicación crea un conjunto de datos replicados y una tabla en BigQuery, con nombres heredados de la base de datos y los nombres de tabla correspondientes de MySQL.

Nota: Si el nombre de tu base de datos fuente no sigue las convenciones de nombres de conjuntos de datos de BigQuery o si tienes conflictos de nombres cuando replicas varios conjuntos de datos en un único conjunto de datos de BigQuery, especifica los alias en las propiedades de destino de BigQuery.

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Ir a BigQuery

2. En el panel izquierdo, selecciona el nombre de tu proyecto para expandir una lista de conjuntos de datos.

3. Para ver los resultados, selecciona el conjunto de datos sakila y una tabla.

Si deseas obtener más información, consulta la documentación de BigQuery.

Limpia

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

Una vez que hayas terminado el instructivo, limpia los recursos que creaste enGoogle Cloud para que no consuman tu cuota y no se te facturen en el futuro. En las siguientes secciones, se describe cómo borrar o desactivar estos recursos.

Borra la instancia de Cloud Data Fusion

Sigue las instrucciones para borrar tu instancia de Cloud Data Fusion.

Borra el proyecto

Precaución: Borrar un proyecto tiene las siguientes consecuencias:

• Se borra todo en el proyecto. Si usaste un proyecto existente para las tareas de este documento, cuando lo borres, también se borrará cualquier otro trabajo que hayas realizado en el proyecto.
• Se pierden los ID personalizados de proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID del proyecto personalizado que desees utilizar en el futuro. Para conservar las URL que utilizan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto en lugar de borrar todo el proyecto.

Si planeas explorar varias infraestructuras, instructivos y guías de inicio rápido la reutilización de proyectos puede ayudarte a evitar exceder los límites de las cuotas del proyecto.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

¿Qué sigue?

• Obtén más información sobre la replicación en Cloud Data Fusion.
• Consulta la referencia de la API de replicación.
• Trabaja con el instructivo para replicar datos de SQL Server a BigQuery.
• Trabaja con el instructivo para replicar datos de Oracle a BigQuery.