Replica datos de la base de datos de Oracle en BigQuery

En este instructivo, se muestra cómo implementar un trabajo que replica de forma continua los datos modificados de una base de datos de Oracle en un conjunto de datos de BigQuery con la replicación de Cloud Data Fusion. Esta función cuenta con la tecnología de Datastream.

Objetivos

En este instructivo, harás lo siguiente:

  1. Configura tu base de datos de Oracle para habilitar el registro complementario.
  2. Crea y ejecuta un trabajo de replicación de Cloud Data Fusion.
  3. Observar los resultados en BigQuery.

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios.

Es posible que los usuarios Google Cloud nuevos cumplan con los requisitos para obtener una prueba gratuita.

Cuando se ejecuta la replicación, se te cobra por el clúster de Dataproc y Cloud Storage, y se generan costos de procesamiento por Datastream y BigQuery. Para optimizar estos costos, recomendamos usar los precios de tarifa fija de BigQuery.

Antes de comenzar

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Enable the Cloud Data Fusion, Dataproc, Datastream, BigQuery, and Cloud Storage APIs.

    Enable the APIs

  4. Crea una instancia pública de Cloud Data Fusion en la versión 6.3.0 o posterior. Si creaste una instancia privada, configura el intercambio de tráfico entre redes de VPC.
    • Cuando crees la instancia, habilita la replicación haciendo clic en Agregar aceleradores y seleccionando la casilla de verificación Replicación.
    • Para habilitarla en una instancia existente, consulta Habilita la replicación.

    5. Roles obligatorios

    Para obtener los permisos que necesitas para conectarte a una base de datos de Oracle, pídele a tu administrador que te otorgue los siguientes roles de IAM:

    Si quieres obtener más información para otorgar roles, consulta Administra el acceso.

    También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Opcional: Instala Oracle en Compute Engine

En esta sección, se muestra cómo configurar una base de datos de ejemplo. Si ya tienes instalada una base de datos de Oracle, puedes omitir esta sección.

  1. Descarga una imagen de Docker de Oracle Server.

    Para conocer las limitaciones de esta imagen de Oracle Express Edition 11g, consulta Oracle Database Editions.

  2. Implementa tu imagen de Docker en una instancia de VM nueva.

  3. En la página Discos de Compute Engine, cambia el tamaño del disco a 500 GB y reinicia la VM.

    Ir a Discos

  4. Instala el esquema de muestra de RR.HH..

Crea una regla de firewall o un peering de red de VPC para tu servidor de Oracle

Si tu base de datos de Oracle no permite el tráfico de entrada desde direcciones IP públicas, configura el intercambio de tráfico entre la VPC de Datastream y la VPC a la que se puede acceder a tu base de datos de Oracle. Para obtener más información, consulta Crea una configuración de conectividad privada.

Si tu base de datos de Oracle permite el tráfico de entrada de direcciones IP públicas, crea una regla de firewall para la instancia de VM a fin de permitir el tráfico de entrada desde las IP públicas de Datastream.

Configura tu servidor de Oracle para habilitar el registro complementario

Sigue los pasos para configurar tu base de datos de Oracle de origen.

Crea y ejecuta un trabajo de replicación de Cloud Data Fusion

Crea el trabajo

  1. En la interfaz web de Cloud Data Fusion, haz clic en Replicación.

  2. Haz clic en Crear un trabajo de replicación.

  3. En la página Crear un trabajo de replicación nuevo, especifica un Nombre para el trabajo de replicación y haz clic en Siguiente.

  4. Configura la fuente:

    1. Selecciona Oracle (de Datastream) como fuente.

    2. En Método de conectividad, si tu servidor de Oracle permite el tráfico de entrada desde las IP públicas de Datastream, elige Lista de IP permitidas. De lo contrario, en Nombre de la conexión privada, elige Conectividad privada (intercambio de tráfico de VPC) y, luego, ingresa el nombre del intercambio de tráfico de VPC que creaste en la sección Crea el intercambio de tráfico de la red de VPC o la regla de firewall para tu servidor de Oracle.

    3. En Host, ingresa el nombre de host del servidor de Oracle del que se leerá.

    4. En Puerto, ingresa el puerto que se usará para conectarse al servidor de Oracle: 1521.

    5. En Identidad del sistema, ingresa xe (el nombre de la base de datos de muestra del servidor de Oracle).

    6. En la sección de credenciales, ingresa tu nombre de usuario y contraseña para acceder al servidor de Oracle.

    7. Deja todas las demás propiedades como están.

  5. Haz clic en Siguiente.

  6. Configura el destino:

    1. Selecciona el destino de BigQuery.

    2. El ID del proyecto y la clave de la cuenta de servicio se detectan automáticamente. Mantén los valores predeterminados.

    3. Opcional: En la sección Avanzada, puedes configurar lo siguiente:

      • Nombre y ubicación del bucket de etapa de pruebas
      • Intervalo de carga
      • Prefijo de la tabla de etapa intermedia
      • Comportamiento cuando se descartan tablas o bases de datos

  7. Haz clic en Siguiente.

  8. Si la conexión se realiza correctamente, se mostrará una lista de tablas. Para este instructivo, selecciona algunas tablas.

  9. Haz clic en Siguiente.

  10. En la página de evaluación de la revisión, haz clic en Ver asignaciones en cualquiera de las tablas para obtener una evaluación de los problemas de esquema, las funciones faltantes o los problemas de conectividad que podrían ocurrir durante la replicación.

    Si se produce algún problema, debes resolverlo antes de continuar. En este instructivo, si alguna de las tablas tiene problemas, haz lo siguiente:

    1. Regresa al paso en el que seleccionaste las tablas.
    2. Selecciona una tabla o un evento (inserciones, actualizaciones o eliminaciones) sin problemas.

    Para obtener más información sobre las conversiones de tipos de datos desde la base de datos de origen hasta el destino de BigQuery, consulta Tipos de datos de replicación.

  11. Haga clic en Atrás.

  12. Haz clic en Siguiente.

  13. Revisa los detalles del trabajo de replicación de resumen y, luego, haz clic en Implementar trabajo de replicación.

Inicia el trabajo

  1. En la interfaz web de Cloud Data Fusion, ve a la página de detalles del trabajo de replicación.

  2. Haz clic en Iniciar.

El trabajo de replicación pasa del estado Aprovisionando al estado Iniciando y, luego, al estado En ejecución. En el estado de ejecución, el trabajo de replicación carga una instantánea inicial de los datos de la tabla que seleccionaste en BigQuery. En este estado, el estado de la tabla aparece como Creando instantánea. Después de que se carga la instantánea inicial en BigQuery, cualquier cambio que se realice en la tabla se replica en BigQuery, y el estado de la tabla se muestra como Replicando.

Supervisa el trabajo

Puedes iniciar y detener el trabajo de replicación, revisar su configuración y registros, y supervisar tu trabajo de replicación.

Puedes supervisar las actividades del trabajo de replicación desde la página detalles del trabajo de replicación.

  1. En la página Replication, haz clic en el Nombre del trabajo de replicación elegido.

  2. Haz clic en Monitoring.

Consulta los resultados en BigQuery

El trabajo de replicación crea un conjunto de datos replicados y una tabla en BigQuery, con nombres heredados de la base de datos y los nombres de tabla correspondientes de Oracle.

  1. En la consola de Google Cloud , ve a la página BigQuery.

  2. En el panel izquierdo, haz clic en el nombre de tu proyecto para expandir una lista de conjuntos de datos.

  3. Selecciona el conjunto de datos xe y, luego, selecciona una tabla para verla.

Si deseas obtener más información, consulta la documentación de BigQuery.

Limpia

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

Una vez que terminaste el instructivo, limpia los recursos que creaste enGoogle Cloud para que no consuman tu cuota y no se te facturen en el futuro. En las siguientes secciones, se describe cómo borrar o desactivar estos recursos.

Borra la instancia de VM

  1. En la Google Cloud consola, ve a la página Instancias de VM.

    Ir a Instancias de VM

  2. Selecciona la casilla de verificación de la instancia que deseas borrar.

  3. Para borrar la instancia, haz clic en Borrar.

Borra la instancia de Cloud Data Fusion

Sigue las instrucciones para borrar tu instancia de Cloud Data Fusion.

Borra el proyecto

La manera más fácil de eliminar la facturación es borrar el proyecto que creaste para el instructivo.

Para borrar el proyecto, sigue estos pasos:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

¿Qué sigue?