Replica los datos de la base de datos de Oracle a BigQuery

En este instructivo, se muestra cómo implementar un trabajo que replica de forma continua los datos modificados de una base de datos de Oracle a un conjunto de datos de BigQuery mediante la replicación de Cloud Data Fusion. Esta función cuenta con la tecnología de Datastream.

Objetivos

En este instructivo, harás lo siguiente:

  1. Configura tu base de datos de Oracle para habilitar el registro complementario.
  2. Crear y ejecutar un trabajo de replicación de Cloud Data Fusion
  3. Observar los resultados en BigQuery.

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Cuando se ejecuta la replicación, se te cobra por el clúster de Dataproc y por Cloud Storage, además de los costos de procesamiento de Datastream y BigQuery. Para optimizar estos costos, te recomendamos usar los precios de tarifa plana de BigQuery.

Antes de comenzar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Cloud Data Fusion, Dataproc, Datastream, BigQuery, and Cloud Storage APIs.

    Enable the APIs

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the Cloud Data Fusion, Dataproc, Datastream, BigQuery, and Cloud Storage APIs.

    Enable the APIs

    8.
  8. Crea una instancia pública de Cloud Data Fusion en la versión 6.3.0 o posterior. Si creas una instancia privada, configura el intercambio de tráfico entre redes de VPC.
    • Cuando crees la instancia, haz clic en Agregar aceleradores y selecciona la casilla de verificación Replicación para habilitar la replicación.
    • Para habilitarla en una instancia existente, consulta Habilita la replicación.

Funciones obligatorias

A fin de obtener los permisos que necesitas para conectarte a una base de datos de Oracle, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Si quieres obtener más información para otorgar funciones, consulta Administra el acceso.

Es posible que también puedas obtener los permisos necesarios mediante funciones personalizadas, o bien otras funciones predefinidas.

Instala Oracle en Compute Engine (opcional)

En esta sección, se muestra cómo configurar una base de datos de ejemplo. Si ya tienes instalada una base de datos de Oracle, puedes omitir esta sección.

  1. Descarga una imagen de Docker del servidor de Oracle.

    Para conocer las limitaciones de esta imagen de Oracle Express Edition 11g, consulta Oracle Database Editions.

  2. Implementa tu imagen de Docker en una instancia de VM nueva.

  3. En la página Discos de Compute Engine, cambia el tamaño del disco a 500 GB y reinicia la VM.

    Ir a Discos

  4. Instala el esquema de muestra de RR.HH.

Crea una regla de firewall o un intercambio de tráfico entre redes de VPC para tu servidor de Oracle

Si tu base de datos de Oracle no permite el tráfico de entrada desde direcciones IP públicas, configura el intercambio de tráfico de redes de VPC entre la VPC de Datastream y la VPC en la que se puede acceder a tu base de datos de Oracle. Para obtener más información, consulta Crea una configuración de conectividad privada.

Si tu base de datos de Oracle permite tráfico de entrada desde direcciones IP públicas, crea una regla de firewall para la instancia de VM a fin de permitir el tráfico de entrada desde IP públicas de Datastream.

Configura tu servidor de Oracle para habilitar el registro complementario

Sigue los pasos para configurar tu base de datos de origen de Oracle.

Crear y ejecutar un trabajo de replicación de Cloud Data Fusion

Crea el trabajo

  1. En la interfaz web de Cloud Data Fusion, haz clic en Replicación.

  2. Haz clic en Crear un trabajo de replicación.

  3. En la página Crear trabajo de replicación nuevo, especifica el Nombre del trabajo de replicación y haz clic en Siguiente.

  4. Configura la fuente:

    1. Selecciona Oracle (de Datastream) como fuente.

    2. En Método de conectividad, si tu servidor de Oracle permite tráfico de entrada desde IP públicas de Datastream, elige Lista de IP permitidas. De lo contrario, en Nombre de la conexión privada, elige Conectividad privada (intercambio de tráfico entre VPC) y, luego, ingresa el nombre del intercambio de tráfico de VPC que creaste en la sección Crea un intercambio de tráfico entre redes de VPC o una regla de firewall para tu servidor de Oracle.

    3. En Host, ingresa el nombre de host del servidor de Oracle que se leerá.

    4. En Puerto, ingresa el puerto que se usará para conectarse al servidor de Oracle: 1521.

    5. En Identidad del sistema, ingresa xe (el nombre de la base de datos de muestra del servidor de Oracle).

    6. En la sección de credenciales, ingresa tu nombre de usuario y contraseña para acceder al servidor de Oracle.

    7. Deja todas las demás propiedades como están.

  5. Haz clic en Siguiente.

  6. Configura el destino:

    1. Selecciona el destino de BigQuery.

    2. El ID del proyecto y la clave de la cuenta de servicio se detectan de forma automática. Mantén los valores predeterminados tal como están.

    3. Opcional: En la sección Avanzado, puedes configurar lo siguiente:

      • Nombre y ubicación del bucket de etapa de pruebas
      • Intervalo de carga
      • Prefijo de la tabla de etapa de pruebas
      • Comportamiento cuando se descartan tablas o bases de datos

  7. Haz clic en Siguiente.

  8. Si la conexión se realiza correctamente, se mostrará una lista de tablas. Para este instructivo, selecciona algunas tablas.

  9. Haz clic en Siguiente.

  10. En la página de revisión de evaluación, haz clic en Ver asignaciones en cualquiera de las tablas para obtener una evaluación de los problemas de esquema, las funciones faltantes o los problemas de conectividad que pueden ocurrir durante la replicación.

    Si se produce algún problema, debes resolverlo antes de continuar. Para este instructivo, si alguna de las tablas tiene problemas, haz lo siguiente:

    1. Regresa al paso en el que seleccionaste las tablas.
    2. Selecciona una tabla o un evento (inserciones, actualizaciones o eliminaciones) sin problemas.

    Para obtener más información sobre las conversiones de tipos de datos de la base de datos de origen al destino de BigQuery, consulta Tipos de datos de replicación.

  11. Haga clic en Atrás.

  12. Haz clic en Siguiente.

  13. Revisa los detalles del trabajo de replicación de resumen y, luego, haz clic en Implementar trabajo de replicación.

Inicia el trabajo

  1. En la interfaz web de Cloud Data Fusion, ve a la página Detalles del trabajo de replicación.

  2. Haz clic en Start.

El trabajo de replicación pasa del estado Aprovisionamiento a Iniciado a En ejecución. En el estado de ejecución, el trabajo de replicación carga una instantánea inicial de los datos de la tabla que seleccionaste en BigQuery. En este estado, el estado de la tabla aparece como Creación de instantáneas. Después de cargar la instantánea inicial en BigQuery, cualquier cambio realizado en la tabla se replica en BigQuery y el estado de la tabla aparece como Replicación.

Supervisa el trabajo

Puedes iniciar y detener el trabajo de replicación, revisar la configuración y los registros, y supervisar el trabajo de replicación.

Puedes supervisar las actividades del trabajo de replicación desde la página de detalles del trabajo de replicación.

  1. En la página Replicación, haz clic en el Nombre del trabajo de replicación deseado.

  2. Haz clic en Monitoring.

Visualiza los resultados en BigQuery

El trabajo de replicación crea un conjunto de datos replicado y una tabla en BigQuery, con nombres heredados de la base de datos y la tabla de Oracle correspondientes.

  1. En la consola de Google Cloud, ve a la página BigQuery.

  2. En el panel izquierdo, haz clic en el nombre de tu proyecto para expandir una lista de conjuntos de datos.

  3. Selecciona el conjunto de datos xe y, luego, selecciona una tabla para ver.

Si deseas obtener más información, consulta la documentación de BigQuery.

Limpia

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

Una vez que completaste el instructivo, limpia los recursos que creaste en Google Cloud para evitar que se te facture por ellos en el futuro. En las siguientes secciones, se describe cómo borrar o desactivar estos recursos.

Borra la instancia de VM

  1. En la consola de Google Cloud, ve a la página Instancias de  VM.

    Ir a Instancias de VM

  2. Selecciona la casilla de verificación de la instancia que deseas borrar.

  3. Para borrar la instancia, haz clic en Borrar.

Borra la instancia de Cloud Data Fusion

Sigue las instrucciones para borrar tu instancia de Cloud Data Fusion.

Borra el proyecto

La manera más fácil de eliminar la facturación es borrar el proyecto que creaste para el instructivo.

Para borrar el proyecto, haz lo siguiente:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

¿Qué sigue?