Replica datos de la base de datos de Oracle en BigQuery

En este instructivo, se muestra cómo implementar un trabajo que replica de forma continua los datos modificados de una base de datos de Oracle a un conjunto de datos de BigQuery con la replicación de Cloud Data Fusion. Esta función se basa en Datastream.

Objetivos

En este instructivo, harás lo siguiente:

  1. Configura tu base de datos de Oracle para habilitar el registro complementario.
  2. Crea y ejecuta un trabajo de replicación de Cloud Data Fusion.
  3. Observar los resultados en BigQuery.

Costos

En este documento, usarás los siguientes componentes facturables de Google Cloud:

Para generar una estimación de costos en función del uso previsto, usa la calculadora de precios. Es posible que los usuarios nuevos de Google Cloud califiquen para obtener una prueba gratuita.

Cuando se ejecuta la replicación, se te cobra por el clúster de Dataproc y Cloud Storage, y se generan costos de procesamiento para Datastream y BigQuery. Para optimizar estos costos, te recomendamos que uses los precios de tarifa plana de BigQuery.

Antes de comenzar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Cloud Data Fusion, Dataproc, Datastream, BigQuery, and Cloud Storage APIs.

    Enable the APIs

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the Cloud Data Fusion, Dataproc, Datastream, BigQuery, and Cloud Storage APIs.

    Enable the APIs

    8.
  8. Crea una instancia pública de Cloud Data Fusion en la versión 6.3.0 o una posterior. Si creas una instancia privada, configura el intercambio de tráfico entre redes de VPC.
    • Cuando crees la instancia, habilita la replicación haciendo clic en Agregar aceleradores y seleccionando la casilla de verificación Replicación.
    • Para habilitarlo en una instancia existente, consulta Habilita la replicación.

Roles obligatorios

Para obtener los permisos que necesitas para conectarte a una base de datos de Oracle, pídele a tu administrador que te otorgue los siguientes roles de IAM:

Si quieres obtener más información para otorgar roles, consulta Administra el acceso.

También puedes obtener los permisos necesarios a través de roles personalizados o cualquier otro rol predefinido.

Opcional: Instala Oracle en Compute Engine

En esta sección, se muestra cómo configurar una base de datos de ejemplo. Si ya tienes una base de datos de Oracle instalada, puedes omitir esta sección.

  1. Descarga una imagen de Docker de Oracle Server.

    Para conocer las limitaciones de esta imagen de Oracle Express Edition 11g, consulta Ediciones de la base de datos de Oracle.

  2. Implementa tu imagen de Docker en una instancia de VM nueva.

  3. En la página Discos de Compute Engine, cambia el tamaño del disco a 500 GB y reinicia la VM.

    Ir a Discos

  4. Instala el esquema de ejemplo de recursos humanos.

Crea un vínculo de red de VPC o una regla de firewall para tu servidor de Oracle

Si tu base de datos de Oracle no permite el tráfico de entrada desde direcciones IP públicas, configura el intercambio de tráfico de red de VPC entre la VPC de Datastream y la VPC a la que se puede acceder a tu base de datos de Oracle. Para obtener más información, consulta Crea una configuración de conectividad privada.

Si tu base de datos de Oracle permite el tráfico de entrada de direcciones IP públicas, crea una regla de firewall para la instancia de VM a fin de permitir el tráfico de entrada desde las IP públicas de Datastream.

Configura tu servidor de Oracle para habilitar el registro complementario

Sigue los pasos para configurar tu base de datos de Oracle de origen.

Crea y ejecuta un trabajo de replicación de Cloud Data Fusion

Crea el trabajo

  1. En la interfaz web de Cloud Data Fusion, haz clic en Replicación.

  2. Haz clic en Crear un trabajo de replicación.

  3. En la página Crear un trabajo de replicación, especifica un Nombre para el trabajo de replicación y haz clic en Siguiente.

  4. Configura la fuente:

    1. Selecciona Oracle (de Datastream) como fuente.

    2. En Método de conectividad, si tu servidor de Oracle permite el tráfico de entrada desde las IP públicas de Datastream, elige Lista de IP permitidas. De lo contrario, en Nombre de la conexión privada, elige Conectividad privada (intercambio de tráfico de VPC) y, luego, ingresa el nombre de intercambio de tráfico de VPC que creaste en la sección Crea un intercambio de tráfico de red de VPC o una regla de firewall para tu servidor de Oracle.

    3. En Host, ingresa el nombre de host del servidor de Oracle del que se leerá.

    4. En Puerto, ingresa el puerto que se usará para conectarse al servidor de Oracle: 1521.

    5. En Identidad del sistema, ingresa xe (el nombre de la base de datos de muestra del servidor de Oracle).

    6. En la sección de credenciales, ingresa tu nombre de usuario y contraseña para acceder al servidor de Oracle.

    7. Deja todas las demás propiedades como están.

  5. Haz clic en Siguiente.

  6. Configura el destino:

    1. Selecciona el destino de BigQuery.

    2. El ID del proyecto y la clave de la cuenta de servicio se detectan automáticamente. Mantén los valores predeterminados tal como están.

    3. Opcional: En la sección Avanzada, puedes configurar lo siguiente:

      • Nombre y ubicación del bucket de etapa de pruebas
      • Intervalo de carga
      • Prefijo de la tabla de almacenamiento en etapa intermedia
      • Comportamiento cuando se eliminan tablas o bases de datos

  7. Haz clic en Siguiente.

  8. Si la conexión se realiza correctamente, se mostrará una lista de tablas. Para este instructivo, selecciona algunas tablas.

  9. Haz clic en Siguiente.

  10. En la página Revisar evaluación, haz clic en Ver asignaciones en cualquiera de las tablas para obtener una evaluación de los problemas de esquema, las características faltantes o los problemas de conectividad que podrían ocurrir durante la replicación.

    Si se produce algún problema, debes resolverlo antes de continuar. En este instructivo, si alguna de las tablas tiene problemas, haz lo siguiente:

    1. Regresa al paso en el que seleccionaste las tablas.
    2. Selecciona una tabla o un evento (inserciones, actualizaciones o eliminaciones) sin problemas.

    Para obtener más información sobre las conversiones de tipos de datos de la base de datos de origen al destino de BigQuery, consulta Tipos de datos de replicación.

  11. Haga clic en Atrás.

  12. Haz clic en Siguiente.

  13. Revisa los detalles del resumen del trabajo de replicación y, luego, haz clic en Implementar trabajo de replicación.

Inicia el trabajo

  1. En la interfaz web de Cloud Data Fusion, ve a la página de detalles del trabajo de replicación.

  2. Haz clic en Iniciar.

El trabajo de replicación pasa del estado Aprovisionando a Iniciando a En ejecución. En el estado de ejecución, el trabajo de replicación carga una instantánea inicial de los datos de la tabla que seleccionaste en BigQuery. En este estado, el estado de la tabla aparece como Creación de instantáneas. Después de que se carga la instantánea inicial en BigQuery, los cambios que se realicen en la tabla se replicarán en BigQuery, y el estado de la tabla aparecerá como Replicating.

Supervisa el trabajo

Puedes iniciar y detener el trabajo de replicación, revisar su configuración y registros, y supervisarlo.

Puedes supervisar las actividades de los trabajos de replicación desde la página Detalles del trabajo de replicación.

  1. En la página Replicación, haz clic en el Nombre del trabajo de replicación que deseas.

  2. Haz clic en Monitoring.

Consulta los resultados en BigQuery

El trabajo de replicación crea un conjunto de datos replicados y una tabla en BigQuery, con nombres heredados de la base de datos y los nombres de tabla correspondientes de Oracle.

  1. En la consola de Google Cloud, ve a la página BigQuery.

  2. En el panel izquierdo, haz clic en el nombre de tu proyecto para expandir una lista de conjuntos de datos.

  3. Selecciona el conjunto de datos xe y, luego, selecciona una tabla para verla.

Si deseas obtener más información, consulta la documentación de BigQuery.

Limpia

Para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos usados en este instructivo, borra el proyecto que contiene los recursos o conserva el proyecto y borra los recursos individuales.

Una vez que hayas terminado el instructivo, limpia los recursos que creaste enGoogle Cloud para que no consuman tu cuota y no se te facturen en el futuro. En las siguientes secciones, se describe cómo borrar o desactivar estos recursos.

Borra la instancia de VM

  1. En la consola de Google Cloud, ve a la página Instancias de VM.

    Ir a Instancias de VM

  2. Selecciona la casilla de verificación de la instancia que deseas borrar.

  3. Para borrar la instancia, haz clic en Borrar.

Borra la instancia de Cloud Data Fusion

Sigue las instrucciones para borrar tu instancia de Cloud Data Fusion.

Borra el proyecto

La manera más fácil de eliminar la facturación es borrar el proyecto que creaste para el instructivo.

Para borrar el proyecto, sigue estos pasos:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

¿Qué sigue?