Transmite cambios en los datos casi en tiempo real con Datastream

Antes de comenzar

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Datastream API.

   Enable the API

7. Asegúrate de tener asignado el rol Administrador de Datastream a tu cuenta de usuario.

   Ir a la página IAM

Si deseas crear una configuración de conectividad privada para una red de VPC estándar o compartida, debes completar requisitos previos adicionales. Para obtener más información, consulta Crea una configuración de conectividad privada.

Requisitos

Datastream ofrece una variedad de opciones de origen, destino y métodos de conectividad de red.

En esta guía de inicio rápido, suponemos que usas una base de datos de Oracle independiente y un servicio de destino de Cloud Storage. En el caso de la base de datos de origen, deberías poder configurar tu red para agregar una regla de firewall entrante. La base de datos de origen puede ser local o estar en un proveedor de servicios en la nube. Debido a que el destino es Cloud Storage, debería estar en el proveedor de servicios en la nube de Google.

Debido a que no podemos conocer los detalles de tu entorno, no podemos proporcionar pasos detallados en lo que respecta a la configuración de tu red.

Para esta guía de inicio rápido, seleccionarás Lista IP permitidas como el método de conectividad. El uso de listas de IP permitidas es una función de seguridad que se usa a menudo para controlar y limitar el acceso a los datos en tu base de datos de origen a usuarios de confianza. Puedes usar las listas de IP permitidas para crear listas de direcciones IP o rangos de IP de confianza desde los que tus usuarios y otros servicios de Google Cloud, como Datastream, pueden acceder a estos datos. Para usar listas de IP permitidas, debes abrir la base de datos o firewall de origen para las conexiones entrantes desde Datastream.

Crear perfiles de conexión

Cuando creas perfiles de conexión para una base de datos de origen y un destino, creas registros que contienen información sobre el origen y el destino.

En esta guía de inicio rápido, seleccionarás Oracle como el tipo de perfil para tu perfil de conexión de origen y Cloud Storage como el tipo de perfil para tu perfil de conexión de destino. Datastream usa la información de los perfiles de conexión para migrar datos de la base de datos de Oracle de origen a un bucket de destino en Cloud Storage.

Crea un perfil de conexión de origen para la base de datos de Oracle

1. Ve a la página Perfiles de conexión de Datastream en la Google Cloud Console.

   Ir a la página Perfiles de conexión

2. Haz clic en CREAR PERFIL.

3. En la página Crear un perfil de conexión, haz clic en el tipo de perfil Oracle (porque deseas crear un perfil de conexión de origen para la base de datos de Oracle).

4. Proporciona la siguiente información en la sección Define la configuración de conexión de la página Crear perfil de Oracle:

   • Ingresa My Source Connection Profile como el Nombre del perfil de conexión de tu base de datos de origen.
   • Conserva el ID de perfil de conexión generado automáticamente.

   • Selecciona la Región en la que se almacenará el perfil de la conexión.

     Los perfiles de conexión, como todos los recursos, se guardan en una región, y una transmisión solo puede usar perfiles de conexión almacenados en su misma región. La selección de la región no influye en si Datastream puede conectarse al origen o al destino, pero puede afectar la disponibilidad si la región experimenta tiempo de inactividad.

   • Ingresa los Detalles de la conexión:

     • En el campo Nombre de host o IP, ingresa un nombre de host o una dirección IP pública que Datastream pueda usar para conectarse a la base de datos de Oracle de origen. Proporcionas una dirección IP pública porque se usará una lista de IP permitidas como método de conectividad de red en esta guía de inicio rápido.
     • En el campo Puerto, ingresa el número de puerto reservado para la base de datos de origen. Para una base de datos de Oracle, el puerto predeterminado suele ser 1521.
     • Ingresa un nombre de usuario y una contraseña para autenticarte en tu base de datos de origen.
     • En el campo Identificador del sistema (SID), ingresa el SID o nombre del servicio que identifica la instancia de la base de datos. Para las bases de datos de Oracle, suele ser ORCL.

5. En la sección Define la configuración de la conexión, haz clic en CONTINUAR. La sección Definir método de conectividad de la página Crear perfil de Oracle está activa.

6. Elige el método de red que quieres usar para establecer la conectividad entre Datastream y la base de datos de origen. En esta guía de inicio rápido, usa el menú desplegable Método de conectividad para seleccionar Lista de IP permitidas como el método de red.

7. Configura la base de datos de origen para permitir las conexiones entrantes desde las direcciones IP públicas de Datastream que aparecen.

8. En la sección Definir método de conectividad, haz clic en CONTINUAR. La sección Probar perfil de conexión de la página Crear perfil de Oracle está activa.

9. Haz clic en EJECUTAR PRUEBA para verificar que Datastream y la base de datos de Oracle de origen se puedan comunicar entre sí.

10. Verifica que aparezca el estado “Prueba correcta”.

11. Si la prueba falla, puedes solucionar el problema en la parte adecuada del flujo y luego volver a probar. Consulta la página Diagnostica problemas y consulta los pasos para solucionarlos.

12. Haz clic en CREAR.

Crea un perfil de conexión de destino para Cloud Storage

1. Ve a la página Perfiles de conexión de Datastream en la Google Cloud Console.

   Ir a la página Perfiles de conexión

2. Haz clic en CREAR PERFIL.

3. En la página Crear un perfil de conexión, haz clic en el tipo de perfil Cloud Storage (porque debes crear un perfil de conexión de destino para Cloud Storage).

4. Proporciona la siguiente información en la página Crea un perfil de Cloud Storage:

   • Ingresa My Destination Connection Profile como el Nombre del perfil de conexión de tu servicio de destino de Cloud Storage.
   • Conserva el ID de perfil de conexión generado automáticamente.
   • Selecciona la Región en la que se almacenará el perfil de la conexión.
   • En el panel Detalles de la conexión, haz clic en EXPLORAR.

   • En el panel Seleccionar bucket, selecciona el bucket de destino en Cloud Storage al que Datastream transferirá los datos de la base de datos de origen y, luego, haz clic en SELECCIONAR.

     Tu bucket aparece en el campo Nombre del bucket de la página Crear perfil de Cloud Storage.

     Nota: Si no ves el bucket que quieres seleccionar, puedes crear uno.

   • De manera opcional, en el campo Prefijo de la ruta del perfil de conexión, puedes proporcionar un prefijo para la ruta que se agregará al nombre del bucket cuando Datastream transfiera los datos al destino.

     Nota: Todas las rutas que ingreses en este campo deben comenzar con una barra (/).

5. Haga clic en CREAR.

Después de crear un perfil de conexión de origen para Oracle y un perfil de conexión de destino para Cloud Storage, puedes usarlos a fin de crear una transmisión.

Crea una transmisión

En esta sección, crearás una transmisión. Datastream usa esta transmisión para transferir datos de una base de datos de Oracle de origen a un bucket de destino en Cloud Storage.

La creación de una transmisión incluye los siguientes elementos:

• Define la configuración para la transmisión.
• Selecciona el perfil de conexión que creaste para tu base de datos de origen (el perfil de conexión de origen). En esta guía de inicio rápido, se trata de Mi perfil de conexión de origen.
• Especifica las tablas y los esquemas en la base de datos de origen que Datastream a fin de configurar la información sobre la base de datos de origen para la transmisión:
  • Puede transferir al destino.
  • No puede transferir al destino.
• Determinar si Datastream reabastecerá los datos históricos, así como la transmisión de los cambios continuos al destino o la transmisión solo de los cambios a los datos.
• Selecciona el perfil de conexión que creaste para Cloud Storage (el perfil de conexión de destino). En esta guía de inicio rápido, se trata de Mi perfil de conexión de destino.
• Configura la información sobre el bucket de destino para la transmisión. Esta información incluye lo siguiente:
  • Es la carpeta del bucket de destino al que Datastream transferirá los esquemas, las tablas y los datos de una base de datos de Oracle de origen.
  • El formato de salida de los archivos escritos en Cloud Storage. En la actualidad, Datastream admite dos formatos de salida: Avro y JSON. En esta guía de inicio rápido, Avro es el formato de archivo.

Datastream incluye un asistente para ayudarte a crear una transmisión. Este asistente consta de seis paneles: Comenzar, Definir y probar fuente, Configurar origen, Definir destino, Configurar destino y Revisar y crear. Puede encontrar información para completar cada panel en las distintas secciones de esta página.

Define la configuración de la transmisión

1. Ve a la página Transmisiones para Datastream en la consola de Google Cloud.

   Ir a la página Novedades

2. Haz clic en CREAR TRANSMISIÓN.

3. Proporciona la siguiente información en el panel Definir detalles del flujo de la página Crear flujo:

   • Ingresa My Stream como el nombre de la transmisión.
   • Conserva el ID de flujo generado automáticamente.
   • En el menú Región, selecciona la región en la que creaste el perfil de conexión de origen.
   • En el menú Tipo de fuente (Source type), selecciona el tipo de perfil de Oracle (Oracle).
   • En el menú Tipo de destino, selecciona el tipo de perfil de Cloud Storage.

4. Revisa los requisitos previos que se generan automáticamente a fin de reflejar cómo tu entorno debe estar preparado para una transmisión. Estos requisitos previos pueden incluir la configuración de la base de datos de origen y la conexión de Datastream al bucket de destino en Cloud Storage.

   Para obtener más información sobre estos requisitos previos, consulta Configura una base de datos de Oracle de origen.

5. Haz clic en CONTINUAR. Aparecerá el panel Define el perfil de conexión de Oracle de la página Crear flujo.

Especifica la información sobre el perfil de conexión de origen

1. En el menú Perfil de conexión de origen, selecciona tu perfil de conexión de origen para la base de datos de Oracle.

2. Haz clic en EJECUTAR PRUEBA para verificar que la base de datos de origen y Datastream puedan comunicarse entre sí.

   Si la prueba falla, aparecerá el problema asociado con el perfil de conexión. Consulta la página Diagnostica problemas y consulta los pasos para solucionarlos. Realiza los cambios necesarios para corregir el problema y, luego, vuelve a probar.

3. Haga clic en CONTINUE. Aparecerá el panel Configurar origen de transmisión de la página Crear transmisión.

Configura la información sobre la base de datos de origen de la transmisión

1. Usa el menú Objetos que se incluyen para especificar las tablas y esquemas en tu base de datos de origen que Datastream puede transferir a una carpeta en el bucket de destino en Cloud Storage. El menú solo se carga si la base de datos tiene hasta 5,000 objetos.

   En esta guía de inicio rápido, debes permitir que Datastream transfiera todas las tablas y los esquemas. Por lo tanto, selecciona Todas las tablas de todos los esquemas en el menú.

   En este instructivo, asegúrate de que el panel Seleccionar objetos que se excluyen esté configurado como “Ninguno”. No quieres restringir que Datastream transfiera tablas y esquemas de la base de datos de origen a Cloud Storage.

   Además, asegúrate de que el panel Elegir modo de reabastecimiento para datos históricos esté configurado como "Automático". Datastream transmitirá todos los datos existentes, además de los cambios en los datos, del origen al destino.

2. Haga clic en CONTINUE. Aparecerá el panel Definir perfil de conexión de Cloud Storage de la página Crear transmisión.

Selecciona un perfil de conexión de destino

1. En el menú Perfil de conexión de destino, selecciona tu perfil de conexión de destino para Cloud Storage.

2. Haz clic en CONTINUAR. Aparecerá el panel Configurar el destino del flujo de la página Crear flujo.

Configura la información sobre el destino de la transmisión

1. En el campo Prefijo de ruta de transmisión, ingresa la carpeta del bucket de destino al que Datastream transferirá los esquemas, las tablas y los datos desde una base de datos de Oracle de origen.

   En esta guía de inicio rápido, quieres que Datastream transfiera datos de la base de datos de origen a la carpeta /root/tutorial del bucket de destino de Cloud Storage. Por lo tanto, ingresa /root/tutorial en el campo Prefijo de ruta de acceso de la transmisión.

2. En el campo Formato de salida, selecciona el formato de los archivos escritos en Cloud Storage. En esta guía de inicio rápido, Avro es el formato de archivo.

3. Haz clic en CONTINUAR. Aparecerá el panel Revisar detalles y crear del flujo de la página Crear flujo.

Crea la transmisión

1. Verifica los detalles de la transmisión, así como los perfiles de conexión de origen y de destino que la transmisión usará para transferir datos de una base de datos de Oracle de origen a un bucket de destino en Cloud Storage.

2. Haz clic en EJECUTAR VALIDACIÓN para validar la transmisión. Mediante la validación de una transmisión, Datastream verifica que la fuente esté configurada correctamente, valida que la transmisión pueda conectarse tanto al origen como al destino, y verifica la configuración de extremo a extremo de la transmisión.

   Si se aprueba una verificación de validación, aparecerá un ícono de marca de verificación a la izquierda de la verificación de validación.

   Si no se aprueba una verificación de validación, aparecerá un ícono de exclamación a la izquierda de la verificación y un botón VER DETALLES DEL ERROR debajo de la verificación. Haz clic en el botón y aparecerá una ventana emergente que explica por qué no se aprobó la verificación, junto con información sobre qué hacer para rectificar el problema. Después de realizar las correcciones adecuadas, haz clic en REVALIDAR.

   Para obtener más información sobre la solución de problemas de verificaciones de validación que no se aprueban, consulta Cómo diagnosticar problemas.

3. Una vez que se aprueben todas las verificaciones de validación, haz clic en CREAR.

4. En el cuadro de diálogo ¿Crear transmisión?, haz clic en CREAR.

Después de crear una transmisión, puedes iniciarla.

Inicia la transmisión

En la sección anterior de la guía de inicio rápido, creaste una transmisión, pero no la iniciaste. Puedes hacerlo ahora.

Para esta guía de inicio rápido, debes crear y, luego, iniciar una transmisión por separado en caso de que el proceso de creación de transmisión genere una carga mayor en tu base de datos de origen. Para posponer esa carga, debes crear la transmisión sin iniciarla y, luego, iniciarla cuando se pueda generar la carga.

Cuando se inicia la transmisión, Datastream puede transferir datos, esquemas y tablas de la base de datos de origen al destino.

1. Ve a la página Transmisiones para Datastream en la consola de Google Cloud.

   Ir a la página Novedades

2. Marca la casilla de verificación a la izquierda de la transmisión que deseas iniciar. En esta guía de inicio rápido, se llama Mi transmisión.

3. Haz clic en INICIAR.

4. En el cuadro de diálogo, haz clic en INICIAR. El estado de la transmisión cambia de Not started a Starting a Running.

   La transmisión tarda aproximadamente 30 segundos en comenzar a publicarse. Los recursos en segundo plano deben iniciarse para que la transmisión pueda comenzar.

Después de iniciar una transmisión, puedes verificar que Datastream haya transferido datos de la base de datos de origen al destino.

Verifica la transmisión

En esta sección, confirmarás que Datastream transfiera los datos de todas las tablas de tu base de datos de origen de Oracle a la carpeta /root/tutorial de tu bucket de destino de Cloud Storage.

1. Ve a la página Transmisiones para Datastream en la consola de Google Cloud.

   Ir a la página Novedades

2. Haz clic en la transmisión que creaste. En esta guía de inicio rápido, se llama Mi transmisión.

3. En la página Detalles del flujo, haz clic en el vínculo que aparece debajo del campo Ruta de escritura de destino. La página Detalles del bucket de Cloud Storage se abrirá en una pestaña nueva.

   Nota: El vínculo en el que haces clic consta del nombre de tu bucket y la carpeta de tu bucket a la que Datastream transfirió esquemas, tablas y datos de tu base de datos de Oracle de origen. Especificaste que esta carpeta sea /root/tutorial cuando configuraste la información sobre el perfil de conexión de destino para tu transmisión. Por lo tanto, el vínculo debe aparecer como [bucket-name]/root/tutorial.

4. Verifica que veas carpetas que representen tablas de tu base de datos de Oracle de origen.

5. Haz clic en una de las carpetas de la tabla y desglósala hasta que vea los datos asociados con ella.

   La primera carpeta es [schema]_[table], seguida de carpetas que representan el año, mes, día, hora y minuto en que Datastream transfirió datos de la base de datos de Oracle de origen a un bucket de destino en Cloud Storage.

   Se crea una carpeta cada minuto (cuando hay datos nuevos para escribir).

   Se crea un archivo nuevo cuando el tamaño alcanza los 250 MB o cada vez que cambia un esquema. Si las tablas están particionadas, se crean archivos para cada partición.

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que se usaron en esta página.

1. Usa la consola de Google Cloud para borrar tu proyecto, los perfiles de transmisión y conexión de Datastream y el bucket de destino de Cloud Storage.

Si limpias los recursos que creaste en Datastream, no consumirán tu cuota y no se te cobrará por ellos en el futuro. En las secciones siguientes, se describe cómo borrar o desactivar estos recursos.

Borra tu proyecto

La manera más fácil de eliminar la facturación es borrar el proyecto que creaste para esta guía de inicio rápido.

Borrar un proyecto tiene las siguientes consecuencias:

• Se borra todo en el proyecto. Si usaste un proyecto existente para esta guía de inicio rápido, cuando lo borres, también borrarás cualquier otro trabajo que hayas realizado en el proyecto.
• Se pierden los ID personalizados de proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID del proyecto personalizado que desees utilizar en el futuro. Para conservar las URL que usan el ID del proyecto, como una URL appspot.com, borra los recursos seleccionados dentro del proyecto en lugar de borrar todo el proyecto.

Si planeas explorar varios instructivos y guías de inicio rápido, la reutilización de proyectos puede ayudarte a evitar exceder los límites de cuota del proyecto.

1. En la consola de Cloud, ve a la página Administrar recursos.

   Ir a la página Administración de recursos

2. En la lista de proyectos, selecciona el proyecto que quieres borrar y haz clic en Borrar.

3. En el cuadro de diálogo, escribe el ID del proyecto y haz clic en Cerrar para borrar el proyecto.

Borra la transmisión

1. Ve a la página Transmisiones para Datastream en la consola de Google Cloud.

   Ir a la página Novedades

2. Haz clic en las novedades que deseas borrar. En esta guía de inicio rápido, se llama Mi transmisión.

3. Haz clic en PAUSAR.

4. En el cuadro de diálogo, haz clic en PAUSAR.

5. En el panel Estado de la transmisión de la página Detalles del flujo, verifica que el estado de la transmisión sea Paused.

   Nota: Pausa la transmisión antes de borrarla para asegurarte de que todos los datos “en tránsito” se transfieran sin problemas de la base de datos de origen al destino.

6. Haz clic en BORRAR.

7. En el cuadro de diálogo, ingresa Delete en el campo de texto y, luego, haz clic en BORRAR.

Borra los perfiles de conexión

1. Ve a la página Perfiles de conexión de Datastream en la Google Cloud Console.

   Ir a la página Perfiles de conexión

2. Selecciona la casilla de verificación de cada perfil de conexión que deseas borrar. Para esta guía de inicio rápido, selecciona las casillas de verificación de My Source Connection Profile y My Destination Connection Profile.

3. Haz clic en BORRAR.

4. En el cuadro de diálogo, haz clic en BORRAR.

Borra el bucket de destino de Cloud Storage

1. Ve a la página Navegador de Cloud Storage en Google Cloud Console.

   Ir a la página del Navegador

2. Selecciona la casilla de verificación que está a la izquierda del bucket y, luego, haz clic en BORRAR.

3. En el cuadro de diálogo, ingresa DELETE en el campo de texto y, luego, haz clic en BORRAR.

¿Qué sigue?

• Obtén más información sobre Datastream.
• Prueba otras funciones de Google Cloud. Consulta nuestras guías de inicio rápido.