Crea una transmisión

Descripción general

En esta sección, aprenderás a crear una transmisión. Datastream usa esta transmisión para transferir datos de una base de datos de Oracle o MySQL de origen a un bucket de destino en Cloud Storage.

La creación de una transmisión incluye lo siguiente:

  • Definir la configuración de la transmisión.
  • Selecciona el perfil de conexión que creaste para tu base de datos de origen de Oracle o MySQL (el perfil de conexión de origen) o crea un perfil de conexión de origen si no creaste uno.
  • Para configurar la información de la base de datos de origen de la transmisión, especifica las tablas y esquemas en la base de datos de origen que Datastream:
    • Puede transferir al destino.
    • No puede transferir al destino.
  • Determinar si Datastream reabastecerá los datos históricos, así como la transmisión de los cambios continuos al destino o la transmisión solo de los cambios a los datos. Cuando habilitas el reabastecimiento histórico, puedes especificar esquemas y tablas en la base de datos de origen que Datastream no debe reabastecer en el destino.
  • Selecciona el perfil de conexión que creaste para Cloud Storage.
  • Configura información sobre el bucket de destino para la transmisión. Esta información incluye:
    • La carpeta del bucket de destino a la que Datastream transferirá los esquemas, las tablas y los datos de una base de datos de origen.
    • El formato de archivos escritos en Cloud Storage.
  • Validar la transmisión para garantizar que se ejecute de forma correcta Valida una verificación de transmisión:

    • Si la fuente está configurada de forma correcta para permitir que Datastream transmita datos desde ella.
    • Indica si la transmisión puede conectarse tanto al origen como al destino.

    • La configuración de extremo a extremo de la transmisión.

Define la configuración de la transmisión

  1. Ve a la página Transmisiones en Google Cloud Console.

    Ir a la página Transmisiones

  2. Haz clic en CREAR TRANSMISIÓN.

  3. Usa la siguiente tabla para propagar los campos de la sección Definir los detalles de la transmisión de la página Crear transmisión:

    CampoDescripción
    Nombre de la transmisiónIngresa el nombre visible de la transmisión.
    ID de flujoDatastream propaga este campo de forma automática según el nombre de la transmisión que ingreses. Puedes mantener el ID generado de forma automática o cambiarlo.
    RegiónSelecciona la región en la que se almacena la transmisión. Las transmisiones, al igual que todos los recursos, se guardan en una región. La selección de una región no influye en si la transmisión puede conectarse a la base de datos de origen o al bucket de destino en Cloud Storage, pero puede afectar la disponibilidad si la región experimenta un tiempo de inactividad.
    Tipo de fuente

    Selecciona el tipo de perfil que especificaste cuando creaste un perfil de conexión para una base de datos de origen. Si no creaste un perfil de conexión para la base de datos fuente, puedes crear uno ahora.

    Tipo de destino

    Selecciona el tipo de perfil que especificaste cuando creaste un perfil de conexión para un servicio de Cloud Storage de destino. Si no creaste un perfil de conexión para el destino, puedes crear uno ahora.

  4. De manera opcional, usa etiquetas para organizar tus recursos de Datastream.

    1. Para crear una etiqueta, haz clic en AGREGAR ETIQUETA y, luego, ingresa el par clave-valor para la etiqueta.
    2. Para quitar la etiqueta, haz clic en el ícono de la papelera a la derecha de la fila que contiene la etiqueta.
  5. Revisa los requisitos previos obligatorios que se generan de forma automática a fin de reflejar cómo se debe preparar el entorno para una transmisión. Estos requisitos previos pueden incluir cómo configurar la base de datos de origen y cómo conectarla al bucket de destino en Cloud Storage. Se recomienda completar estos requisitos previos en este paso, pero puedes hacerlo en cualquier momento antes de probar la transmisión o iniciarla. Si deseas obtener más información sobre estos requisitos previos, consulta Configura tu base de datos de origen de Oracle.

  6. Haz clic en CONTINUAR. Aparecerá el panel Definir perfil de conexión de la página Crear transmisión para el tipo de base de datos de origen.

Especifica la información sobre el perfil de conexión fuente

  1. Si creaste un perfil de conexión fuente para Oracle o MySQL, selecciónalo de la lista de perfiles de conexión.

    Si no creaste un perfil de conexión fuente, haz crea uno haciendo clic en CREAR PERFIL DE CONEXIÓN en la parte inferior de la lista desplegable y, luego, realiza los mismos pasos que se indican en Crear perfiles de conexión.

  2. Haz clic en EJECUTAR PRUEBA para verificar que la base de datos de origen y Datastream puedan comunicarse entre sí.

    Si la prueba falla, aparecerá el problema asociado con el perfil de conexión. Realiza los cambios necesarios para corregir el problema y, luego, vuelve a intentarlo.

  3. Haz clic en CONTINUAR. Aparecerá el panel Configurar origen de transmisión de la página Crear transmisión.

Configura la información de la base de datos de origen para la transmisión

  1. En la sección Selecciona objetos para incluir, usa el menú desplegable Objetos que se incluirán para especificar las tablas y esquemas en la base de datos de origen que Datastream puede transferir a una carpeta en el bucket de destino en Cloud Storage.

    1. Si deseas que Datastream transfiera todas las tablas y esquemas, selecciona Todas las tablas de todos los esquemas.
    2. Si deseas que Datastream solo transfiera tablas y esquemas específicos, selecciona Esquemas y tablas específicos y, luego, marca las casillas de verificación para los esquemas y tablas que deseas que Datastream extraiga.

    3. Si deseas proporcionar una definición textual de las tablas y esquemas que deseas que Datastream transfiera, selecciona Definición manual personalizada y, luego, en el campo Criterios de coincidencia de objetos, ingresa los esquemas y las tablas que deseas que DataStream extraiga.

  2. De manera opcional, expande el nodo Seleccionar objetos para excluir. En el campo Objetos que se deben excluir, ingresa las tablas y los esquemas en la base de datos de origen que deseas que Datastream no transfiera a la carpeta en el bucket de destino de Cloud Storage.

  3. De manera opcional, expande el nodo Elegir modo de reabastecimiento para datos históricos y, luego, realiza una de las siguientes selecciones:
    1. Selecciona la opción Automática para transmitir todos los datos existentes, además de los cambios en los datos, de la fuente en el destino.

      En el campo Objetos excluidos del reabastecimiento automático, ingresa las tablas y esquemas en la base de datos de origen que deseas restringir que el flujo de datos reabastezca en el destino.

    2. Selecciona la opción Manual para transmitir solo los cambios a los datos en el destino.
  4. Haz clic en CONTINUAR. Aparecerá el panel Definir perfil de conexión de Cloud Storage de la página Crear transmisión.

Selecciona un perfil de conexión de destino

  1. Si creaste un perfil de conexión de destino, selecciónalo en la lista de perfiles de conexión.

    Si no creaste un perfil de conexión de destino, haz clic en el siguiente para crear uno:CREAR PERFIL DE CONEXIÓN en la parte inferior de la lista desplegable y, luego, realice los mismos pasos que se indican enCrear perfiles de conexión.

  2. Haz clic en CONTINUAR. Aparecerá el panel Configurar destino de transmisión de la página Crear transmisión.

Configura la información sobre el destino de la transmisión

  1. De manera opcional, en el campo Prefijo de ruta de transmisión, ingresa la carpeta del bucket de destino al que Datastream transferirá los esquemas, las tablas y los datos de una base de datos de origen.

    Por ejemplo, si deseas que Datastream transfiera datos de la base de datos de origen a la carpeta /root/example en el bucket de destino, ingresa /root/example en el campo Prefijo de la ruta de la transmisión.

  2. En el campo Formato de salida, elige el formato de archivos escritos en Cloud Storage.

  3. Opcional. Si seleccionas el formato JSON, aparecerán dos casillas de verificación:

    1. Incluir un archivo de esquema de tipos unificados en la ruta de acceso del archivo: si seleccionas esta casilla de verificación, Datastream escribe dos archivos en Cloud Storage: un archivo de datos JSON y un archivo de esquema Avro. El archivo de esquema tiene el mismo nombre que el archivo de datos, con la extensión .schema. Si no seleccionas esta casilla de verificación, Datastream solo escribirá el archivo de datos JSON en Cloud Storage. Esta casilla de verificación no está seleccionada de forma predeterminada.
    2. Habilitar la compresión gzip: Si seleccionas esta casilla de verificación, Datastream usa la utilidad gzip para comprimir los archivos que Datastream escribe en Cloud Storage. Si no seleccionas esta casilla de verificación, Datastream escribe los archivos en Cloud Storage sin comprimirlos. Esta casilla de verificación está seleccionada de forma predeterminada.
  4. Haz clic en CONTINUAR. Aparecerá el panel Revisar detalles de la transmisión y crear de la página Crear transmisión.

Crea la transmisión

  1. Verifica los detalles sobre la transmisión y los perfiles de conexión de origen y de destino que usará la transmisión para transferir datos de una base de datos de origen a un bucket de destino en Cloud Storage.

  2. Haga clic enEJECUTAR VALIDACIÓN para validar la transmisión. Cuando se valida una transmisión, Datastream verifica que la fuente esté configurada correctamente, valida que la transmisión pueda conectarse al origen y al destino, y verifica la configuración de extremo a extremo de la transmisión.

    1. Si tu base de datos de origen es Oracle, Datastream realiza las siguientes verificaciones:

      VerificarDescripción
      Validez de la lista de objetosDatastream verifica que la lista de exclusiones no suponga la lista de inclusiones.
      Reenviar la conectividad del túnel SSHDatastream verifica que pueda conectarse a un Host de bastión a través de un túnel SSH de reenvío.
      Conectividad a la base de datos de OracleDatastream verifica que pueda conectarse a la base de datos de Oracle de origen.
      Permisos del usuario de OracleDatastream verifica que el usuario que usa para conectarse a la base de datos de origen tenga todos los permisos necesarios para recuperar esquemas, tablas y datos de la base de datos, de modo que Datastream pueda transmitir esta información al destino.
      Configuración del modo de registroDatastream verifica que el modo de registro de la base de datos de Oracle esté configurado como ARCHIVELOG.
      Configuración de registro complementariaDatastream verifica que el registro complementario esté activado para las tablas de base de datos que se transmiten del origen al destino.
      Configuración de los documentos de registro del archivoDatastream verifica que el registro de archivos esté configurado en el origen y que los archivos de registro de archivos estén presentes.
      Permisos de Cloud StorageDatastream verifica que tenga los permisos necesarios para escribir en el bucket de destino en Cloud Storage.
    2. Si tu base de datos de origen es MySQL, Datastream realiza las siguientes verificaciones:

      VerificarDescripción
      Validez de la lista de objetosDatastream verifica que la lista de exclusiones no suponga la lista de inclusiones.
      Reenviar la conectividad del túnel SSHDatastream verifica que pueda conectarse a un Host de bastión a través de un túnel SSH de reenvío.
      Conectividad a la base de datos de MySQLDatastream verifica que pueda conectarse a la base de datos de MySQL de origen.
      El registro binario está habilitadoDatastream verifica que los archivos de registro binarios estén configurados correctamente y que haya archivos de registro presentes.
      Configuración del formato de registro binarioDatastream verifica que el formato del registro binario de la base de datos de MySQL esté establecido en ROW.
      Permisos de replicaciónDatastream verifica que tenga permisos para replicar una base de datos de MySQL.
      Permisos de Cloud StorageDatastream verifica que tenga los permisos necesarios para escribir en el bucket de destino en Cloud Storage.
  3. Después de pasar todas las verificaciones de validación, haz clic en CREAR E INICIAR para crear la transmisión y, luego, iniciarla de inmediato o CREAR para crearla sin iniciarla de inmediato.

    Si no inicias la transmisión ahora, puedes iniciarla desde la página Transmisiones mediante un clic en INICIAR.

Después de crear una transmisión, puedes ver información de alto nivel y detallada sobre ella.