Crea una transmisión

Descripción general

En esta sección, aprenderás a crear una transmisión. Datastream usa esta transmisión para transferir datos desde una base de datos de origen de Oracle, MySQL, SQL Server (vista previa) o PostgreSQL a BigQuery o Cloud Storage.

La creación de una transmisión incluye lo siguiente:

• Definir la configuración de la transmisión
• Selecciona el perfil de conexión que creaste para la base de datos de origen de Oracle, MySQL, SQL Server (vista previa) o PostgreSQL (el perfil de conexión de origen), o bien crea un perfil de conexión de origen si aún no creaste uno.
• Configurar la información sobre la base de datos de origen para la transmisión mediante la especificación de las tablas y los esquemas de la base de datos de origen en la que Datastream realiza las siguientes acciones:
  • Puede transferir al destino.
  • No puede transferir al destino.

• Determinar si Datastream reabastecerá los datos históricos, así como la transmisión de los cambios continuos al destino o la transmisión solo de los cambios a los datos. Cuando habilitas el reabastecimiento histórico, tienes la opción de especificar esquemas y tablas en la base de datos de origen que Datastream no debe reabastecer en el destino.

• Selecciona el perfil de conexión que creaste para BigQuery o Cloud Storage (el perfil de conexión de destino) o crea un perfil de conexión de destino si aún no creaste uno.

• Configurar la información sobre el destino de la transmisión. Esta información incluye:

  • Para BigQuery:
    • Los conjuntos de datos en los que Datastream replicará esquemas, tablas y datos de una base de datos de origen.
  • Para Cloud Storage:
    • La carpeta del bucket de destino a la que Datastream transferirá esquemas, tablas y datos desde una base de datos de origen.

• Validar la transmisión para garantizar que se ejecute correctamente La validación de una transmisión verifica lo siguiente:

  • Indica si la fuente está configurada correctamente para permitir que Datastream transmita datos desde ella.

  • Si la transmisión puede conectarse tanto al origen como al destino.

  • Es la configuración de extremo a extremo de la transmisión.

Datastream incluye un asistente para ayudarte a crear una transmisión. Este asistente consta de seis paneles: Comenzar, Definir y probar el origen, Configurar el origen, Definir el destino, Configurar el destino y Revisar y crear. Puedes encontrar información sobre cómo completar cada panel en las distintas secciones de esta página.

Define la configuración de la transmisión

1. Ve a la página Transmisiones en la consola de Google Cloud.

   Ir a la página Novedades

2. Haz clic en CREAR TRANSMISIÓN.

3. Usa la siguiente tabla para completar los campos de la sección Definir detalles del flujo de la página Crear transmisión:

   Campo	Descripción
   Nombre de la transmisión	Ingresa el nombre visible de la transmisión.
   ID de flujo	Datastream propaga este campo automáticamente en función del nombre de transmisión que ingreses. Puedes conservar el ID generado automáticamente o cambiarlo.
   Región	Selecciona la región en la que se almacena la transmisión. Las transmisiones, al igual que todos los recursos, se guardan en una región. La selección de la región no afecta si la transmisión puede conectarse a la base de datos de origen o al destino, pero sí puede afectar la disponibilidad si la región experimenta tiempo de inactividad.
   Tipo de fuente	Selecciona el tipo de perfil que especificaste cuando creaste un perfil de conexión para una base de datos de origen Oracle, MySQL, SQL Server (vista previa) o PostgreSQL. O bien, si no creaste un perfil de conexión para la base de datos de origen, puedes crear uno ahora.
   Tipo de destino	Selecciona el tipo de perfil que especificaste cuando creaste un perfil de conexión para un destino de BigQuery o Cloud Storage. O bien, si no creaste un perfil de conexión para el destino, puedes crear uno ahora.
   Encriptación	De forma predeterminada, tus datos se encriptan con una clave administrada por Google Cloud. Si quieres administrar tu encriptación, puedes usar una clave de encriptación administrada por el cliente (CMEK): CMEK no son compatibles con las fuentes de SQL Server. Selecciona la casilla de verificación Usar una CMEK. En el menú desplegable Selecciona una CMEK, selecciona tu CMEK. Si no ves tu clave, haz clic en INGRESAR NOMBRE DE RECURSO DE LA CLAVE para proporcionar el nombre del recurso de la clave que quieres usar. Por ejemplo, puedes ingresar projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key en el campo Nombre del recurso clave y, luego, hacer clic en GUARDAR. Como parte de la creación de la transmisión, Datastream verificará que la CMEK exista y que tenga permisos para usar la clave. Si quieres obtener más información para crear una CMEK o otorgarle permisos a Datastream para la clave, consulta Usa claves de encriptación administradas por el cliente (CMEK).

4. De forma opcional, usa etiquetas para organizar tus recursos de Datastream.

   1. Para crear una etiqueta, haz clic en AGREGAR ETIQUETA y, luego, ingresa el par clave-valor para ella.
   2. Para quitar la etiqueta, haz clic en el ícono de papelera a la derecha de la fila que contiene la etiqueta.

5. De manera opcional, agrega políticas de alertas para tu transmisión. Las políticas de alertas definen cuándo y cómo quieres recibir notificaciones sobre las fallas de transmisión.

   1. Para crear una política de alertas, haz clic en Agregar política de alertas.
   2. La página Crear política de alertas aparece en Cloud Monitoring. En esta página, definirás la política de alertas en caso de que falle la transmisión.

   Para obtener más información sobre las políticas de alertas, consulta Administra políticas de alertas basadas en métricas.

6. Revisa los requisitos previos que se generan automáticamente para reflejar cómo se debe preparar el entorno para una transmisión. Estos requisitos previos pueden incluir cómo configurar la base de datos de origen y cómo conectarla al destino. Es mejor completar estos requisitos previos en este paso, pero puedes hacerlo en cualquier momento antes de probar la transmisión o iniciarla. Para obtener más información sobre estos requisitos, consulta Fuentes.

7. Haz clic en CONTINUAR. Aparecerá el panel Define connection profile de la página Create stream para tu tipo de base de datos de origen.

   Nota: Si el tipo de base de datos de origen es Oracle, el nombre del panel será Define Oracle connection profile. Si seleccionas una base de datos de origen diferente, ese nombre de base de datos aparecerá en el nombre del panel.

Especifica la información sobre el perfil de conexión de origen

1. Si creaste un perfil de conexión de origen para Oracle, MySQL, SQL Server (vista previa) o PostgreSQL, selecciónalo en la lista de perfiles de conexión.

   Si no creaste un perfil de conexión fuente, haz crea uno haciendo clic en CREAR PERFIL DE CONEXIÓN en la parte inferior de la lista desplegable y, luego, realiza los mismos pasos que se indican en Crear perfiles de conexión.

2. Haz clic en EJECUTAR PRUEBA para verificar que la base de datos de origen y Datastream puedan comunicarse entre sí.

   Si la prueba falla, aparecerá el problema asociado con el perfil de conexión. Consulta la página Diagnostica problemas y obtén los pasos para solucionarlos. Realiza los cambios necesarios para corregir el problema y, luego, vuelve a probar.

3. Haga clic en CONTINUE. Aparecerá el panel Configurar origen de transmisión de la página Crear transmisión.

Configura la información sobre la base de datos de origen de la transmisión

Configura la base de datos de origen de PostgreSQL

Si seleccionaste PostgreSQL como tu base de datos de origen, debes definir sus propiedades de replicación.

1. En la sección Propiedades de replicación, especifica las siguientes propiedades:
   1. En el campo Nombre de la ranura de replicación, ingresa el nombre de la ranura que creaste específicamente para esta transmisión. El servidor de la base de datos usa esta ranura para enviar eventos a Datastream.
   2. En el campo Nombre de la publicación, ingresa el nombre de la publicación que creaste en la base de datos. Una publicación es un grupo de todas las tablas en las que quieres replicar los cambios usando esta transmisión.
2. Haz clic en Continuar. Sigue los pasos que se describen en la sección Configura las bases de datos de origen a continuación.

Configura bases de datos de origen

1. En la sección Selecciona los objetos que deseas incluir, usa el menú desplegable Objetos que se incluirán para especificar las tablas y los esquemas de la base de datos de origen que Datastream puede transferir al destino.

   El menú no puede cargar la lista de tablas y esquemas si tu base de datos tiene más de 5,000 objetos.
   1. Si quieres que Datastream transfiera todas las tablas y esquemas, selecciona Todas las tablas de todos los esquemas.

   2. Si quieres que Datastream solo transfiera tablas y esquemas específicos, selecciona Esquemas y tablas específicos y, luego, las casillas de verificación de los esquemas y las tablas que quieres que extraiga.

      Para cada esquema que seleccionas, hay una casilla de verificación Tablas futuras.

      • Si seleccionas esta casilla de verificación, todas las tablas para el esquema que agregues a la fuente después de crear la transmisión se transferirán automáticamente al destino.
      • Si no seleccionas esta casilla de verificación, después de crear la transmisión, Datastream no transferirá ninguna tabla nueva para el esquema del origen al destino.

      De forma predeterminada, la casilla de verificación Tablas futuras está seleccionada para cada esquema.

      Para cada tabla de esquema que selecciones, hay un botón SELECCIONAR COLUMNAS. Haz clic en este botón para filtrar las columnas de la tabla que quieres excluir de la transmisión del origen al destino. Las columnas que desmarques se excluirán de la transmisión.

      De forma predeterminada, las casillas de verificación de todas las columnas de la tabla están seleccionadas.

   3. Si quieres proporcionar una definición textual de las tablas y los esquemas que quieres que Datastream transfiera, selecciona Personalizado y, luego, en el campo Criterios de coincidencia de objetos, ingresa los esquemas y las tablas que quieres que extraiga Datastream.

      Si tu base de datos tiene una gran cantidad de tablas y esquemas, te recomendamos usar la opción Personalizado, ya que algunas tablas y esquemas podrían no estar incluidos en la lista de objetos que deseas extraer.

      Ingresa los esquemas y las tablas como una lista separada por comas con el formato [schema].[table], en el que tanto el esquema como la tabla pueden ser un comodín (asterisco). No puedes usar comodines parciales.

      Además, si Oracle es tu base de datos de origen, y a menos que se especifique de forma explícita, los esquemas y las tablas predefinidos de Oracle no se extraerán al destino.

2. De forma opcional, expande el nodo Selecciona los objetos que deseas excluir. En el campo Objetos que se excluirán, ingresa las tablas y los esquemas de la base de datos de origen de los que deseas restringir la extracción de Datastream. La lista Objetos que se excluirán tiene prioridad sobre la lista Objetos a incluir. Si un objeto cumple con los criterios de las listas de inclusión y exclusión, el objeto se excluye de la transmisión.

   Define estos esquemas y tablas con la misma lógica separada por comas que usas si especificas esquemas y tablas que quieres que Datastream extraiga.
3. De forma opcional, expande el nodo Elige el modo de reabastecimiento para los datos históricos y, luego, realiza una de las siguientes selecciones:

   1. Selecciona la opción Automático para transmitir todos los datos existentes, además de los cambios en los datos, de la fuente al destino.

      En el campo Objetos excluidos del reabastecimiento automático, ingresa las tablas y los esquemas en la base de datos de origen en los que quieres restringir el reabastecimiento de Datastream al destino.

   2. Selecciona la opción Manual para transmitir solo los cambios en los datos al destino.

4. Haz clic en CONTINUAR. Aparecerá el panel Definir perfil de conexión de la página Crear transmisión para tu tipo de destino.

   Nota: Si tu tipo de destino es BigQuery, el nombre del panel es Define BigQuery connection profile. Si tu tipo de destino es Cloud Storage, aparecerá la opción Definir perfil de conexión de Cloud Storage como nombre del panel.

Selecciona un perfil de conexión de destino

1. Si creaste un perfil de conexión de destino, selecciónalo en la lista de perfiles de conexión.

   Si no creaste un perfil de conexión de destino, haz clic en el siguiente para crear uno:CREAR PERFIL DE CONEXIÓN en la parte inferior de la lista desplegable y, luego, realice los mismos pasos que se indican enCrear perfiles de conexión.

2. Haz clic en CONTINUAR. Aparecerá el panel Configura el destino de transmisión de la página Crear transmisión.

Configura la información sobre el destino de la transmisión

Destino de BigQuery

1. En Configura la conexión de Datastream a BigQuery, especifica cómo se debe transmitir Datastream a un conjunto de datos de BigQuery. Selecciona una de las siguientes opciones:

   • Conjunto de datos para cada esquema: Datastream crea un conjunto de datos de BigQuery para cada esquema de origen según el nombre del esquema.

     Si seleccionas esta opción, para cada esquema en la base de datos de origen, Datastream crea un conjunto de datos en el proyecto que contiene el flujo.

     Además, cuando selecciones la opción Conjunto de datos para cada esquema, ten en cuenta lo siguiente:

     1. En el campo Ubicación, ingresa la región en la que deseas que se cree el nuevo conjunto de datos.
     2. En el campo Prefijo, define un prefijo para el conjunto de datos que crea la transmisión (opcional). La cadena que especifiques se agregará al nombre del esquema de origen. Por ejemplo, si el esquema se llama <mySchema> y defines el prefijo del conjunto de datos como <myPrefix>, Datastream creará un conjunto de datos llamado <myPrefix><mySchema>.
     3. Especifica cómo quieres que se encripten tus datos en BigQuery. Para ello, selecciona una clave de encriptación administrada por Google o por el cliente.

   • Conjunto de datos único para todos los esquemas: Datastream crea todas las tablas dentro del conjunto de datos de BigQuery existente que especifiques. Cada tabla que crea Datastream se nombra con una combinación del nombre del esquema de origen y el nombre de la tabla, separados por un guion bajo (por ejemplo, <mySchemaName>_<myTableName>).

2. Especifica el Modo de escritura de transmisión. Selecciona tu modo de escritura para definir cómo se escriben y procesan los datos en BigQuery:

   • Combinar: Selecciona esta opción si quieres que los datos se sincronicen con la fuente.
   • Solo agregar: Seleccione esta opción si desea conservar todos los datos históricos de sus eventos de cambio.

3. Especifica el límite de inactividad de los datos. Solo está disponible cuando se selecciona el modo Combinar en el paso anterior. Selecciona un límite para equilibrar el rendimiento y el costo de las consultas de BigQuery con la actualización de los datos. BigQuery aplica los cambios en segundo plano de manera continua o en el tiempo de ejecución de la consulta, según el límite de inactividad. Una inactividad más baja (datos más recientes) puede aumentar los costos de procesamiento de BigQuery.

   Si seleccionas 0 minutos, BigQuery siempre mostrará los resultados de la consulta en función de los datos más recientes. Esto da como resultado el costo más alto de la consulta.

4. Haz clic en CONTINUAR. Aparecerá el panel Revisar los detalles del flujo y crear de la página Crear transmisión.

Destino de Cloud Storage

1. De manera opcional, en el campo Prefijo de ruta de acceso del flujo, ingresa la carpeta del bucket de destino a la que Datastream transferirá esquemas, tablas y datos desde una base de datos de origen.

   Por ejemplo, si quieres que Datastream transfiera datos de la base de datos de origen a la carpeta /root/example del bucket de destino, ingresa /root/example en el campo Prefijo de ruta de acceso del flujo.

2. En el campo Formato de salida, elige el formato de archivos escritos en Cloud Storage.

   En la actualidad, Datastream admite dos formatos de salida: Avro y JSON.

3. Opcional. Si seleccionas el formato JSON, aparecerán dos casillas de verificación:

   1. Incluir un archivo de esquema de tipos unificados en la ruta de acceso al archivo: Si seleccionas esta casilla de verificación, Datastream escribirá dos archivos en Cloud Storage: un archivo de datos JSON y un archivo de esquema Avro. El archivo de esquema tiene el mismo nombre que el archivo de datos, con una extensión .schema. Si no seleccionas esta casilla de verificación, Datastream solo escribirá el archivo de datos JSON en Cloud Storage. Esta casilla de verificación no está seleccionada de forma predeterminada.
   2. Habilitar la compresión gzip: Si seleccionas esta casilla de verificación, Datastream usará la utilidad gzip para comprimir los archivos que Datastream escribe en Cloud Storage. Si no seleccionas esta casilla de verificación, Datastream escribirá los archivos en Cloud Storage sin comprimirlos. Esta casilla de verificación está seleccionada de forma predeterminada.

4. Haz clic en CONTINUAR. Aparecerá el panel Revisar los detalles del flujo y crear de la página Crear transmisión.

Crea la transmisión

1. Verifica los detalles de la transmisión, así como los perfiles de conexión de origen y destino que la transmisión usará para transferir datos de una base de datos de origen a un destino.

2. Haz clic en EJECUTAR VALIDACIÓN para validar la transmisión. Cuando valida una transmisión, Datastream comprueba que la fuente esté configurada correctamente, valida que la transmisión pueda conectarse tanto al origen como al destino, y verifica la configuración de extremo a extremo.

   1. Si tu base de datos de origen es Oracle, Datastream realiza las siguientes verificaciones:

      Verificar	Descripción
      Validez de la lista de objetos	Datastream verifica que la lista de exclusiones no incluya la lista de inclusiones.
      Reenviar la conectividad del túnel SSH	Datastream verifica que pueda conectarse a un host de bastión a través de un túnel SSH de reenvío.
      Conectividad a la base de datos de Oracle	Datastream verifica que pueda conectarse a la base de datos de origen de Oracle.
      Permisos del usuario de Oracle	Datastream verifica que el usuario que usa para conectarse a la base de datos de origen tenga todos los permisos necesarios para recuperar esquemas, tablas y datos de la base de datos, de modo que Datastream pueda transmitir esta información al destino.
      Configuración del modo de registro	Datastream verifica que el modo de registro de la base de datos de Oracle esté configurado como ARCHIVELOG.
      Configuración de registro complementaria	Datastream verifica que el registro complementario esté activado para las tablas de bases de datos que se transmiten desde la fuente hacia el destino.
      Configuración de los documentos de registro del archivo	Datastream verifica que el registro de archivos esté configurado en la fuente y que los archivos de registro estén presentes.
      Permisos de Cloud Storage (para destinos de Cloud Storage)	Datastream verifica que tenga los permisos necesarios para escribir en el bucket de destino en Cloud Storage.

   2. Si tu base de datos de origen es MySQL, Datastream realizará las siguientes verificaciones:

      Verificar	Descripción
      Validez de la lista de objetos	Datastream verifica que la lista de exclusiones no incluya la lista de inclusiones.
      Reenviar la conectividad del túnel SSH	Datastream verifica que pueda conectarse a un host de bastión a través de un túnel SSH de reenvío.
      Conectividad a la base de datos de MySQL	Datastream verifica que pueda conectarse a la base de datos de MySQL de origen.
      El registro binario está habilitado	Datastream verifica que los archivos de registro binario estén configurados correctamente y que haya archivos de registro.
      Configuración del formato de registro binario	Datastream verifica que el formato del registro binario de la base de datos MySQL esté configurado como ROW.
      Permisos de replicación	Datastream verifica que tenga permisos para replicar una base de datos de MySQL.
      Permisos de Cloud Storage (para destinos de Cloud Storage)	Datastream verifica que tenga los permisos necesarios para escribir en el bucket de destino en Cloud Storage.

   3. Si tu base de datos de origen es PostgreSQL, Datastream realiza las siguientes verificaciones:

      Verificación	Descripción
      Conectividad a la base de datos de PostgreSQL	Datastream verifica que pueda conectarse a la base de datos de origen de PostgreSQL.
      La decodificación lógica está habilitada	Datastream verifica que el parámetro wal_level de la base de datos de PostgreSQL esté configurado como logical.
      Configuración de la ranura de replicación	Datastream verifica si la ranura de replicación de PostgreSQL existe y está activa, si tiene los permisos necesarios para acceder a ella y si está configurada de forma correcta.
      Configuración de la publicación	Datastream verifica que la publicación exista y que las tablas que se replicarán para la transmisión estén incluidas en ella.
      Permisos de reabastecimiento	Datastream verifica que existan tablas necesarias para reabastecer los datos históricos y que tengan los permisos necesarios para leerlas.

   4. Si tu base de datos de origen es SQL Server (vista previa), Datastream realiza las siguientes verificaciones:

      Verificación	Descripción
      Edición de SQL Server	Datastream verifica que se admita la edición de la base de datos de SQL Server de origen. Para obtener información sobre las ediciones compatibles, consulta Versiones.
      Permisos del usuario de SQL Server	Datastream verifica que el usuario tenga los permisos necesarios para acceder a la base de datos de origen de SQL Server.
      Las CDC de SQL Server están habilitadas	Datastream verifica si la CDC está habilitada para la base de datos y todas las tablas incluidas en el flujo.
      Validaciones de bases de datos de SQL Server	Datastream verifica si la base de datos de origen está configurada correctamente, si se cumplen todos los requisitos de replicación y si no hay tipos de datos no compatibles en las columnas.
      Permisos de Cloud Storage o BigQuery	Datastream verifica que el usuario tenga los permisos necesarios para escribir en el destino.

   Si se aprueba una verificación de validación, aparecerá un ícono de marca de verificación a la izquierda de la verificación de validación.

   Si no se aprueba una verificación de validación, aparecerá un ícono de exclamación a la izquierda de la verificación y un botón VER DETALLES DEL ERROR debajo de la verificación. Haz clic en el botón y aparecerá una ventana emergente que explica por qué no se aprobó la verificación, junto con información sobre qué hacer para rectificar el problema. Después de realizar las correcciones adecuadas, haz clic en REVALIDAR.

   Para obtener más información sobre la solución de problemas de las verificaciones de validación que no se aprueban, consulta Cómo diagnosticar problemas.

3. Después de que se aprueben todas las verificaciones de validación, haz clic en CREAR y INICIAR para crear la transmisión y iniciarla de inmediato, o en CREAR para crearla sin iniciarla de inmediato.

   Si no inicias la transmisión ahora, puedes hacer clic en INICIAR en la página Novedades.

   Nota: El proceso de creación de transmisión puede incurrir en una carga mayor en la base de datos de origen. Para posponer esa carga, crea la transmisión sin iniciarla y vuelve a iniciarla cuando se genere la carga.

Después de crear una transmisión, puedes ver información detallada y general sobre ella.