Crea una transmisión

Descripción general

En esta sección, aprenderás a crear una transmisión. Datastream usa esta transmisión para transferir datos de una base de datos de Oracle, MySQL, SQL Server o PostgreSQL de origen a BigQuery o Cloud Storage.

La creación de una transmisión incluye lo siguiente:

• Definir la configuración de la transmisión
• Selecciona el perfil de conexión que creaste para tu base de datos de origen de Oracle, MySQL, SQL Server o PostgreSQL (el perfil de conexión de origen) o crea uno si aún no lo hiciste.
• Configura la información sobre la base de datos de origen para la transmisión especificando las tablas y los esquemas de la base de datos de origen en la que Datastream realiza lo siguiente:
  • Puede transferir al destino.
  • No puede transferir al destino.

• Determinar si Datastream reabastecerá los datos históricos, así como la transmisión de los cambios continuos al destino o la transmisión solo de los cambios a los datos. Cuando habilitas el reabastecimiento histórico, tienes la opción de especificar esquemas y tablas en la base de datos de origen que Datastream no debe reabastecer en el destino.

• Selecciona el perfil de conexión que creaste para BigQuery o Cloud Storage (el perfil de conexión de destino) o crea uno si aún no lo hiciste.

• Configura la información sobre el destino de la transmisión. Esta información incluye:

  • Para BigQuery:
    • Los conjuntos de datos en los que Datastream replicará los esquemas, las tablas y los datos de una base de datos de origen.
  • Para Cloud Storage:
    • La carpeta del bucket de destino a la que Datastream transferirá esquemas, tablas y datos desde una base de datos de origen.

• Validar la transmisión para garantizar que se ejecute correctamente La validación de una transmisión verifica lo siguiente:

  • Indica si la fuente está configurada correctamente para permitir que Datastream transmita datos desde ella.

  • Si la transmisión puede conectarse tanto al origen como al destino.

  • Es la configuración de extremo a extremo de la transmisión.

Datastream incluye un asistente para ayudarte a crear una transmisión. Este asistente consta de seis paneles: Cómo comenzar, Definir y probar la fuente, Configurar la fuente, Definir el destino, Configurar el destino y Revisar y crear. En las distintas secciones de esta página, se proporciona información para propagar cada panel.

Define la configuración de la transmisión

1. Ve a la página Transmisiones en la consola de Google Cloud.

   Ir a la página Flujos

2. Haz clic en CREAR TRANSMISIÓN.

3. Usa la siguiente tabla para completar los campos de la sección Definir detalles del flujo de la página Crear transmisión:

   Campo	Descripción
   Nombre de la transmisión	Ingresa el nombre visible del flujo.
   ID de flujo	Datastream propaga este campo automáticamente según el nombre de transmisión que ingreses. Puedes conservar el ID generado automáticamente o cambiarlo.
   Región	Selecciona la región en la que se almacena la transmisión. Las transmisiones, como todos los recursos, se guardan en una región. La selección de la región no influye en si tu flujo puede conectarse a la base de datos de origen o al destino, pero puede afectar la disponibilidad si la región experimenta tiempo de inactividad.
   Tipo de fuente	Selecciona el tipo de perfil que especificaste cuando creaste un perfil de conexión para una base de datos de origen de Oracle, MySQL, SQL Server o PostgreSQL. O bien, si no creaste un perfil de conexión para la base de datos de origen, puedes crear uno ahora.
   Tipo de destino	Selecciona el tipo de perfil que especificaste cuando creaste un perfil de conexión para un destino de BigQuery o Cloud Storage. O bien, si aún no creaste un perfil de conexión para el destino, puedes crear uno ahora.
   Encriptación	De forma predeterminada, tus datos se encriptan con una clave administrada por Google Cloud. Si deseas administrar la encriptación, puedes usar una clave de encriptación administrada por el cliente (CMEK): Selecciona la casilla de verificación Clave de Cloud KMS. En el menú desplegable Tipo de clave, selecciona Cloud KMS y, luego, tu CMEK. Si no ves tu clave, haz clic en INGRESA EL NOMBRE DEL RECURSO DE LA CLAVE para proporcionar el nombre del recurso de la clave que deseas usar. Por ejemplo, puedes ingresar projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key en el campo Nombre del recurso de clave y, luego, hacer clic en GUARDAR. Como parte de la creación de la transmisión, Datastream verificará que la CMEK exista y que tenga permisos para usar la clave. Si quieres obtener más información para crear una CMEK o otorgarle permisos a Datastream para la clave, consulta Usa claves de encriptación administradas por el cliente (CMEK).

4. De manera opcional, usa etiquetas para organizar tus recursos de Datastream.

   1. Para crear una etiqueta, haz clic en AGREGAR ETIQUETA y, luego, ingresa el par clave-valor de la etiqueta.
   2. Para quitar la etiqueta, haz clic en el ícono de papelera a la derecha de la fila que contiene la etiqueta.

5. De manera opcional, agrega políticas de alertas para tu transmisión. Las políticas de alertas definen cuándo y cómo quieres recibir notificaciones sobre las fallas de transmisión.

   1. Para crear una política de alertas, haz clic en Agregar política de alertas.
   2. Aparecerá la página Crear política de alertas en Cloud Monitoring. En esta página, definirás la política de alertas en caso de que falle la transmisión.

   Para obtener más información sobre las políticas de alertas, consulta Administra políticas de alertas basadas en métricas.

6. Revisa los requisitos previos necesarios que se generan de forma automática para reflejar cómo se debe preparar el entorno para una transmisión. Estos requisitos previos pueden incluir cómo configurar la base de datos de origen y cómo conectarla al destino. Es mejor completar estos requisitos previos en este paso, pero puedes hacerlo en cualquier momento antes de probar la transmisión o iniciarla. Para obtener más información sobre estos requisitos, consulta Fuentes.

7. Haz clic en CONTINUAR. Aparecerá el panel Definir perfil de conexión de la página Crear transmisión para tu tipo de base de datos de origen.

   Nota: Si el tipo de base de datos de origen es Oracle, el nombre del panel es Definir perfil de conexión de Oracle. Si seleccionas una base de datos de origen diferente, ese nombre de base de datos aparecerá en el nombre del panel.

Especifica la información sobre el perfil de conexión de origen

1. Si creaste un perfil de conexión de origen para Oracle, MySQL, SQL Server o PostgreSQL, selecciónalo en la lista de perfiles de conexión.

   Si no creaste un perfil de conexión fuente, haz crea uno haciendo clic en CREAR PERFIL DE CONEXIÓN en la parte inferior de la lista desplegable y, luego, realiza los mismos pasos que se indican en Crear perfiles de conexión.

2. Haz clic en RUN TEST para verificar que la base de datos de origen y Datastream puedan comunicarse entre sí.

   Si la prueba falla, aparecerá el problema asociado con el perfil de conexión. Consulta la página Diagnostica problemas y obtén los pasos para solucionarlos. Realiza los cambios necesarios para corregir el problema y, luego, vuelve a realizar la prueba.

3. Haga clic en CONTINUE. Aparecerá el panel Configurar origen de transmisión de la página Crear transmisión.

Configura la información sobre la base de datos de origen de la transmisión

Configura la base de datos de origen de PostgreSQL

Si seleccionaste PostgreSQL como tu base de datos de origen, debes definir sus propiedades de replicación.

1. En la sección Replication properties, especifica las siguientes propiedades:
   1. En el campo Nombre de la ranura de replicación, ingresa el nombre de la ranura que creaste específicamente para esta transmisión. El servidor de la base de datos usa esta ranura para enviar eventos a Datastream.
   2. En el campo Nombre de la publicación, ingresa el nombre de la publicación que creaste en la base de datos. Una publicación es un grupo de todas las tablas de las que deseas replicar los cambios con este flujo.
2. Sigue los pasos que se describen en la sección Configura las bases de datos de origen.

Configura la base de datos de origen de SQL Server

Si seleccionaste SQL Server como tu base de datos de origen, debes definir el método de CDC.

1. En el menú desplegable Método de CDC, selecciona el método de CDC que coincida con la configuración de tu base de datos de origen:

   • Registros de transacciones: Selecciona este método para procesar los cambios directamente desde los registros de la base de datos. Este método proporciona el mejor rendimiento y es más eficiente, pero requiere pasos de configuración adicionales.
   • Tablas de cambios: Selecciona este método para procesar cambios desde tablas de cambios dedicadas. Este método es más fácil de configurar y tiene menos limitaciones, pero admite una capacidad de procesamiento menor y produce una carga mayor en tu base de datos que el método de registros de transacción.

   Para obtener más información sobre cómo configurar tu base de datos de SQL Server de origen, consulta Cómo configurar una base de datos de SQL Server de origen.

2. Sigue los pasos que se describen en la sección Configura las bases de datos de origen.

Configura las bases de datos de origen

1. En la sección Selecciona los objetos que deseas incluir, usa el menú desplegable Objetos que se incluirán para especificar las tablas y los esquemas de la base de datos de origen que Datastream puede transferir al destino.

   El menú no carga la lista de tablas y esquemas si tu base de datos tiene más de 5,000 objetos.
   1. Si quieres que Datastream transfiera todas las tablas y esquemas, selecciona Todas las tablas de todos los esquemas.

   2. Si quieres que Datastream solo transfiera tablas y esquemas específicos, selecciona Esquemas y tablas específicos y, luego, las casillas de verificación de los esquemas y las tablas que quieres que extraiga.

      Para cada esquema que selecciones, hay una casilla de verificación Tablas futuras.

      • Si seleccionas esta casilla de verificación, todas las tablas para el esquema que agregues a la fuente después de crear la transmisión se transferirán automáticamente al destino.
      • Si no se selecciona esta casilla de verificación, después de crear la transmisión, Datastream no transferirá ninguna tabla nueva del esquema de la fuente al destino.

      De forma predeterminada, la casilla de verificación Tablas futuras está seleccionada para cada esquema.

      Para cada tabla de esquema que selecciones, hay un botón SELECT COLUMNS. Haz clic en este botón para filtrar las columnas de la tabla que deseas excluir de la transmisión de la fuente al destino. Las columnas que borres no se incluirán en la transmisión.

      De forma predeterminada, las casillas de verificación de todas las columnas de la tabla están seleccionadas.

   3. Si quieres proporcionar una definición textual de las tablas y los esquemas que quieres que Datastream transfiera, selecciona Personalizado y, luego, en el campo Criterios de coincidencia de objetos, ingresa los esquemas y las tablas que quieres que extraiga Datastream.

      Si tu base de datos tiene una gran cantidad de tablas y esquemas, te recomendamos usar la opción Personalizado, ya que algunas tablas y esquemas podrían no estar incluidos en la lista de objetos que deseas extraer.

      Ingresa los esquemas y las tablas como una lista separada por comas con el formato [schema].[table], en el que tanto el esquema como la tabla pueden ser un comodín (asterisco). No puedes usar comodines parciales.

      Además, si Oracle es tu base de datos de origen y, a menos que se especifique de forma explícita, los esquemas y las tablas predefinidos de Oracle no se extraerán en el destino.

2. De manera opcional, expande el nodo Selecciona los objetos que quieres excluir. En el campo Objetos que se excluirán, ingresa las tablas y los esquemas en la base de datos de origen que deseas restringir para que Datastream no los extraiga. La lista Objetos para excluir tiene prioridad sobre la lista Objetos para incluir. Si un objeto cumple con los criterios de las listas de inclusión y exclusión, el objeto se excluye de la transmisión.

   Define estos esquemas y tablas con la misma lógica separada por comas que usas si especificas esquemas y tablas que quieres que Datastream extraiga.
3. De forma opcional, expande el nodo Elige el modo de reabastecimiento para los datos históricos y, luego, realiza una de las siguientes selecciones:

   1. Selecciona la opción Automático para transmitir todos los datos existentes, además de los cambios en los datos, de la fuente al destino.

      En el campo Objetos excluidos del reabastecimiento automático, ingresa las tablas y los esquemas en la base de datos de origen para restringir que Datastream los reabastezca en el destino.

   2. Selecciona la opción Manual para transmitir solo los cambios en los datos al destino.

4. Haz clic en CONTINUAR. Aparecerá el panel Definir perfil de conexión de la página Crear transmisión para tu tipo de destino.

   Nota: Si tu tipo de destino es BigQuery, el nombre del panel es Define BigQuery connection profile. Si tu tipo de destino es Cloud Storage, Definir perfil de conexión de Cloud Storage aparecerá como el nombre del panel.

Selecciona un perfil de conexión de destino

1. Si creaste un perfil de conexión de destino, selecciónalo en la lista de perfiles de conexión.

   Si no creaste un perfil de conexión de destino, haz clic en el siguiente para crear uno:CREAR PERFIL DE CONEXIÓN en la parte inferior de la lista desplegable y, luego, realice los mismos pasos que se indican enCrear perfiles de conexión.

2. Haz clic en CONTINUAR. Aparecerá el panel Configura el destino de transmisión de la página Crear transmisión.

Configura la información sobre el destino de la transmisión

Destino de BigQuery

1. En Configura la conexión de Datastream a BigQuery, especifica cómo se debe transmitir Datastream a un conjunto de datos de BigQuery. Selecciona una de las opciones siguientes:

   • Conjunto de datos para cada esquema: Datastream crea un conjunto de datos de BigQuery para cada esquema de origen según el nombre del esquema.

     Si seleccionas esta opción, para cada esquema en la base de datos de origen, Datastream crea un conjunto de datos en el proyecto que contiene el flujo.

     Además, cuando selecciones la opción Dataset for each schema, ten en cuenta lo siguiente:

     1. En el campo Ubicación, ingresa la región en la que deseas que se cree el nuevo conjunto de datos.
     2. En el campo Prefijo, define un prefijo para el conjunto de datos que crea la transmisión (opcional). La cadena que especifiques se agregará al nombre del esquema de origen. Por ejemplo, si el esquema se llama <mySchema> y defines el prefijo del conjunto de datos como <myPrefix>, Datastream crea un conjunto de datos llamado <myPrefix><mySchema>.
     3. Para especificar cómo deseas que se encripten tus datos en BigQuery, selecciona una clave de encriptación administrada por Google o por el cliente.

   • Conjunto de datos único para todos los esquemas: Datastream crea todas las tablas dentro del conjunto de datos de BigQuery existente que especifiques. Cada tabla que crea Datastream se nombra con una combinación del nombre del esquema de origen y el nombre de la tabla, separados por un guion bajo (por ejemplo, <mySchemaName>_<myTableName>).

2. Especifica el Modo de escritura de transmisión. Selecciona el modo de escritura para definir cómo se escriben y procesan los datos en BigQuery:

   • Combinar: Selecciona esta opción si quieres que los datos se sincronicen con la fuente.
   • Solo agregar: Selecciona esta opción si deseas conservar todos los datos históricos de tus eventos de cambio.

3. Especifica el límite de inactividad de los datos. Solo está disponible cuando se selecciona el modo Combinar en el paso anterior. Selecciona un límite para equilibrar el rendimiento y el costo de las consultas de BigQuery con la actualización de los datos. BigQuery aplica los cambios en segundo plano de manera continua o en el tiempo de ejecución de la consulta, según el límite de inactividad. Una inactividad más baja (datos más recientes) puede aumentar los costos de procesamiento de BigQuery.

   Si seleccionas 0 minutos, BigQuery siempre mostrará los resultados de la consulta en función de los datos más recientes. Esto genera el costo más alto de la consulta.

4. Haz clic en CONTINUAR. Aparecerá el panel Revisar los detalles de la transmisión y crearla de la página Crear transmisión.

Destino de Cloud Storage

1. De manera opcional, en el campo Prefijo de ruta de acceso del flujo, ingresa la carpeta del bucket de destino a la que Datastream transferirá esquemas, tablas y datos desde una base de datos de origen.

   Por ejemplo, si quieres que Datastream transfiera datos de la base de datos de origen a la carpeta /root/example del bucket de destino, ingresa /root/example en el campo Prefijo de ruta de acceso del flujo.

2. En el campo Formato de salida, elige el formato de archivos escritos en Cloud Storage.

   Datastream admite dos formatos de salida: Avro y JSON.

3. Opcional. Si seleccionas el formato JSON, aparecerán dos casillas de verificación:

   1. Incluir un archivo de esquema de tipos unificados en la ruta de acceso: Si seleccionas esta casilla de verificación, Datastream escribirá dos archivos en Cloud Storage: un archivo de datos JSON y un archivo de esquema Avro. El archivo de esquema tiene el mismo nombre que el archivo de datos, con la extensión .schema. Si no seleccionas esta casilla de verificación, Datastream solo escribirá el archivo de datos JSON en Cloud Storage. De forma predeterminada, esta casilla de verificación no está seleccionada.
   2. Habilitar compresión gzip: Si seleccionas esta casilla de verificación, Datastream usará la utilidad gzip para comprimir los archivos que escribe en Cloud Storage. Si no seleccionas esta casilla de verificación, Datastream escribirá los archivos en Cloud Storage sin comprimirlos. Esta casilla de verificación está seleccionada de forma predeterminada.

4. Haz clic en CONTINUAR. Aparecerá el panel Revisar los detalles de la transmisión y crearla de la página Crear transmisión.

Crea la transmisión

1. Verifica los detalles de la transmisión, así como los perfiles de conexión de origen y destino que la transmisión usará para transferir datos de una base de datos de origen a un destino.

2. Haz clic en EJECUTAR VALIDACIÓN para validar la transmisión. Cuando se valida una transmisión, Datastream verifica que la fuente esté configurada correctamente, que la transmisión pueda conectarse a la fuente y al destino, y que la configuración de extremo a extremo de la transmisión sea correcta.

   1. Si tu base de datos de origen es Oracle, Datastream realiza las siguientes verificaciones:

      Verificar	Descripción
      Validez de la lista de objetos	Datastream verifica que la lista de exclusiones no incluya la lista de inclusiones.
      Reenviar la conectividad del túnel SSH	Datastream verifica que pueda conectarse a un host de bastión a través de un túnel SSH de reenvío.
      Conectividad a la base de datos de Oracle	Datastream verifica que pueda conectarse a la base de datos de origen de Oracle.
      Permisos del usuario de Oracle	Datastream verifica que el usuario que usa para conectarse a la base de datos de origen tenga todos los permisos necesarios para recuperar esquemas, tablas y datos de la base de datos, de modo que Datastream pueda transmitir esta información al destino.
      Configuración del modo de registro	Datastream verifica que el modo de registro de la base de datos de Oracle esté configurado en ARCHIVELOG.
      Configuración de registro complementaria	Datastream verifica que el registro complementario esté activado para las tablas de base de datos que se transmiten desde la fuente hacia el destino.
      Configuración de los documentos de registro del archivo	Datastream verifica que el registro de archivos esté configurado en la fuente y que los archivos de registro de archivos estén presentes.
      Permisos de Cloud Storage (para destinos de Cloud Storage)	Datastream verifica que tenga los permisos necesarios para escribir en el bucket de destino en Cloud Storage.

   2. Si tu base de datos de origen es MySQL, Datastream realiza las siguientes verificaciones:

      Verificar	Descripción
      Validez de la lista de objetos	Datastream verifica que la lista de exclusiones no incluya la lista de inclusiones.
      Reenviar la conectividad del túnel SSH	Datastream verifica que pueda conectarse a un host de bastión a través de un túnel SSH de reenvío.
      Conectividad a la base de datos de MySQL	Datastream verifica que puede conectarse a la base de datos de MySQL de origen.
      El registro binario está habilitado	Datastream verifica que los archivos de registro binarios estén configurados correctamente y que haya archivos de registro presentes.
      Configuración del formato de registro binario	Datastream verifica que el formato del registro binario de la base de datos MySQL esté configurado como ROW.
      Permisos de replicación	Datastream verifica que tenga permisos para replicar una base de datos de MySQL.
      Permisos de Cloud Storage (para destinos de Cloud Storage)	Datastream verifica que tenga los permisos necesarios para escribir en el bucket de destino en Cloud Storage.

   3. Si tu base de datos de origen es PostgreSQL, Datastream realiza las siguientes verificaciones:

      Verificar	Descripción
      Conectividad a la base de datos de PostgreSQL	Datastream verifica que pueda conectarse a la base de datos de origen de PostgreSQL.
      La decodificación lógica está habilitada	Datastream verifica que el parámetro wal_level de la base de datos de PostgreSQL esté configurado en logical.
      Configuración de la ranura de replicación	Datastream verifica si la ranura de replicación de PostgreSQL existe y está activa, si tiene los permisos necesarios para acceder a ella y si está configurada de forma correcta.
      Configuración de la publicación	Datastream verifica que la publicación exista y que las tablas que se replicarán para la transmisión estén incluidas en ella.
      Permisos de reabastecimiento	Datastream verifica que existan tablas necesarias para reabastecer los datos históricos y que tengan los permisos necesarios para leerlas.

   4. Si tu base de datos de origen es SQL Server, Datastream realiza las siguientes verificaciones:

      Verificar	Descripción
      Edición de SQL Server	Datastream verifica que se admita la edición de la base de datos de SQL Server de origen. Para obtener información sobre las ediciones compatibles, consulta Versiones.
      Permisos del usuario de SQL Server	Datastream verifica que el usuario tenga los permisos necesarios para acceder a la base de datos de SQL Server de origen.
      Las CDC de SQL Server están habilitadas	Datastream verifica si la CDC está habilitada para la base de datos y todas las tablas incluidas en el flujo.
      Validaciones de bases de datos de SQL Server	Datastream verifica si la base de datos de origen está configurada correctamente, si se cumplen todos los requisitos de replicación y si no hay tipos de datos no compatibles en las columnas.
      Permisos de Cloud Storage o BigQuery	Datastream verifica que el usuario tenga los permisos necesarios para escribir en el destino.

   Si se aprueba una verificación de validación, aparecerá un ícono de marca de verificación a la izquierda de la verificación de validación.

   Si no se aprueba una verificación de validación, aparecerá un ícono de exclamación a la izquierda de la verificación y un botón VER DETALLES DEL ERROR debajo de la verificación. Haz clic en el botón y aparecerá una ventana de diálogo que explica por qué no se aprobó la verificación, junto con información sobre qué hacer para rectificar el problema. Después de realizar las correcciones adecuadas, haz clic en REVALIDAR.

   Para obtener más información sobre la solución de problemas relacionados con las verificaciones de validación que no se aprueban, consulta Cómo diagnosticar problemas.

3. Después de pasar todas las verificaciones de validación, haz clic en CREAR E INICIAR para crear la transmisión y, luego, iniciarla de inmediato o CREAR para crearla sin iniciarla de inmediato.

   Si no inicias la transmisión ahora, puedes iniciarla desde el página Novedades haciendo clic en COMENZAR.

   Nota: El proceso de creación de transmisiones puede generar una carga mayor en la base de datos de origen. Para posponer esa carga, crea la transmisión sin iniciarla y vuelve a iniciarla cuando se pueda realizar la carga.

Después de crear una transmisión, puedes ver información detallada y general sobre ella.

¿Qué sigue?

• Para obtener más información sobre las transmisiones, consulta Ciclo de vida de las transmisiones.
• Si deseas obtener información para ejecutar una transmisión, consulta Cómo ejecutar una transmisión.
• Para obtener información sobre cómo modificar tus transmisiones, consulta Cómo modificar una transmisión.
• Para aprender a recuperar una transmisión, consulta Cómo recuperar una transmisión.