Crea una transmisión

Descripción general

En esta sección, aprenderás a crear una transmisión. Datastream usa esta transmisión para transferir datos de una base de datos de origen de Oracle, MySQL, SQL Server (Versión preliminar) o PostgreSQL a BigQuery o Cloud Storage.

La creación de una transmisión incluye los siguientes elementos:

• Define la configuración para la transmisión.
• Selecciona el perfil de conexión que creaste para tu base de datos de origen de Oracle, MySQL, SQL Server (Vista previa) o PostgreSQL (el perfil de conexión de origen), o bien crea un perfil de conexión de origen si no tienes uno.
• Especifica las tablas y los esquemas en la base de datos de origen que Datastream a fin de configurar la información sobre la base de datos de origen para la transmisión:
  • Puede transferir al destino.
  • No puede transferir al destino.

• Determinar si Datastream reabastecerá los datos históricos, así como la transmisión de los cambios continuos al destino o la transmisión solo de los cambios a los datos. Cuando habilitas el reabastecimiento histórico, tienes la opción de especificar esquemas y tablas en la base de datos de origen que Datastream no debe reabastecer en el destino.

• Selecciona el perfil de conexión que creaste para BigQuery o Cloud Storage (el perfil de conexión de destino) o crea uno si aún no lo hiciste.

• Configura la información sobre el destino de la transmisión. Esta información incluye:

  • Para BigQuery:
    • Son los conjuntos de datos en los que Datastream replicará esquemas, tablas y datos de una base de datos de origen.
  • Para Cloud Storage:
    • Es la carpeta del bucket de destino al que Datastream transferirá los esquemas, las tablas y los datos de una base de datos de origen.

• Validar la transmisión para garantizar que se ejecutará correctamente. La validación de una transmisión verifica lo siguiente:

  • Indica si la fuente está configurada correctamente para permitir que Datastream transmita datos desde ella.

  • Si la transmisión puede conectarse tanto al origen como al destino.

  • La configuración de extremo a extremo de la transmisión.

Datastream incluye un asistente para ayudarte a crear una transmisión. Este asistente consta de seis paneles: Comenzar, Definir y probar fuente, Configurar origen, Definir destino, Configurar destino y Revisar y crear. Puede encontrar información para completar cada panel en las distintas secciones de esta página.

Define la configuración de la transmisión

1. Ve a la página Transmisiones en la consola de Google Cloud.

   Ir a la página Novedades

2. Haz clic en CREAR TRANSMISIÓN.

3. Usa la siguiente tabla para propagar los campos de la sección Definir los detalles del flujo de la página Crear un flujo:

   Campo	Descripción
   Nombre de la transmisión	Ingresa el nombre visible de la transmisión.
   ID de flujo	Datastream propaga este campo automáticamente según el nombre de transmisión que ingreses. Puedes conservar el ID generado automáticamente o cambiarlo.
   Región	Selecciona la región en la que se almacena la transmisión. Las transmisiones, como todos los recursos, se guardan en una región. La selección de la región no afecta si la transmisión puede conectarse a la base de datos de origen o al destino, pero puede afectar la disponibilidad si la región experimenta tiempo de inactividad.
   Tipo de fuente	Selecciona el tipo de perfil que especificaste cuando creaste un perfil de conexión para una base de datos de origen de Oracle, MySQL, SQL Server (Vista previa) o PostgreSQL. O bien, si no creaste un perfil de conexión para la base de datos de origen, puedes crear uno ahora.
   Tipo de destino	Selecciona el tipo de perfil que especificaste cuando creaste un perfil de conexión para un destino de BigQuery o Cloud Storage. O bien, si no creaste un perfil de conexión para el destino, puedes crear uno ahora.
   Encriptación	De forma predeterminada, tus datos se encriptan con una clave administrada por Google Cloud. Si quieres administrar tu encriptación, puedes usar una clave de encriptación administrada por el cliente (CMEK): CMEK no es compatible con las fuentes de SQL Server. Selecciona la casilla de verificación Usar una CMEK. En el menú desplegable Seleccionar una CMEK, selecciona tu CMEK. Si no ves tu clave, haz clic en INGRESAR NOMBRE DEL RECURSO DE CLAVE para indicar el nombre del recurso de la clave que quieres usar. Por ejemplo, puedes ingresar projects/my-project-name/locations/my-location/keyRings/my-keyring/cryptoKeys/my-key en el campo Nombre del recurso de la clave y, luego, hacer clic en GUARDAR. Como parte de la creación de la transmisión, Datastream verificará que la CMEK exista y que tenga permisos para usar la clave. Si quieres obtener más información para crear una CMEK o darle permisos a Datastream para la clave, consulta Usa claves de encriptación administradas por el cliente (CMEK).

4. De manera opcional, usa etiquetas para organizar tus recursos de Datastream.

   1. Para crear una etiqueta, haz clic en AGREGAR ETIQUETA y, luego, ingresa el par clave-valor de la etiqueta.
   2. Para quitar la etiqueta, haz clic en el ícono de papelera a la derecha de la fila que contiene la etiqueta.

5. De manera opcional, agrega políticas de alertas a tu transmisión. Las políticas de alertas definen cuándo y cómo deseas recibir notificaciones sobre fallas de transmisión.

   1. Para crear una política de alertas, haz clic en Agregar política de alertas.
   2. La página Crear política de alertas aparece en Cloud Monitoring. En esta página, definirás la política de alertas en caso de que falle la transmisión.

   Para obtener más información sobre las políticas de alertas, consulta Administra las políticas de alertas basadas en métricas.

6. Revisa los requisitos previos que se generan automáticamente para reflejar cómo se debe preparar el entorno para una transmisión. Estos requisitos previos pueden incluir cómo configurar la base de datos de origen y cómo conectarla al destino. Es mejor completar estos requisitos previos en este paso, pero puedes hacerlo en cualquier momento antes de probar o iniciar la transmisión. Para obtener más información sobre estos requisitos previos, consulta Fuentes.

7. Haz clic en CONTINUAR. Aparecerá el panel Definir perfil de conexión de la página Crear flujo para tu tipo de base de datos de origen.

   Nota: Si el tipo de base de datos de origen es Oracle, el nombre del panel será Define Oracle connection profile. Si seleccionas una base de datos de origen diferente, el nombre de la base de datos aparecerá en el nombre del panel.

Especifica la información sobre el perfil de conexión de origen

1. Si creaste un perfil de conexión fuente para Oracle, MySQL, SQL Server (Vista previa) o MySQL, selecciónalo en la lista de perfiles de conexión.

   Si no creaste un perfil de conexión fuente, haz crea uno haciendo clic en CREAR PERFIL DE CONEXIÓN en la parte inferior de la lista desplegable y, luego, realiza los mismos pasos que se indican en Crear perfiles de conexión.

2. Haz clic en EJECUTAR PRUEBA para verificar que la base de datos de origen y Datastream puedan comunicarse entre sí.

   Si la prueba falla, aparecerá el problema asociado con el perfil de conexión. Consulta la página Diagnostica problemas y consulta los pasos para solucionarlos. Realiza los cambios necesarios para corregir el problema y, luego, vuelve a probar.

3. Haga clic en CONTINUE. Aparecerá el panel Configurar origen de transmisión de la página Crear transmisión.

Configura la información sobre la base de datos de origen de la transmisión

Configura la base de datos de origen de PostgreSQL

Si seleccionaste PostgreSQL como tu base de datos de origen, debes definir sus propiedades de replicación.

1. En la sección Propiedades de replicación, especifica las siguientes propiedades:
   1. En el campo Nombre de la ranura de replicación, ingresa el nombre de la ranura que creaste específicamente para esta transmisión. El servidor de la base de datos usa esta ranura para enviar eventos a Datastream.
   2. En el campo Nombre de la publicación, ingresa el nombre de la publicación que creaste en la base de datos. Una publicación es un grupo de todas las tablas que quieres replicar, a partir de esta transmisión.
2. Haz clic en Continuar. Sigue los pasos descritos en la sección Cómo configurar bases de datos de origen a continuación.

Configura bases de datos de origen

1. En la sección Selecciona los objetos que deseas incluir, usa el menú desplegable Objetos que se incluirán para especificar las tablas y los esquemas de la base de datos de origen que Datastream puede transferir al destino.

   El menú no puede cargar la lista de tablas y esquemas si tu base de datos tiene más de 5,000 objetos.
   1. Si quieres que Datastream transfiera todas las tablas y los esquemas, selecciona Todas las tablas de todos los esquemas.

   2. Si quieres que Datastream transfiera solo tablas y esquemas específicos, selecciona Esquemas y tablas específicos y, luego, selecciona las casillas de verificación de los esquemas y tablas que deseas que extraiga.

      Para cada esquema que selecciones, verás una casilla de verificación Tablas futuras.

      • Si se selecciona esta casilla de verificación, cualquier tabla del esquema que agregues a la fuente después de la creación de la transmisión se transferirá al destino automáticamente.
      • Si no seleccionas esta casilla de verificación, después de que se cree la transmisión, Datastream no transferirá ninguna tabla nueva para el esquema del origen al destino.

      De forma predeterminada, la casilla de verificación Tablas futuras está seleccionada para cada esquema.

      Para cada tabla de esquema que selecciones, verás el botón SELECCIONAR COLUMNAS. Haz clic en este botón para filtrar las columnas de la tabla que quieres excluir para que no se transmitan del origen al destino. Las columnas que desmarques se excluirán de la transmisión.

      De forma predeterminada, estarán seleccionadas las casillas de verificación de todas las columnas de la tabla.

   3. Si deseas proporcionar una definición textual de las tablas y los esquemas que deseas que Datastream transfiera, selecciona Personalizado y, luego, en el campo Criterios de coincidencia de objetos, ingresa los esquemas y tablas que deseas que extraiga Datastream.

      Si tu base de datos tiene una gran cantidad de tablas y esquemas, te recomendamos usar la opción Personalizado, ya que algunas tablas y esquemas podrían no estar incluidos en la lista de objetos para extraer.

      Ingresa esquemas y tablas como una lista separada por comas, con el formato [schema].[table], en el que tanto el esquema como la tabla pueden ser un comodín (asterisco). No puedes usar comodines parciales.

      Además, si Oracle es tu base de datos de origen, y a menos que se especifique de forma explícita, los esquemas y tablas predefinidos de Oracle no se extraerán al destino.

2. De forma opcional, expande el nodo Seleccionar objetos para excluir. En el campo Objetos que se excluirán, ingresa las tablas y los esquemas en la base de datos de origen que deseas que Datastream no extraiga. La lista Objetos que se deben excluir tiene prioridad sobre la lista Objetos que se incluirán. Si un objeto cumple con los criterios de las listas de inclusión y exclusión, el objeto se excluye de la transmisión.

   Defines estos esquemas y tablas con la misma lógica separada por comas que usas si especificas esquemas y tablas que quieres que Datastream extraiga.
3. De manera opcional, expande el nodo Elegir modo de reabastecimiento para datos históricos y, luego, realiza una de las siguientes selecciones:

   1. Selecciona la opción Automático para transmitir todos los datos existentes, además de los cambios en los datos, de la fuente al destino.

      En el campo Objetos excluidos del reabastecimiento automático, ingresa las tablas y los esquemas de la base de datos de origen en los que quieras restringir el reabastecimiento de Datastream al destino.

   2. Selecciona la opción Manual para transmitir solo los cambios de datos al destino.

4. Haz clic en CONTINUAR. Aparecerá el panel Definir perfil de conexión de la página Crear flujo para tu tipo de destino.

   Nota: Si tu tipo de destino es BigQuery, el nombre del panel es Define BigQuery connection profile. Si tu tipo de destino es Cloud Storage, aparecerá Define Cloud Storage connection profile como el nombre del panel.

Selecciona un perfil de conexión de destino

1. Si creaste un perfil de conexión de destino, selecciónalo en la lista de perfiles de conexión.

   Si no creaste un perfil de conexión de destino, haz clic en el siguiente para crear uno:CREAR PERFIL DE CONEXIÓN en la parte inferior de la lista desplegable y, luego, realice los mismos pasos que se indican enCrear perfiles de conexión.

2. Haz clic en CONTINUAR. Aparecerá el panel Configurar el destino del flujo de la página Crear flujo.

Configura la información sobre el destino de la transmisión

Destino de BigQuery

1. En Configura la conexión de Datastream a BigQuery, especifica cómo debe transmitir Datastream a un conjunto de datos de BigQuery. Selecciona una de las siguientes opciones:

   • Conjunto de datos para cada esquema: Datastream crea un conjunto de datos de BigQuery para cada esquema de origen, según el nombre del esquema.

     Si seleccionas esta opción, para cada esquema de la base de datos de origen, Datastream crea un conjunto de datos en el proyecto que contiene la transmisión.

     Además, cuando selecciones la opción Conjunto de datos para cada esquema, haz lo siguiente:

     1. En el campo Ubicación, ingresa la región en la que deseas crear el conjunto de datos nuevo.
     2. (Opcional) En el campo Prefijo, define un prefijo para el conjunto de datos que crea el flujo. La string que especifiques se agregará al nombre del esquema de origen. Por ejemplo, si el esquema se llama <mySchema>, y defines el prefijo del conjunto de datos como <myPrefix>, Datastream creará un conjunto de datos llamado <myPrefix><mySchema>.
     3. Especifica cómo quieres que se encripten tus datos en BigQuery. Para ello, selecciona una clave de encriptación administrada por Google o por el cliente.

   • Conjunto de datos único para todos los esquemas: Datastream crea todas las tablas dentro del conjunto de datos existente de BigQuery que especifiques. Cada tabla que crea Datastream se nombra usando una combinación del nombre del esquema de origen y el nombre de la tabla, separados por un guion bajo (por ejemplo, <mySchemaName>_<myTableName>).

2. Especifica el límite de obsolescencia de los datos. Selecciona un límite para equilibrar el rendimiento y el costo de las consultas de BigQuery con la actualización de los datos. BigQuery aplica los cambios en segundo plano de manera continua o en el tiempo de ejecución de la consulta, de acuerdo con el límite de inactividad. Una inactividad más baja (datos más recientes) puede aumentar los costos de procesamiento de BigQuery.

   Si seleccionas 0 minutos, BigQuery siempre mostrará los resultados de la consulta en función de los datos más recientes. Esto da como resultado el costo más alto de la consulta.

3. Haz clic en CONTINUAR. Aparecerá el panel Revisar detalles y crear del flujo de la página Crear flujo.

Destino de Cloud Storage

1. De manera opcional, en el campo Prefijo de la ruta de transmisión, ingresa la carpeta del bucket de destino al que Datastream transferirá los esquemas, las tablas y los datos de una base de datos de origen.

   Por ejemplo, si deseas que Datastream transfiera datos de la base de datos de origen a la carpeta /root/example en el bucket de destino, ingresa /root/example en el campo Prefijo de ruta de acceso de la transmisión.

2. En el campo Formato de salida, elige el formato de archivos escritos en Cloud Storage.

   En la actualidad, Datastream admite dos formatos de salida: Avro y JSON.

3. Opcional. Si seleccionas el formato JSON, aparecerán dos casillas de verificación:

   1. Incluye un archivo de esquema de tipos unificados en la ruta de acceso del archivo: Si seleccionas esta casilla de verificación, Datastream escribirá dos archivos en Cloud Storage: un archivo de datos JSON y un archivo de esquema de Avro. El archivo de esquema tiene el mismo nombre que el archivo de datos, con una extensión .schema. Si no seleccionas esta casilla de verificación, Datastream escribirá solo el archivo de datos JSON en Cloud Storage. Esta casilla de verificación no está seleccionada de forma predeterminada.
   2. Habilitar la compresión gzip: Si seleccionas esta casilla de verificación, Datastream usará la utilidad gzip para comprimir los archivos que escribe en Cloud Storage. Si no seleccionas esta casilla de verificación, Datastream escribirá los archivos en Cloud Storage sin comprimirlos. Esta casilla de verificación está seleccionada de forma predeterminada.

4. Haz clic en CONTINUAR. Aparecerá el panel Revisar detalles y crear del flujo de la página Crear flujo.

Crea la transmisión

1. Verifica los detalles de la transmisión, así como los perfiles de conexión de origen y destino que la transmisión usará para transferir datos de una base de datos de origen a un destino.

2. Haz clic en EJECUTAR VALIDACIÓN para validar la transmisión. Mediante la validación de una transmisión, Datastream verifica que la fuente esté configurada correctamente, valida que la transmisión pueda conectarse tanto al origen como al destino, y verifica la configuración de extremo a extremo de la transmisión.

   1. Si tu base de datos de origen es Oracle, Datastream realiza las siguientes verificaciones:

      Verificar	Descripción
      Validez de la lista de objetos	Datastream verifica que la lista de exclusiones no subsuma la lista de inclusión.
      Reenviar la conectividad del túnel SSH	Datastream verifica que puede conectarse a un host de bastión a través de un túnel SSH de reenvío.
      Conectividad a la base de datos de Oracle	Datastream verifica que se pueda conectar a la base de datos de origen de Oracle.
      Permisos del usuario de Oracle	Datastream verifica que el usuario que usa para conectarse a la base de datos de origen tenga todos los permisos necesarios para recuperar esquemas, tablas y datos de la base de datos a fin de que Datastream pueda transmitir esta información al destino.
      Configuración del modo de registro	Datastream verifica que el modo de registro de la base de datos de Oracle esté configurado como ARCHIVELOG.
      Configuración de registro complementaria	Datastream verifica que el registro complementario esté activado para las tablas de la base de datos que se transmiten desde el origen hacia el destino.
      Configuración de los documentos de registro del archivo	Datastream verifica que el registro de archivos esté configurado en la fuente y que los archivos de registro estén presentes.
      Permisos de Cloud Storage (para destinos de Cloud Storage)	Datastream verifica que tenga los permisos necesarios para escribir en el bucket de destino en Cloud Storage.

   2. Si tu base de datos de origen es MySQL, Datastream realiza las siguientes verificaciones:

      Verificar	Descripción
      Validez de la lista de objetos	Datastream verifica que la lista de exclusiones no subsuma la lista de inclusión.
      Reenviar la conectividad del túnel SSH	Datastream verifica que puede conectarse a un host de bastión a través de un túnel SSH de reenvío.
      Conectividad a la base de datos de MySQL	Datastream verifica que pueda conectarse a la base de datos MySQL de origen.
      El registro binario está habilitado	Datastream verifica que los archivos de registro binarios estén configurados correctamente y que haya archivos de registro presentes.
      Configuración del formato de registro binario	Datastream verifica que el formato de registro binario de la base de datos de MySQL esté configurado como ROW.
      Permisos de replicación	Datastream verifica que tenga permisos para replicar una base de datos de MySQL.
      Permisos de Cloud Storage (para destinos de Cloud Storage)	Datastream verifica que tenga los permisos necesarios para escribir en el bucket de destino en Cloud Storage.

   3. Si tu base de datos de origen es PostgreSQL, Datastream realiza las siguientes verificaciones:

      Verificación	Descripción
      Conectividad a la base de datos de PostgreSQL	Datastream verifica que pueda conectarse a la base de datos PostgreSQL de origen.
      La decodificación lógica está habilitada	Datastream verifica que el parámetro wal_level de la base de datos de PostgreSQL esté configurado como logical.
      Configuración de ranuras de replicación	Datastream verifica si la ranura de replicación de PostgreSQL existe y está activa, si Datastream tiene los permisos necesarios para acceder a ella y si está configurada de forma correcta.
      Configuración de la publicación	Datastream verifica que la publicación exista y que las tablas para replicar para la transmisión estén incluidas en ella.
      Permisos de reabastecimiento	Datastream verifica que existan las tablas necesarias para reabastecer los datos históricos y que tenga los permisos necesarios para leerlas.

   4. Si tu base de datos de origen es SQL Server (Vista previa), Datastream realiza las siguientes verificaciones:

      Verificación	Descripción
      Edición de SQL Server	Datastream verifica que se admita la edición de la base de datos de SQL Server de origen. Para obtener información sobre las ediciones compatibles, consulta Versiones.
      Permisos del usuario de SQL Server	Datastream verifica que el usuario tenga los permisos necesarios para acceder a la base de datos de origen de SQL Server.
      Las CDC de SQL Server están habilitadas	Datastream verifica si la CDC está habilitada para la base de datos y todas las tablas incluidas en la transmisión.
      Validaciones de bases de datos de SQL Server	Datastream verifica si la base de datos de origen está configurada correctamente, si se cumplen todos los requisitos de replicación y si no hay tipos de datos no compatibles en las columnas.
      Permisos de Cloud Storage o BigQuery	Datastream verifica que el usuario tenga los permisos necesarios para escribir en el destino.

   Si se aprueba una verificación de validación, aparecerá un ícono de marca de verificación a la izquierda de la verificación de validación.

   Si no se aprueba una verificación de validación, aparecerá un ícono de exclamación a la izquierda de la verificación y un botón VER DETALLES DEL ERROR debajo de la verificación. Haz clic en el botón y aparecerá una ventana emergente que explica por qué no se aprobó la verificación, junto con información sobre qué hacer para rectificar el problema. Después de realizar las correcciones adecuadas, haz clic en REVALIDAR.

   Para obtener más información sobre la solución de problemas de verificaciones de validación que no se aprueban, consulta Cómo diagnosticar problemas.

3. Después de pasar todas las verificaciones de validación, haz clic en CREAR E INICIAR para crear la transmisión y, luego, iniciarla de inmediato o CREAR para crearla sin iniciarla de inmediato.

   Si no inicias la transmisión ahora, puedes hacer clic en COMENZAR en la página Transmisiones.

   Nota: El proceso de creación de transmisión puede generar una carga mayor en la base de datos de origen. Para posponer esa carga, crea la transmisión sin iniciarla y regresa para iniciarla cuando se pueda generar la carga.

Después de crear una transmisión, puedes ver información detallada y de alto nivel sobre ella.