Replica datos en BigQuery con Datastream casi en tiempo real

Aprende a replicar datos de una base de datos de origen en conjuntos de datos de BigQuery con Datastream.

---

Para seguir la guía paso a paso sobre esta tarea directamente en la consola Google Cloud , haz clic en Guiarme:

GUIARME

---

Antes de comenzar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.
Go to project selector
Verify that billing is enabled for your Google Cloud project.
Enable the Datastream API.
Enable the API
Make sure that you have the following role or roles on the project: Support User, Datastream Admin, Monitoring Metrics Scopes Viewer, Gemini for Google Cloud Settings Admin
Check for the roles
1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.
Grant the roles
1. In the Google Cloud console, go to the IAM page.

   Ir a IAM
2. Selecciona el proyecto.
3. Haz clic en Otorgar acceso.

4. En el campo Principales nuevas, ingresa tu identificador de usuario. Esta suele ser la dirección de correo electrónico de una Cuenta de Google.

5. En la lista Seleccionar un rol, elige uno.
6. Para otorgar roles adicionales, haz clic en Agregar otro rol y agrega uno más.
7. Haz clic en Guardar.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Datastream API.

Enable the API

Make sure that you have the following role or roles on the project: Support User, Datastream Admin, Monitoring Metrics Scopes Viewer, Gemini for Google Cloud Settings Admin

Check for the roles

1. In the Google Cloud console, go to the IAM page.

   Go to IAM
2. Select the project.

3. In the Principal column, find all rows that identify you or a group that you're included in. To learn which groups you're included in, contact your administrator.

4. For all rows that specify or include you, check the Role column to see whether the list of roles includes the required roles.

Grant the roles

1. In the Google Cloud console, go to the IAM page.

   Ir a IAM
2. Selecciona el proyecto.
3. Haz clic en Otorgar acceso.

4. En el campo Principales nuevas, ingresa tu identificador de usuario. Esta suele ser la dirección de correo electrónico de una Cuenta de Google.

5. En la lista Seleccionar un rol, elige uno.
6. Para otorgar roles adicionales, haz clic en Agregar otro rol y agrega uno más.
7. Haz clic en Guardar.

Si deseas crear una configuración de conectividad privada para una red de VPC estándar o compartida, debes completar requisitos previos adicionales. Para obtener más información, consulta Crea una configuración de conectividad privada.

Requisitos

Datastream ofrece una variedad de opciones de origen, opciones de destino y métodos de conectividad de red.

En esta guía de inicio rápido, suponemos que replicarás datos de una base de datos de Cloud SQL para PostgreSQL en BigQuery. En el caso de la base de datos de origen, deberías poder configurar tu instancia de base de datos para que acepte conexiones desde las direcciones IP públicas de Datastream.

Debido a que no podemos saber los detalles de tu entorno, no podemos proporcionar pasos detallados cuando se trata de tu configuración de red.

Para esta guía de inicio rápido, seleccionarás Lista de IP permitidas como el método de conectividad de red. El uso de listas de IP permitidas es una función de seguridad que se usa a menudo para controlar y limitar el acceso a los datos en tu base de datos de origen a usuarios de confianza. Puedes usar las listas de IP permitidas para crear listas de direcciones IP o rangos de IP de confianza desde los que tus usuarios y otros servicios de Google Cloud, como Datastream, pueden acceder a estos datos. Para usar listas de IP permitidas, debes abrir la base de datos de Cloud SQL de origen para las conexiones entrantes desde Datastream.

Crear perfiles de conexión

Cuando creas perfiles de conexión, almacenas información básica sobre la fuente y el destino en Datastream. Luego, puedes volver a usar esta información en varios flujos.

En este inicio rápido, seleccionarás PostgreSQL como el tipo de perfil para tu perfil de conexión de origen y BigQuery como el tipo de perfil para tu perfil de conexión de destino. Datastream usa la información de los perfiles de conexión para conectarse a la base de datos de origen y a BigQuery.

Crea un perfil de conexión de origen para la base de datos de PostgreSQL

1. Ve a la página Perfiles de conexión de Datastream en la consola de Google Cloud .

   Ir a la página Perfiles de conexión

2. Haz clic en CREAR PERFIL.

3. En la página Crear un perfil de conexión, haz clic en el tipo de perfil PostgreSQL (porque deseas crear un perfil de conexión de origen para la base de datos de PostgreSQL).

4. Proporciona la siguiente información en la sección Define connection settings de la página Create PostgreSQL profile:

   • Ingresa My Source Connection Profile como el Nombre del perfil de conexión de tu base de datos de origen.
   • Conserva el ID del perfil de conexión generado automáticamente.

   • Selecciona la región en la que se almacenará el perfil de conexión.

     Los perfiles de conexión, como todos los recursos, se guardan en una región, y una transmisión solo puede usar perfiles de conexión almacenados en su misma región. La selección de la región no influye en si Datastream puede conectarse al origen o al destino, pero puede afectar la disponibilidad si la región experimenta tiempo de inactividad.

   • Ingresa los Detalles de conexión:

     • En el campo Nombre de host o IP, ingresa un nombre de host o una dirección IP pública que Datastream pueda usar para conectarse a la base de datos de PostgreSQL de origen. Proporcionas una dirección IP pública porque se usará la lista de IP permitidas como el método de conectividad de red para esta guía de inicio rápido.
     • En el campo Puerto, ingresa el número de puerto reservado para la base de datos de origen. En el caso de una base de datos PostgreSQL, el puerto predeterminado suele ser 5432.
     • Ingresa un nombre de usuario y una contraseña para autenticarte en tu base de datos de origen.
     • En el campo Base de datos, ingresa el nombre que identifica la instancia de la base de datos. En el caso de las bases de datos de PostgreSQL, suele ser postgres.

5. En la sección Define connection settings, haz clic en CONTINUE. La sección Define el método de conectividad de la página Crear perfil de PostgreSQL está activa.

6. Elige el método de red que deseas usar para establecer la conectividad entre la base de datos de origen y Datastream. En esta guía de inicio rápido, usa el menú desplegable Método de conectividad para seleccionar Lista de IP permitidas como el método de red.

7. Configura tu base de datos de origen para permitir conexiones entrantes desde las direcciones IP públicas de Datastream que aparecen.

8. En la sección Definir método de conectividad, haz clic en CONTINUAR. La sección Probar perfil de conexión de la página Crear perfil de PostgreSQL está activa.

9. Haz clic en EJECUTAR PRUEBA para verificar que la base de datos de PostgreSQL de origen y Datastream puedan comunicarse entre sí.

10. Verifica que aparezca el estado “Prueba correcta”.

11. Si la prueba falla, puedes abordar el problema en la parte adecuada del flujo y, luego, volver a realizar la prueba. Consulta la página Diagnostica problemas para conocer los pasos de solución de problemas.

12. Haz clic en CREAR.

Crea un perfil de conexión de destino para BigQuery

1. Ve a la página Perfiles de conexión de Datastream en la consola de Google Cloud .

   Ir a la página Perfiles de conexión

2. Haz clic en CREAR PERFIL.

3. En la página Crear un perfil de conexión, haz clic en el tipo de perfil BigQuery (porque debes crear un perfil de conexión de destino para BigQuery).

4. Proporciona la siguiente información en la página Create BigQuery profile:

   • Ingresa My Destination Connection Profile como el Nombre del perfil de conexión de tu servicio de BigQuery de destino.
   • Conserva el ID del perfil de conexión generado automáticamente.
   • Selecciona la región en la que se almacenará el perfil de conexión.

5. Haz clic en CREAR.

Después de crear un perfil de conexión de origen para la base de datos de PostgreSQL y un perfil de conexión de destino para BigQuery, puedes usarlos para crear una transmisión.

Crea una transmisión

En esta sección, crearás una transmisión para replicar los datos de una base de datos de PostgreSQL de origen a BigQuery.

La creación de una transmisión incluye lo siguiente:

• Se definirá la configuración de la transmisión.
• Selecciona el perfil de conexión que creaste para tu base de datos de origen (el perfil de conexión de origen). Para esta guía de inicio rápido, este es Mi perfil de conexión de origen.
• Configurar información sobre la base de datos de origen de la transmisión especificando las propiedades de replicación, y las tablas y los esquemas en la base de datos de origen que Datastream:
  • Puede transferir al destino.
  • No puede transferir al destino.
• Determinar si Datastream reabastecerá los datos históricos, así como la transmisión de los cambios continuos al destino o la transmisión solo de los cambios a los datos.
• Selecciona el perfil de conexión que creaste para BigQuery (el perfil de conexión de destino). Para esta guía de inicio rápido, es Mi perfil de conexión de destino.
• Configurar información sobre el destino de la transmisión, como los conjuntos de datos de BigQuery
• Se está validando la transmisión.

Datastream incluye un asistente para ayudarte a crear un flujo. Este asistente consta de seis paneles: Comenzar, Definir y probar la fuente, Configurar la fuente, Definir el destino, Configurar el destino y Revisar y crear. En las distintas secciones de esta página, se proporciona información para completar cada panel.

Define la configuración de la transmisión

1. Ve a la página Transmisiones para Datastream en la consola de Google Cloud .

   Ir a la página Flujos

2. Haz clic en CREAR TRANSMISIÓN.

3. Proporciona la siguiente información en el panel Define stream details de la página Create stream:

   • Ingresa My Stream como el nombre de la transmisión.
   • Conserva el ID de transmisión generado automáticamente.
   • En el menú Región, selecciona la región en la que creaste el perfil de conexión de origen.
   • En el menú Tipo de fuente, selecciona el tipo de perfil PostgreSQL.
   • En el menú Tipo de destino, selecciona el tipo de perfil BigQuery.

4. Revisa los requisitos previos necesarios que se generan automáticamente para reflejar cómo se debe preparar tu entorno para una transmisión. Estos requisitos previos incluyen cómo configurar la base de datos de origen y cómo configurar BigQuery.

   Para obtener más información sobre estos requisitos previos, consulta Configura tu base de datos de PostgreSQL de origen.

5. Haz clic en CONTINUAR. Aparecerá el panel Definir perfil de conexión de PostgreSQL de la página Crear transmisión.

Especifica la información sobre el perfil de conexión de origen

1. En el menú Perfil de conexión de origen, selecciona tu perfil de conexión de origen para la base de datos de PostgreSQL.

2. Haz clic en EJECUTAR PRUEBA para verificar que la base de datos de origen y Datastream puedan comunicarse entre sí.

   Si la prueba falla, aparecerá el problema asociado con el perfil de conexión. Consulta la página Diagnostica problemas para conocer los pasos de solución de problemas. Realiza los cambios necesarios para corregir el problema y, luego, vuelve a probar.

3. Haga clic en CONTINUE. Aparecerá el panel Configurar origen de transmisión de la página Crear transmisión.

Configura la información sobre la base de datos de origen de la transmisión

1. Proporciona los nombres de Replication slot y Publication para tu base de datos de origen. La ranura de replicación y la publicación se crearon cuando configuraste tu base de datos de PostgreSQL.

2. Usa el menú Objetos que se incluyen para especificar las tablas y los esquemas de la base de datos de origen que Datastream replicará en BigQuery. El menú solo se carga si tu base de datos tiene hasta 5,000 objetos.

   Para esta guía de inicio rápido, quieres que Datastream transfiera todas las tablas y los esquemas. Por lo tanto, selecciona Todas las tablas de todos los esquemas en el menú.

   En este instructivo, asegúrate de que el panel Seleccionar objetos que se excluyen esté configurado como “Ninguno”. No quieres restringir que Datastream transfiera tablas y esquemas de la base de datos de origen a BigQuery.

   Además, asegúrate de que el panel Elige el modo de reabastecimiento para los datos históricos esté configurado como "Automático". Datastream transmitirá todos los datos existentes, además de los cambios en los datos, del origen al destino.

3. Haz clic en CONTINUAR. Aparecerá el panel Define BigQuery connection profile de la página Create stream.

Selecciona un perfil de conexión de destino

1. En el menú Destination connection profile, selecciona tu perfil de conexión de destino para BigQuery.

2. Haz clic en CONTINUAR. Aparecerá el panel Configurar destino del flujo de la página Crear flujo.

Configura la información sobre el destino de la transmisión

1. Elige la opción Dataset for each schema para que Datastream cree automáticamente un conjunto de datos en BigQuery para cada esquema de la base de datos de origen.

2. Selecciona el tipo de ubicación en el que se crearán los conjuntos de datos en BigQuery. Si bien esta ubicación no tiene que ser la misma que la región en la que se crea el flujo de Datastream, recomendamos mantener todos los recursos, así como los conjuntos de datos, en la misma región para optimizar el costo y el rendimiento.

3. Establece el prefijo en quickstart-. Datastream agregará esta cadena al comienzo de cada conjunto de datos que cree en BigQuery.

4. Deja el valor en Modo de escritura de transmisión establecido en Combinar. De esta manera, las tablas de BigQuery permanecen sincronizadas con la fuente.

5. Deja el valor en la lista desplegable Specify the limit of data staleness establecido en 15 minutos. BigQuery usa este valor para decidir qué tan desactualizados pueden estar tus datos cuando se consultan.

6. Haz clic en CONTINUAR. Aparecerá el panel Revisa los detalles de la transmisión y créala de la página Crear transmisión.

Crea la transmisión

1. Verifica los detalles sobre la transmisión y los perfiles de conexión de origen y de destino que usará la transmisión para transferir datos de una base de datos de PostgreSQL de origen a BigQuery.

2. Haz clic en EJECUTAR VALIDACIÓN para validar la transmisión. Cuando se valida una transmisión, Datastream verifica que la fuente esté configurada correctamente, valida que la transmisión pueda conectarse tanto a la fuente como al destino y verifica la configuración de extremo a extremo de la transmisión.

   Si se aprueba una verificación de validación, aparecerá un ícono de marca de verificación a la izquierda de la verificación de validación.

   Si no se aprueba una verificación de validación, aparecerá un ícono de exclamación a la izquierda de la verificación y un botón VER DETALLES DEL ERROR debajo de la verificación. Haz clic en el botón y aparecerá un diálogo que explica por qué no se aprobó la verificación, junto con información sobre qué hacer para rectificar el problema. Después de realizar las correcciones adecuadas, haz clic en REVALIDAR.

   Para obtener más información sobre cómo solucionar problemas con las verificaciones de validación que no se aprueban, consulta Diagnostica problemas.

3. Después de pasar todas las verificaciones de validación, haz clic en CREAR.

4. En el diálogo ¿Crear transmisión?, haz clic en CREAR.

Inicia la transmisión

En la sección anterior de la guía de inicio rápido, creaste una transmisión, pero no la iniciaste. Puedes hacerlo ahora.

Para este inicio rápido, crearás y comenzarás una transmisión por separado en caso de que el proceso de creación de la transmisión genere una mayor carga en tu base de datos de origen. Para posponer esa carga, crea la transmisión sin iniciarla y, luego, inicia la transmisión cuando se pueda incurrir en la carga.

Al iniciar la transmisión, Datastream puede transferir datos, esquemas y tablas desde la base de datos de origen al destino.

1. Ve a la página Transmisiones para Datastream en la consola de Google Cloud .

   Ir a la página Flujos

2. Selecciona la casilla de verificación a la izquierda de la transmisión que deseas iniciar. Para esta guía de inicio rápido, es Mi transmisión.

3. Haz clic en INICIAR.

4. En el cuadro de diálogo, haz clic en INICIAR. El estado de la transmisión cambia de Not started a Starting y, luego, a Running.

   Los recursos en segundo plano tardan alrededor de 30 segundos en iniciarse antes de que el estado de la transmisión cambie a Running.

   Después de iniciar una transmisión, puedes verificar que Datastream haya transferido datos de la base de datos de origen al destino.

Verifica la transmisión

En esta sección, confirmarás que Datastream transfiera los datos de todas las tablas de tu base de datos de PostgreSQL de origen a BigQuery.

1. Ve a la página Transmisiones para Datastream en la consola de Google Cloud .

   Ir a la página Flujos

2. Haz clic en la transmisión que creaste. Para esta guía de inicio rápido, es Mi transmisión.

3. En la página Detalles de la transmisión, haz clic en el vínculo que aparece debajo del campo Ruta de escritura de destino. BigQuery Studio se abre en una pestaña separada.

4. Verifica que veas conjuntos de datos y tablas que representen esquemas y tablas de tu base de datos PostgreSQL de origen.

5. Haga clic en una de las tablas para obtener una vista previa de los datos.

Limpia

Sigue estos pasos para evitar que se apliquen cargos a tu cuenta de Google Cloud por los recursos que usaste en esta página.

1. Usa la Google Cloud consola para borrar tu proyecto, la transmisión de Datastream y los perfiles de conexión, y los conjuntos de datos de BigQuery.

Si limpias los recursos que creaste en Datastream, no consumirán tu cuota y no se te cobrará por ellos en el futuro. En las secciones siguientes, se describe cómo borrar o desactivar estos recursos.

Borra tu proyecto

La manera más fácil de eliminar la facturación es borrar el proyecto que creaste para esta guía de inicio rápido.

Borrar un proyecto tiene las siguientes consecuencias:

• Se borra todo en el proyecto. Si usaste un proyecto existente para esta guía de inicio rápido, cuando lo borres, también borrarás cualquier otro trabajo que hayas realizado en el proyecto.
• Se pierden los ID personalizados de proyectos. Cuando creaste este proyecto, es posible que hayas creado un ID del proyecto personalizado que desees utilizar en el futuro. Para conservar las URLs que usan el ID del proyecto, como appspot.com, borra los recursos seleccionados dentro del proyecto en lugar de borrar todo el proyecto.

Si planeas explorar varios instructivos y guías de inicio rápido, la reutilización de proyectos puede ayudarte a evitar exceder los límites de cuota del proyecto.

1. En la consola de Cloud, ve a la página Administrar recursos.

   Ir a la página Administración de recursos

2. En la lista de proyectos, elige el proyecto que deseas borrar y haz clic en Borrar.

3. En el diálogo, escribe el ID del proyecto y, luego, haz clic en Cerrar para borrarlo.

Borra la transmisión

1. Ve a la página Transmisiones para Datastream en la consola de Google Cloud .

   Ir a la página Flujos

2. Haz clic en la transmisión que quieras borrar. Para esta guía de inicio rápido, es Mi transmisión.

3. Haz clic en PAUSAR.

4. En el cuadro de diálogo, haz clic en PAUSAR.

5. En el panel Estado de la transmisión de la página Detalles de la transmisión, verifica que el estado de la transmisión sea Paused.

   Nota: Pausa la transmisión antes de borrarla para asegurarte de que todos los datos "en tránsito" se transfieran correctamente de la base de datos de origen al destino.

6. Haz clic en BORRAR.

7. En el diálogo, ingresa Delete en el campo de texto y, luego, haz clic en BORRAR.

Borra los perfiles de conexión

1. Ve a la página Perfiles de conexión de Datastream en la consola de Google Cloud .

   Ir a la página Perfiles de conexión

2. Selecciona la casilla de verificación de cada perfil de conexión que desees borrar. Para esta guía de inicio rápido, selecciona las casillas de verificación de Mi perfil de conexión de origen y Mi perfil de conexión de destino.

3. Haz clic en BORRAR.

4. En el cuadro de diálogo, haz clic en BORRAR.

Borra tus conjuntos de datos de BigQuery

1. Ve a la página de BigQuery Studio en la consola de Google Cloud .

   Ir a BigQuery Studio

2. Expande el nodo del proyecto en el que creaste esta guía de inicio rápido.

3. En cada conjunto de datos que desees borrar, haz clic en el menú Ver acciones y, luego, en Borrar.

4. En el diálogo, ingresa delete en el campo de texto y, luego, haz clic en BORRAR.

¿Qué sigue?

• Obtén más información sobre Datastream.
• Prueba otras Google Cloud funciones. Revisa nuestras guías de inicio rápido.
• Obtén información para trabajar con tablas de captura de datos modificados en BigQuery.