Configurar un destino de BigQuery

En esta página se describe cómo configurar Datastream para que pueda escribir datos en conjuntos de datos de BigQuery.

Permisos obligatorios

Datastream usa la compatibilidad integrada de BigQuery con las actualizaciones de captura de datos de cambios (CDC). Datastream actualiza las tablas de BigQuery procesando y aplicando los cambios transmitidos mediante la API Storage Write de BigQuery.

Los permisos necesarios para usar la API e ingerir datos en BigQuery se conceden al rol Agente de servicio de Datastream.

Configurar BigQuery como destino

Para configurar Datastream para la transmisión a BigQuery, sigue estos pasos:

  1. Compruebe que la API de BigQuery esté habilitada en su Google Cloud proyecto.
  2. Si quieres usar la opción Un solo conjunto de datos para todos los esquemas, crea un conjunto de datos en BigQuery.
  3. Configure el conjunto de datos de destino de su flujo.
  4. Configura el modo de escritura.
  5. Especifica el límite máximo de antigüedad de los datos de tu flujo.

Configurar los conjuntos de datos de destino

Los conjuntos de datos son contenedores de nivel superior que se usan para organizar y controlar el acceso a tus tablas de BigQuery.

Cuando configura conjuntos de datos para el destino de BigQuery con Datastream, puede seleccionar una de las siguientes opciones:

  • Conjunto de datos de cada esquema: Datastream selecciona o crea automáticamente el conjunto de datos en la ubicación de BigQuery especificada, en función del nombre del esquema de la fuente. Por lo tanto, cada esquema de la fuente tiene un conjunto de datos correspondiente en BigQuery. Por ejemplo, si tiene una fuente MySQL con una base de datos mydb y una tabla employees en esa base de datos, Datastream creará el conjunto de datos mydb y la tabla employees en BigQuery.

    Si selecciona esta opción, Datastream creará conjuntos de datos en el proyecto que contenga el flujo. Aunque no es necesario que cree los conjuntos de datos en la misma región que su flujo, le recomendamos que mantenga todos los recursos del flujo, así como los conjuntos de datos, en la misma región para optimizar los costes y el rendimiento.

  • Un solo conjunto de datos para todos los esquemas: selecciona un conjunto de datos de BigQuery para el flujo. Datastream transmite todos los datos a este conjunto de datos. Datastream crea todas las tablas como <schema>_<table> en el conjunto de datos que selecciones.

    Por ejemplo, si tiene una fuente MySQL y esta fuente tiene una base de datos mydb y una tabla employees dentro de la base de datos, Datastream crea la tabla mydb_employees en el conjunto de datos que seleccione.

Configurar el modo de escritura

Hay dos modos que puedes usar para definir cómo quieres que se escriban los datos en BigQuery:

  • Combinar: es el modo de escritura predeterminado. Si se selecciona esta opción, BigQuery reflejará la forma en que se almacenan los datos en la base de datos de origen. Esto significa que Datastream escribe todos los cambios en tus datos en BigQuery, y BigQuery consolida los cambios con los datos existentes. De esta forma, se crean tablas finales que son réplicas de las tablas de origen. En el modo de combinación, no se conserva ningún registro histórico de los eventos de cambio. Por ejemplo, si insertas una fila y, a continuación, la actualizas, BigQuery solo conservará los datos actualizados. Si eliminas la fila de la tabla de origen, BigQuery dejará de registrarla.

  • Solo añadir: el modo de escritura de solo añadir te permite añadir datos a BigQuery como un flujo de cambios (eventos INSERT, UPDATE-INSERT, UPDATE-DELETE y DELETE). Usa este modo cuando necesites conservar el estado histórico de tus datos. Para entender mejor el modo de escritura de solo añadir, consulta los siguientes ejemplos:

    • Relleno inicial: después del relleno inicial, todos los eventos se escriben en BigQuery como eventos de tipo INSERT, con la misma marca de tiempo, el mismo identificador único universal (UUID) y el mismo número de secuencia de cambios.
    • Actualización de la clave principal: cuando cambia una clave principal, se escriben dos filas en BigQuery:
      • Una fila UPDATE-DELETE con la clave principal original
      • Una fila UPDATE-INSERT con la nueva clave principal
    • Actualización de filas: cuando actualizas una fila, se escribe una sola fila UPDATE-INSERT en BigQuery.
    • Eliminación de filas: cuando eliminas una fila, se escribe una sola fila DELETE en BigQuery.

Especificar el límite de obsolescencia de los datos

BigQuery aplica las modificaciones de la fuente en segundo plano de forma continua o en el tiempo de ejecución de la consulta, según el límite de antigüedad de los datos configurado. Cuando Datastream crea una tabla en BigQuery, la opción max_staleness de la tabla se define según el valor del límite de obsolescencia de los datos del flujo.

Para obtener más información sobre cómo usar tablas de BigQuery con la opción max_staleness, consulta Antigüedad de las tablas.