Google Cloud ofrece un ecosistema de análisis de transmisiones sólido para procesar flujos de datos continuos de diversas fuentes. BigQuery es una fuente de transferencia ideal para esquemas conocidos, con la API de escritura de almacenamiento y las consultas continuas de BigQuery que permiten la transferencia de datos directa, maximizan la frescura de los datos dentro del almacén y te permiten conectarte a otras fuentes. Bigtable, por otro lado, ofrece escalabilidad lineal global y sincronización de datos integrada, lo que lo hace ideal para esquemas flexibles y dinámicos que necesitan coherencia inmediata de lectura después de la escritura. Bigtable también proporciona un control de versiones basado en marcas de tiempo y políticas de retención de tiempo de actividad (TTL) automatizadas, lo que la convierte en una opción de almacenamiento y análisis ideal para eventos de transmisión. La cantidad de datos que necesitas para transmitir también es una consideración. BigQuery puede transmitir datos en GBps por segundo en las multirregiones de EE.UU. y la UE con cientos de MBps por segundo en otras regiones. Bigtable proporciona más flexibilidad para capturar datos de transmisión, con una escalabilidad lineal de 14,000 escrituras por segundo por nodo en cualquier región compatible con Bigtable. 

Con la combinación de BigQuery y Bigtable, no necesitas hacer intercambios, sino que puedes elegir la técnica de transferencia adecuada para el caso de uso.

En la mayoría de las bases de datos, debes elegir entre la recuperación rápida de filas o el procesamiento de estadísticas a gran escala. Bigtable y BigQuery combinan sus propósitos distintos para proporcionar una base de datos de estadísticas en tiempo real completa, independientemente del tipo de consulta. 

Bigtable se destaca como un motor de almacenamiento optimizado para la recuperación ultrarrápida de filas individuales o rangos de datos, lo que lo hace ideal para aplicaciones orientadas al usuario que necesitan una capacidad de respuesta en tiempo real, como gráficos dentro de una aplicación, búsquedas de perfiles, análisis de series temporales, métricas sobre datos de transmisión, como clics, o cualquier otra consulta que sea predecible y que deba entregarse a un volumen alto y con baja latencia. Bigtable se basa en un motor de estructura de registro (árbol LSM) que optimiza el rendimiento mediante una combinación de almacenamiento en memoria y almacenamiento de disco desacoplado, junto con bibliotecas cliente especializadas que ofrecen acceso síncrono y asíncrono. El esquema flexible de Bigtable y sus capacidades de autoadministración mejoran aún más su idoneidad para aplicaciones exigentes. En cambio, BigQuery sobresale en cargas de trabajo de análisis, ya que proporciona herramientas potentes para consultar y analizar conjuntos de datos grandes con agregaciones, integraciones en Vertex AI y transformaciones complejas.

Si eliges la combinación de Bigtable y BigQuery, no tendrás que elegir entre búsquedas de filas individuales y procesamiento analítico integral en conjuntos de datos masivos. La integración perfecta facilita el uso de cualquiera de los modelos de almacenamiento para potenciar tu aplicación en tiempo real. Bigtable se usa a menudo como una solución de almacenamiento en caché rentable para conjuntos de datos del tamaño de BigQuery. Por ejemplo, BigQuery se puede usar para crear embeddings por lotes y, luego, entregar esos embeddings en Bigtable para admitir aplicaciones de generación mejorada por recuperación (RAG).

Bigtable ofrece tipos de datos especializados que procesan previamente tus datos a medida que se escriben, lo que te brinda resultados y estadísticas instantáneos. Puedes calcular sumas, mínimos, máximos y recuentos aproximados de valores distintos a medida que se escriben los datos, con una replicación global integrada para obtener resultados coherentes en toda la aplicación. Estos tipos de datos también son completamente interoperables con los datos del almacén que se pueden cargar desde BigQuery.

La agregación de datos en tiempo real puede potenciar la creación de funciones de aprendizaje automático integrales, lo que genera predicciones precisas que pueden atraer a los usuarios en el momento.

Bigtable está integrado en el ecosistema analítico de BigQuery, lo que permite acceder fácilmente a tus datos en tiempo real para realizar análisis de transmisiones adicionales. Puedes consultar y unir datos de Bigtable con otros conjuntos de datos en BigQuery con tablas externas, usar análisis de Spark de código abierto o canalizaciones de Apache Beam directamente en los datos de Bigtable y devolver los resultados. Este acceso a los análisis también puede usar Data Boost de Bigtable para obtener análisis de alto rendimiento sin afectar el rendimiento de la aplicación en tiempo real. Además, con la captura de datos modificados (CDC) y Dataplex, exportar y descubrir tus datos de Bigtable es sencillo y no requiere tareas de sincronización de datos complejas o personalizadas.