Google Cloud offre un écosystème d'analyse de flux robuste pour traiter des flux de données continus provenant de différentes sources. BigQuery est une source d'ingestion idéale pour les schémas connus. L'API d'écriture de stockage de BigQuery et les requêtes continues permettent d'ingérer directement des données, de maximiser la fraîcheur des données dans l'entrepôt et de se connecter à d'autres sources. Bigtable, en revanche, offre une évolutivité linéaire globale et une synchronisation des données intégrée, et excelle dans les schémas flexibles et dynamiques qui nécessitent une cohérence immédiate de la lecture après l'écriture. Bigtable offre également une fonctionnalité de gestion des versions basée sur l'horodatage et des règles de conservation automatiques de la durée de vie (TTL) prêtes à l'emploi, ce qui en fait une solution de stockage et d'analyse idéale pour les événements en flux continu. La quantité de données dont vous avez besoin pour le streaming est également un facteur à prendre en compte. BigQuery peut diffuser des données à un débit de plusieurs centaines de mégabits par seconde dans les autres régions, et à un débit de plusieurs gigaoctets par seconde dans les zones multirégionales des États-Unis et de l'Union européenne. Bigtable offre plus de flexibilité pour capturer des données en flux continu, avec une évolutivité linéaire de 14 000 écritures par seconde et par nœud dans n'importe quelle région compatible avec Bigtable.

En combinant BigQuery et Bigtable, vous n'avez pas à faire de compromis, mais vous pouvez choisir la technique d'ingestion adaptée à votre cas d'utilisation.

Avec la plupart des bases de données, vous devez choisir entre une récupération rapide des lignes ou un traitement analytique à grande échelle. Bigtable et BigQuery combinent leurs objectifs distincts pour fournir une base de données d'analyse en temps réel complète, quel que soit le type de requête.

Bigtable est un moteur de stockage optimisé pour la récupération ultrarapide de lignes ou de plages de données. Il est donc idéal pour les applications destinées aux utilisateurs qui nécessitent une réactivité en temps réel, comme les graphiques dans une application, les recherches de profil, l'analyse de séries temporelles, les métriques sur les données en flux continu telles que les clics, ou toute autre requête prévisible qui doit être traitée à un volume élevé et avec une faible latence.Bigtable est basé sur un moteur structuré en journaux (arbre LSM) qui optimise les performances en combinant le stockage en mémoire et le stockage sur disque décomposé, ainsi que des bibliothèques clientes spécialisées qui offrent un accès à la fois synchrone et asynchrone. Le schéma flexible de Bigtable et ses capacités d'autogestion renforcent encore son aptitude à répondre aux besoins des applications exigeantes. En revanche, BigQuery excelle dans les charges de travail d'analyse, en fournissant des outils performants pour interroger et analyser de grands ensembles de données avec des intégrations complexes, des agrégations et des transformations avec Vertex AI.

En combinant Bigtable et BigQuery, vous n'avez plus à choisir entre les recherches de lignes individuelles et le traitement analytique complet sur des ensembles de données massifs. Grâce à l'intégration fluide, vous pouvez facilement utiliser l'un ou l'autre de ces modèles de stockage pour alimenter votre application en temps réel. Bigtable est souvent utilisé comme solution de mise en cache économique pour les ensembles de données de la taille de BigQuery. Par exemple, BigQuery peut être utilisé pour générer des représentations vectorielles continues par lot, puis pour les diffuser dans Bigtable afin de prendre en charge les applications de génération assistée par récupération (RAG).

Bigtable propose des types de données spécialisés qui prétraitent vos données au fur et à mesure de leur écriture, pour vous fournir des résultats et des insights instantanés. Vous pouvez calculer des sommes, des valeurs minimales, maximales et des approximations de nombres distincts à mesure que les données sont écrites, avec une réplication globale intégrée pour des résultats cohérents dans l'ensemble de votre application. Ces types de données sont également entièrement interopérables avec les données d'entrepôt qui peuvent être chargées depuis BigQuery.

L'agrégation de données en temps réel peut permettre de créer des fonctionnalités de machine learning complètes, qui génèrent des prédictions précises pour engager les utilisateurs sur le moment.

Bigtable est intégré à l'écosystème d'analyse de BigQuery, ce qui rend vos données en temps réel facilement accessibles pour une analyse de flux supplémentaire. Vous pouvez interroger et joindre des données Bigtable à d'autres ensembles de données dans BigQuery à l'aide de tables externes, utiliser des analyses Spark Open Source ou des pipelines Apache Beam directement sur les données Bigtable, et réécrire les résultats. Cet accès aux données analytiques peut également utiliser Data Boost de Bigtable pour obtenir des analyses hautes performances sans affecter les performances de votre application en temps réel. De plus, avec la capture des données modifiées (CDC) et Dataplex, l'exportation et la découverte de vos données Bigtable sont simples et ne nécessitent pas de tâches de synchronisation de données complexes ou personnalisées.