Google Cloud bietet ein robustes Streamanalyse-Ökosystem zur Verarbeitung kontinuierlicher Datenströme aus verschiedenen Quellen. BigQuery ist eine ideale Quelle für die Aufnahme von Daten mit bekannten Schemas. Die Storage Write API und kontinuierliche Abfragen ermöglichen die direkte Datenaufnahme, wodurch die Datenaktualität im Data Warehouse maximiert und eine Verbindung zu anderen Quellen hergestellt werden kann. Bigtable bietet hingegen eine globale lineare Skalierbarkeit und integrierte Datensynchronisierung und eignet sich hervorragend für flexible und dynamische Schemata, die eine sofortige Konsistenz von Lese- und Schreibvorgängen erfordern. Bigtable bietet außerdem standardmäßig eine auf Zeitstempeln basierende Versionsverwaltung und automatisierte Aufbewahrungsrichtlinien für die Gültigkeitsdauer (TTL). Damit ist es die ideale Wahl für die Speicherung und Analyse von Streaming-Ereignissen. Auch die Menge der Daten, die Sie streamen müssen, ist ein wichtiger Faktor. BigQuery kann Daten in einzelnen Gbit/s in den Multiregionen USA und EU und in Hunderten von Mbit/s in anderen Regionen streamen. Bigtable bietet mehr Flexibilität bei der Erfassung von Streamingdaten mit einer linearen Skalierbarkeit von 14.000 Schreibvorgängen pro Sekunde pro Knoten in allen von Bigtable unterstützten Regionen. 

Bei der Kombination aus BigQuery und Bigtable müssen Sie keine Kompromisse eingehen, sondern können das jeweils richtige Aufnahmeverfahren für den Anwendungsfall auswählen.

Bei den meisten Datenbanken müssen Sie sich zwischen schnellem Zeilenabruf und groß angelegter Analysenverarbeitung entscheiden. Bigtable und BigQuery werden kombiniert, um eine vollständige Echtzeit-Analysedatenbank, unabhängig vom Abfragetyp, bereitzustellen. 

Bigtable ist ein Speichermodul, das für den blitzschnellen Abruf einzelner Zeilen oder Datenbereiche optimiert ist. Damit eignet es sich ideal für nutzerorientierte Anwendungen, die in Echtzeit reagieren müssen, wie z. B. Diagramme in einer Anwendung, Profilabfragen, Zeitreihenanalysen, Messwerte zu Streamingdaten wie Klicks oder andere vorhersehbare Abfragen, die in großem Umfang und mit geringer Latenz verarbeitet werden müssen. Bigtable basiert auf einer protokollstrukturierten Engine (LSM-Baum), die für eine hohe Leistung optimiert ist. Sie verwendet eine Kombination aus In-Memory- und deaggregiertem Plattenspeicher sowie spezialisierten Clientbibliotheken, die sowohl einen synchronen als auch asynchronen Zugriff bieten. Das flexible Schema und die selbstverwaltenden Funktionen von Bigtable verbessern zusätzlich dessen Eignung für anspruchsvolle Anwendungen geeignet. BigQuery hingegen eignet sich hervorragend für Analyse-Workloads und bietet leistungsstarke Tools zum Abfragen und Analysieren großer Datasets mit komplexen Aggregationen, Integrationen mit Vertex AI und Transformationen.

Wenn Sie Bigtable und BigQuery kombinieren, müssen Sie sich nicht zwischen einzelnen Zeilenabfragen und umfassender Analyseverarbeitung in großen Datasets entscheiden. Dank der nahtlosen Integration können Sie beide Speichermodelle problemlos für Ihre Echtzeitanwendung nutzen. Bigtable wird häufig als kostengünstige Caching-Lösung für Datasets in BigQuery-Größe verwendet. BigQuery kann beispielsweise zum Generieren von Einbettungen in einen Batch und anschließendem Bereitstellen dieser Einbettungen in Bigtable verwendet werden, um Anwendungen mit Retrieval Augmented Generation (RAG) zu unterstützen.

Bigtable bietet spezielle Datentypen, die Ihre Daten beim Schreiben vorverarbeiten, sodass Sie sofort Ergebnisse und Statistiken erhalten. Sie können Summen, Minima, Maxima und ungefähre Anzahl eindeutiger Werte berechnen, während Daten geschrieben werden. Die integrierte globale Replikation sorgt für konsistente Ergebnisse in Ihrer gesamten Anwendung. Diese Datentypen sind auch vollständig mit Warehouse-Daten interoperabel, die aus BigQuery geladen werden können.

Die Datenaggregation in Echtzeit kann die Entwicklung umfassender Funktionen für Machine Learning unterstützen, die zu präzisen Vorhersagen und somit zum Ansprechen von Nutzern im entscheidenden Moment führen können.

Bigtable ist in das BigQuery-Analyse-Ökosystem eingebunden, sodass Sie in Echtzeit auf Ihre Daten zugreifen und zusätzliche Streamanalysen durchführen können. Sie können Bigtable-Daten mit anderen Datasets in BigQuery mithilfe externer Tabellen abfragen und verknüpfen, Open-Source-Spark-Analysen oder Apache Beam-Pipelines direkt für Bigtable-Daten verwenden und Ergebnisse zurückschreiben. Für diesen Analysezugriff kann auch Data Boost von Bigtable verwendet werden, um leistungsstarke Analysen zu erhalten, ohne die Leistung Ihrer Echtzeitanwendung zu beeinträchtigen. Mit Change Data Capture (CDC) und Knowledge Catalog (ehemals Dataplex) können Sie Ihre Bigtable-Daten ganz einfach exportieren und ermitteln. Dabei sind keine komplexen oder benutzerdefinierten Aufgaben zur Datensynchronisierung erforderlich.