Google Cloud bietet ein robustes Streamanalyse-Ökosystem zur Verarbeitung kontinuierlicher Datenströme aus verschiedenen Quellen. BigQuery ist eine ideale Aufnahmequelle für bekannte Schemas. Die Storage Write API und die kontinuierlichen Abfragen von BigQuery ermöglichen die direkte Datenaufnahme, maximieren die Datenaktualität im Warehouse und ermöglichen die Verbindung mit anderen Quellen. Bigtable bietet hingegen eine globale lineare Skalierbarkeit und integrierte Datensynchronisierung und eignet sich hervorragend für flexible und dynamische Schemata, die eine sofortige Konsistenz von Lese- und Schreibvorgängen erfordern. Bigtable bietet außerdem standardmäßig eine auf Zeitstempeln basierende Versionsverwaltung und automatisierte Aufbewahrungsrichtlinien für die Gültigkeitsdauer (TTL). Damit ist es die ideale Wahl für die Speicherung und Analyse von Streaming-Ereignissen. Auch die Menge der Daten, die Sie streamen möchten, ist ein wichtiger Faktor. BigQuery kann Daten in einzelnen Gbit/s in den Multiregionen USA und EU und in Hunderten von Mbit/s in anderen Regionen streamen. Bigtable bietet mehr Flexibilität bei der Erfassung von Streamingdaten mit einer linearen Skalierbarkeit von 14.000 Schreibvorgängen pro Sekunde pro Knoten in allen von Bigtable unterstützten Regionen. 

Bei der Kombination aus BigQuery und Bigtable müssen Sie keine Kompromisse eingehen, sondern können das jeweils richtige Aufnahmeverfahren für den Anwendungsfall auswählen.

Bei den meisten Datenbanken müssen Sie sich zwischen schnellem Zeilenabruf und umfangreicher Analyseverarbeitung entscheiden. Bigtable und BigQuery werden kombiniert, um eine vollständige Echtzeit-Analysedatenbank, unabhängig vom Abfragetyp, bereitzustellen. 

Bigtable ist eine Speicher-Engine, die für das blitzschnelle Abrufen einzelner Zeilen oder Datenbereiche optimiert ist. Damit eignet sie sich ideal für nutzerorientierte Anwendungen, die eine Echtzeit-Reaktionsfähigkeit erfordern, wie z. B. Diagramme in einer Anwendung, Profilabfragen, Zeitreihenanalysen, Messwerte zu Streamingdaten wie Klicks oder andere Abfragen, die vorhersehbar sind und in großem Umfang und mit niedriger Latenz bereitgestellt werden müssen. Bigtable basiert auf einer protokollstrukturierten Engine (LSM-Baum), die für eine hohe Leistung optimiert ist. Sie verwendet eine Kombination aus In-Memory- und deaggregiertem Plattenspeicher sowie spezialisierten Clientbibliotheken, die sowohl einen synchronen als auch asynchronen Zugriff bieten. Das flexible Schema und die selbstverwaltenden Funktionen von Bigtable verbessern zusätzlich dessen Eignung für anspruchsvolle Anwendungen geeignet. BigQuery eignet sich dagegen hervorragend für Analyse-Arbeitslasten. Es bietet leistungsstarke Tools zum Abfragen und Analysieren großer Datasets mit komplexen Aggregationen, Integrationen mit Vertex AI und Transformationen.

Wenn Sie Bigtable und BigQuery kombinieren, müssen Sie sich nicht zwischen einzelnen Zeilenabfragen und umfassender Analyseverarbeitung in großen Datasets entscheiden. Dank der nahtlosen Integration können Sie für Ihre Echtzeitanwendung ganz einfach eines der beiden Speichermodelle verwenden. Bigtable wird häufig als kostengünstige Caching-Lösung für Datasets in BigQuery-Größe verwendet. BigQuery kann beispielsweise zum Generieren von Einbettungen in einen Batch und anschließendem Bereitstellen dieser Einbettungen in Bigtable verwendet werden, um Anwendungen mit Retrieval Augmented Generation (RAG) zu unterstützen.

Bigtable bietet spezielle Datentypen, die Ihre Daten bei der Eingabe vorverarbeiten und Ihnen sofort Ergebnisse und Statistiken liefern. Sie können Summen, Mindest- und Höchstwerte sowie ungefähre unterschiedliche Zählungen berechnen, während Daten geschrieben werden. Die integrierte globale Replikation sorgt für konsistente Ergebnisse in Ihrer gesamten Anwendung. Diese Datentypen sind auch vollständig interoperabel mit Warehouse-Daten, die aus BigQuery geladen werden können.

Die Datenaggregation in Echtzeit kann die Entwicklung umfassender Funktionen für Machine Learning unterstützen, die zu präzisen Vorhersagen und somit zum Ansprechen von Nutzern im entscheidenden Moment führen können.

Bigtable ist in die BigQuery-Analyseumgebung eingebunden, sodass Ihre Echtzeitdaten für zusätzliche Streamanalysen leicht zugänglich sind. Sie können Bigtable-Daten mit anderen Datasets in BigQuery mithilfe externer Tabellen abfragen und verknüpfen, Open-Source-Spark-Analysen oder Apache Beam-Pipelines direkt für Bigtable-Daten verwenden und Ergebnisse zurückschreiben. Dieser Analysezugriff kann auch Data Boost von Bigtable nutzen, um Analysen mit hoher Leistung zu erhalten, ohne die Leistung Ihrer Echtzeitanwendung zu beeinträchtigen. Mit Change Data Capture (CDC) und Dataplex können Sie Ihre Bigtable-Daten ganz einfach exportieren und ermitteln. Dabei sind keine komplexen oder benutzerdefinierten Aufgaben zur Datensynchronisierung erforderlich.