Mit Bigtable und BigQuery eine Echtzeit-Analysedatenbank erstellen

Bigtable und BigQuery bilden zusammen eine leistungsstarke und skalierbare Datenbank für Echtzeitanalysen. Bieten Sie Ihren Kunden schnellere Daten und KI-Statistiken, indem Sie auf einer integrierten Plattform aufbauen, die den Entwicklungsprozess optimiert, Echtzeitanalysen für eine Vielzahl von Möglichkeiten zugänglich macht und Ihnen hilft, KI in Ihre operativen Workflows einzubinden.

bigtable real time hero2

Was ist eine Datenbank für Echtzeit-Analysen?

Eine Datenbank mit Echtzeitberichten liefert sofortige Informationen und ermöglicht ein sofortiges Handeln, da die Daten verarbeitet werden, sobald sie erstellt werden. Diese Art von Datenbank kann Unternehmenswissen mit operativen Workflows kombinieren und Funktionen bereitstellen, die zeitkritisch sind oder KI in den täglichen Geschäftsbetrieb einbinden müssen.

Echtzeitanalysen werden in Anwendungen wie personalisierten Empfehlungen, Reaktionen von Smart-Home-Geräten, vorausschauender Instandhaltung, Data Mesh, Prozessautomatisierung, Cybersicherheit und Betrugsprävention eingesetzt. Eine Datenbank für Echtzeitberichte ist oft unerlässlich für generative KI-Workflows, die auf den Zugriff auf aktuelle Informationen angewiesen sind. 

In der Vergangenheit war die Entwicklung solcher Anwendungen komplex und ressourcenintensiv. Dank der neuen Funktionen von Bigtable und BigQuery ist der Prozess jetzt jedoch einfacher.

Vorteile

Nahtlose Integration

Bigtable und BigQuery kombinieren Echtzeit-Einblicke mit Verlaufsdaten, ohne dass ETL-Jobs selbst verwaltet werden müssen. Ein einheitlicher SQL-Dialekt zwischen beiden ermöglicht außerdem eine einheitliche Entwicklungsumgebung.

Integrierte Echtzeitfunktionen

Spezielle Echtzeitfunktionen, die so konzipiert sind, dass sie zusammen eine umfassende Datenbank für Echtzeitberichte bieten – selbst bei Terabyte- oder Petabyte-Datenmengen und sehr vielen Abfragen pro Sekunde (QPS).

Weniger Aufwand, mehr Leistung

Vollständig verwaltete Echtzeitberichtslösung für Unternehmen, die den operativen Aufwand minimiert und mit branchenführenden SLAs Zuverlässigkeit und Leistung bietet, auf die Sie sich verlassen können.

Wichtige Features

Auf Streamingdaten reagieren

Google Cloud bietet ein robustes Streamanalyse-Ökosystem zur Verarbeitung kontinuierlicher Datenströme aus verschiedenen Quellen. BigQuery ist eine ideale Aufnahmequelle für bekannte Schemas. Die Storage Write API und die kontinuierlichen Abfragen von BigQuery ermöglichen die direkte Datenaufnahme, maximieren die Datenaktualität im Warehouse und ermöglichen die Verbindung mit anderen Quellen. Bigtable bietet hingegen eine globale lineare Skalierbarkeit und integrierte Datensynchronisierung und eignet sich hervorragend für flexible und dynamische Schemata, die eine sofortige Konsistenz von Lese- und Schreibvorgängen erfordern. Bigtable bietet außerdem standardmäßig eine auf Zeitstempeln basierende Versionsverwaltung und automatisierte Aufbewahrungsrichtlinien für die Gültigkeitsdauer (TTL). Damit ist es die ideale Wahl für die Speicherung und Analyse von Streaming-Ereignissen. Auch die Menge der Daten, die Sie streamen möchten, ist ein wichtiger Faktor. BigQuery kann Daten in einzelnen Gbit/s in den Multiregionen USA und EU und in Hunderten von Mbit/s in anderen Regionen streamen. Bigtable bietet mehr Flexibilität bei der Erfassung von Streamingdaten mit einer linearen Skalierbarkeit von 14.000 Schreibvorgängen pro Sekunde pro Knoten in allen von Bigtable unterstützten Regionen. 

Bei der Kombination aus BigQuery und Bigtable müssen Sie keine Kompromisse eingehen, sondern können das jeweils richtige Aufnahmeverfahren für den Anwendungsfall auswählen.

Streamingpipeline

Skalierbarer und flexibler Speicher mit Analysen und schneller Abfrage

Bei den meisten Datenbanken müssen Sie sich zwischen schnellem Zeilenabruf und umfangreicher Analyseverarbeitung entscheiden. Bigtable und BigQuery werden kombiniert, um eine vollständige Echtzeit-Analysedatenbank, unabhängig vom Abfragetyp, bereitzustellen. 

Bigtable ist eine Speicher-Engine, die für das blitzschnelle Abrufen einzelner Zeilen oder Datenbereiche optimiert ist. Damit eignet sie sich ideal für nutzerorientierte Anwendungen, die eine Echtzeit-Reaktionsfähigkeit erfordern, wie z. B. Diagramme in einer Anwendung, Profilabfragen, Zeitreihenanalysen, Messwerte zu Streamingdaten wie Klicks oder andere Abfragen, die vorhersehbar sind und in großem Umfang und mit niedriger Latenz bereitgestellt werden müssen. Bigtable basiert auf einer protokollstrukturierten Engine (LSM-Baum), die für eine hohe Leistung optimiert ist. Sie verwendet eine Kombination aus In-Memory- und deaggregiertem Plattenspeicher sowie spezialisierten Clientbibliotheken, die sowohl einen synchronen als auch asynchronen Zugriff bieten. Das flexible Schema und die selbstverwaltenden Funktionen von Bigtable verbessern zusätzlich dessen Eignung für anspruchsvolle Anwendungen geeignet. BigQuery eignet sich dagegen hervorragend für Analyse-Arbeitslasten. Es bietet leistungsstarke Tools zum Abfragen und Analysieren großer Datasets mit komplexen Aggregationen, Integrationen mit Vertex AI und Transformationen.

Wenn Sie Bigtable und BigQuery kombinieren, müssen Sie sich nicht zwischen einzelnen Zeilenabfragen und umfassender Analyseverarbeitung in großen Datasets entscheiden. Dank der nahtlosen Integration können Sie für Ihre Echtzeitanwendung ganz einfach eines der beiden Speichermodelle verwenden. Bigtable wird häufig als kostengünstige Caching-Lösung für Datasets in BigQuery-Größe verwendet. BigQuery kann beispielsweise zum Generieren von Einbettungen in einen Batch und anschließendem Bereitstellen dieser Einbettungen in Bigtable verwendet werden, um Anwendungen mit Retrieval Augmented Generation (RAG) zu unterstützen.

BQ-Architektur

Sofort verfügbare Messwerte

Bigtable bietet spezielle Datentypen, die Ihre Daten bei der Eingabe vorverarbeiten und Ihnen sofort Ergebnisse und Statistiken liefern. Sie können Summen, Mindest- und Höchstwerte sowie ungefähre unterschiedliche Zählungen berechnen, während Daten geschrieben werden. Die integrierte globale Replikation sorgt für konsistente Ergebnisse in Ihrer gesamten Anwendung. Diese Datentypen sind auch vollständig interoperabel mit Warehouse-Daten, die aus BigQuery geladen werden können.

Die Datenaggregation in Echtzeit kann die Entwicklung umfassender Funktionen für Machine Learning unterstützen, die zu präzisen Vorhersagen und somit zum Ansprechen von Nutzern im entscheidenden Moment führen können.

Google Automotive Dashboard

Analysen auf Basis kontinuierlicher Daten

Bigtable ist in die BigQuery-Analyseumgebung eingebunden, sodass Ihre Echtzeitdaten für zusätzliche Streamanalysen leicht zugänglich sind. Sie können Bigtable-Daten mit anderen Datasets in BigQuery mithilfe externer Tabellen abfragen und verknüpfen, Open-Source-Spark-Analysen oder Apache Beam-Pipelines direkt für Bigtable-Daten verwenden und Ergebnisse zurückschreiben. Dieser Analysezugriff kann auch Data Boost von Bigtable nutzen, um Analysen mit hoher Leistung zu erhalten, ohne die Leistung Ihrer Echtzeitanwendung zu beeinträchtigen. Mit Change Data Capture (CDC) und Dataplex können Sie Ihre Bigtable-Daten ganz einfach exportieren und ermitteln. Dabei sind keine komplexen oder benutzerdefinierten Aufgaben zur Datensynchronisierung erforderlich.


Bigtable-Analysen

Echtzeitanalyse-Portfolio von Google Cloud

Weitere Informationen zu Echtzeitanalysen in Google Cloud

Google Cloud