Nahtlose Replikation von relationalen Datenbanken direkt in BigQuery, wodurch Informationen nahezu in Echtzeit über operative Daten gewonnen werden.
Replikation mit niedriger Latenz, um echtzeitnahe Informationen in BigQuery zu ermöglichen
Zugriff auf Streamingdaten aus MySQL-, PostgreSQL-, AlloyDB- und Oracle-Datenbanken
Serverlose Plattform, die automatisch skaliert wird, ohne dass Ressourcen bereitgestellt oder verwaltet werden müssen
Einfache Einrichtung von ELT-Pipelines (Extrahieren, Laden, Transformieren) mit integrierter sicherer Konnektivität
Von Tausenden Kunden verwendet, um Betriebsdaten in BigQuery zu replizieren
Vorteile
Replizieren Sie Daten aus MySQL-, PostgreSQL-, AlloyDB- und Oracle-Datenbanken direkt in BigQuery mit niedriger Latenz und ohne Auswirkungen auf die Quellleistung.
Beseitigen Sie den operativen Aufwand mit einem serverlosen Ansatz, der automatisch skaliert wird, ohne dass Sie eine Infrastruktur verwalten müssen.
Mit einer vereinfachten Einrichtung können Sie mit wenigen Schritten Daten aus Ihren operativen Datenbanken in BigQuery replizieren.
Wichtige Features
Datastream nutzt die Change Data Capture (CDC)-Funktion von BigQuery und die Storage Write API, um Aktualisierungen nahezu in Echtzeit direkt aus Quellsystemen zu replizieren. Sie benötigen keine Replikationslösungen mehr, die wertvolle Ressourcen für komplexe Datenpipelines, selbstverwaltete Staging-Tabellen, knifflige Zusammenführungslogik oder manuelle Datentypkonvertierung verschwenden.
Mit Datastream können Sie in wenigen Schritten Daten in BigQuery replizieren. Konfigurieren Sie dazu einfach die Quelldatenbank, den Verbindungstyp und das Ziel in BigQuery. Datastream für BigQuery fügt Verlaufsdaten per Backfill hinzu und repliziert kontinuierlich neue Änderungen.
Datastream liest und überträgt mit minimaler Latenz jede Änderung – eingefügt, aktualisiert oder gelöscht – aus Ihren MySQL-, PostgreSQL-, AlloyDB- und Oracle-Datenbanken. Die Quelldatenbank kann lokal in Google Cloud-Diensten wie Cloud SQL oder Bare-Metal-Lösung für Oracle oder an einem anderen Ort in einer Cloud gehostet werden. Ein Dienst ohne Agent und Google-eigener Dienst, der speziell für BigQuery entwickelt wurde, streamt jedes Ereignis zuverlässig.
Wenn sich das Quellschema ändert, verarbeitet Datastream Schemaabweichungen und repliziert automatisch neue Spalten und Tabellen, die der Quelle in BigQuery hinzugefügt wurden.
Datastream unterstützt mehrere sichere, private Verbindungsmethoden zum Schutz von Daten bei der Übertragung. Außerdem werden ruhende Daten verschlüsselt.