Überblick
Datastream ist ein serverloser und nutzerfreundlicher CDC- (Change Data Capture) und Replikationsdienst, mit dem Sie Daten zuverlässig und mit minimaler Latenz synchronisieren können.
Datastream bietet eine nahtlose Replikation von Daten aus operativen Datenbanken zu BigQuery. Außerdem können Sie mit Datastream den Änderungsereignisstream in Cloud Storage schreiben und Dataflow-Vorlagen problemlos einbinden, um benutzerdefinierte Workflows zum Laden von Daten in eine Vielzahl von Zielen wie Cloud SQL und Spanner zu erstellen. Datastream ermöglicht es Ihnen auch, den Ereignisstream aus Cloud Storage direkt für ereignisgesteuerte Architekturen zu nutzen. Datastream unterstützt Oracle-, MySQL-, SQL Server- (Vorschau) und PostgreSQL-Quellen (einschließlich AlloyDB for PostgreSQL).
Datastream bietet unter anderem folgende Vorteile:
- Nahtlose Einrichtung von ELT-Pipelines (Extrahieren, Laden, Transformieren) für die Datenreplikation mit niedriger Latenz, um Informationen nahezu in Echtzeit in BigQuery zu erhalten.
- Da es sich um einen serverlosen Dienst handelt, müssen keine Ressourcen bereitgestellt oder verwaltet werden, und der Dienst lässt sich bei Bedarf automatisch mit minimalen Ausfallzeiten hoch- und runterskalieren.
- Nutzerfreundliche Einrichtung und Monitoring, die eine extrem schnelle Wertschöpfung ermöglichen.
- Integration des besten Portfolios von Google Cloud-Datendiensten für die Datenintegration in Datastream, Dataflow, Cloud Data Fusion, Pub/Sub, BigQuery und mehr.
- Synchronisieren und Vereinheitlichen von Datenstreams in heterogenen Datenbanken und Anwendungen.
- Sicherheit mit privaten Verbindungsoptionen und der Sicherheit, die Sie von Google Cloud erwarten.
- Präzise und zuverlässig, mit transparenten Statusberichten und robuster Verarbeitungsflexibilität bei Daten- und Schemaänderungen.
- Unterstützung mehrerer Anwendungsfälle, einschließlich Analysen, Datenbankreplikation und Synchronisierung für Migrationen und Hybrid-Cloud-Konfigurationen sowie zum Erstellen ereignisgesteuerter Architekturen.
Anwendungsfälle
Die Streamingfunktionen von Datastream ermöglichen eine Vielzahl von Anwendungsfällen:
Daten unternehmensweit mit minimaler Latenz replizieren und synchronisieren
Sie können Daten aus heterogenen Datenbanken und Anwendungen zuverlässig mit niedriger Latenz und minimalen Auswirkungen auf die Leistung der Quelle synchronisieren. Nutzen Sie das Potenzial von Datenstreams für Analysen, Datenbankreplikation, Cloud-Migration und ereignisgesteuerte Architekturen in hybriden Umgebungen.
Mit einer serverlosen Architektur nach oben oder unten skalieren
Mit einem serverlosen und nutzerfreundlichen Dienst, der sich nahtlos entsprechend des Datenvolumens skalieren lässt, sind Sie schnell startklar. Konzentrieren Sie sich darauf, aktuelle Informationen aus Ihren Daten zu gewinnen und auf Probleme mit hoher Priorität zu reagieren, anstatt die Infrastruktur zu verwalten, die Leistung zu optimieren oder Ressourcen bereitzustellen.
Einbindung in die Datenintegration von Google Cloud
Mit der Produktsuite für Datenintegration von Google Cloud können Sie Daten unternehmensweit verknüpfen. Datastream nutzt Dataflow-Vorlagen, um Daten in BigQuery, Spanner und Cloud SQL zu laden. Außerdem unterstützt Datastream die CDC-Replikator-Connectors von Cloud Data Fusion für ein noch einfacheres Daten-Pipeline-Angebot.
Experience-Elemente
Datastream besteht aus drei Hauptelementen:
- Konfigurationen privater Verbindungen ermöglichen Datastream die Kommunikation mit einer Datenquelle über ein privates Netzwerk (intern in Google Cloud oder mit externen Quellen, die über VPN oder Interconnect verbunden sind). Diese Kommunikation erfolgt über eine VPC-Peering-Verbindung (Virtual Private Cloud).
- Verbindungsprofile stellen Verbindungsinformationen zu einer Quelle und einem Ziel dar. Diese Informationen werden von einem Stream verwendet.
- Streams verwenden die Informationen in den Verbindungsprofilen, um CDC- und Backfill-Daten von der Quelle an das Ziel zu übertragen.