Datastream – Übersicht

Datastream ist ein serverloser, nutzerfreundlicher Dienst für die Erfassung von Datenänderungen (Change Data Capture, CDC) und Replikation, mit dem Sie Daten zuverlässig und mit minimaler Latenz synchronisieren können.

Datastream bietet eine nahtlose Replikation von Daten aus operativen Datenbanken zu BigQuery. Außerdem können Sie mit Datastream den Änderungsereignisstream in Cloud Storage schreiben und Dataflow-Vorlagen problemlos einbinden, um benutzerdefinierte Workflows zum Laden von Daten in eine Vielzahl von Zielen wie Cloud SQL und Spanner zu erstellen. Datastream ermöglicht es Ihnen auch, den Ereignisstream aus Cloud Storage direkt für ereignisgesteuerte Architekturen zu nutzen. Datastream unterstützt Oracle-, MySQL-, SQL Server- und PostgreSQL-Quellen (einschließlich AlloyDB for PostgreSQL).

Vorteile von Datastream:

  • Nahtlose Einrichtung von ELT-Pipelines (Extract, Load, Transform) für die Datenreplikation mit niedriger Latenz, um nahezu in Echtzeit Informationen in BigQuery zu erhalten.
  • Da es sich um einen serverlosen Dienst handelt, müssen keine Ressourcen bereitgestellt oder verwaltet werden, und der Dienst lässt sich bei Bedarf automatisch mit minimalen Ausfallzeiten hoch- und runterskalieren.
  • Nutzerfreundliche Einrichtung und Monitoring, die eine extrem schnelle Wertschöpfung ermöglichen.
  • Integration des besten Portfolios von Google Cloud Datendiensten für die Datenintegration in Datastream, Dataflow, Pub/Sub, BigQuery und mehr.
  • Synchronisieren und Vereinheitlichen von Datenstreams in heterogenen Datenbanken und Anwendungen.
  • Sicherheit mit privaten Verbindungsoptionen und der Sicherheit, die Sie von Google Clouderwarten.
  • Präzise und zuverlässig, mit transparenten Statusberichten und robuster Verarbeitungsflexibilität bei Daten- und Schemaänderungen.
  • Unterstützung mehrerer Anwendungsfälle, einschließlich Analysen, Datenbankreplikation und Synchronisierung für Migrationen und Hybrid-Cloud-Konfigurationen sowie zum Erstellen ereignisgesteuerter Architekturen.

Anwendungsfälle

Die Streamingfunktionen von Datastream ermöglichen eine Vielzahl von Anwendungsfällen:

  • Daten mit minimaler Latenz in Ihrer Organisation replizieren und synchronisieren

    Sie können Daten aus heterogenen Datenbanken und Anwendungen zuverlässig mit niedriger Latenz und minimalen Auswirkungen auf die Leistung der Quelle synchronisieren. Nutzen Sie das Potenzial von Datenstreams für Analysen, Datenbankreplikation, Cloud-Migration und ereignisgesteuerte Architekturen in hybriden Umgebungen.

  • Mit einer serverlosen Architektur nach oben oder unten skalieren

    Mit einem serverlosen und nutzerfreundlichen Dienst, der sich nahtlos entsprechend des Datenvolumens skalieren lässt, sind Sie schnell startklar. Konzentrieren Sie sich darauf, aktuelle Informationen aus Ihren Daten zu gewinnen und auf Probleme mit hoher Priorität zu reagieren, anstatt die Infrastruktur zu verwalten, die Leistung zu optimieren oder Ressourcen bereitzustellen.

  • Einbindung in die Datenintegration von Google Cloud

    Mit der Produktsuite für Datenintegration von Google Cloudkönnen Sie Daten unternehmensweit verknüpfen. Datastream nutzt Dataflow-Vorlagen, um Daten in BigQuery, Spanner und Cloud SQL zu laden.

Experience-Elemente

Datastream besteht aus drei Hauptelementen:

  • Konfigurationen privater Verbindungen ermöglichen Datastream die Kommunikation mit einer Datenquelle über ein privates Netzwerk (intern in Google Cloudoder mit externen Quellen, die über VPN oder Interconnect verbunden sind). Diese Kommunikation erfolgt über eine VPC-Peering-Verbindung (Virtual Private Cloud).
  • Verbindungsprofile enthalten Informationen zur Verbindung sowohl mit einer Quelle als auch mit einem Ziel. Diese Informationen werden von einem Stream verwendet.
  • Streams verwenden die Informationen in den Verbindungsprofilen, um CDC- und Backfill-Daten von der Quelle an das Ziel zu übertragen.

Nächste Schritte