Datastream – Übersicht

Übersicht

Datastream ist ein serverloser und nutzerfreundlicher Dienst für Change Data Capture (CDC) und Replikation, mit dem Sie Daten zuverlässig und mit minimaler Latenz synchronisieren können.

Datastream bietet eine nahtlose Replikation von Daten aus operativen Datenbanken zu BigQuery. Außerdem können Sie mit Datastream den Änderungsereignisstream in Cloud Storage schreiben und Dataflow-Vorlagen problemlos einbinden, um benutzerdefinierte Workflows zum Laden von Daten in eine Vielzahl von Zielen wie Cloud SQL und Spanner zu erstellen. Datastream ermöglicht es Ihnen auch, den Ereignisstream aus Cloud Storage direkt für ereignisgesteuerte Architekturen zu nutzen. Datastream unterstützt Oracle-, MySQL-, SQL Server- und PostgreSQL-Quellen (einschließlich AlloyDB for PostgreSQL).

Zu den Vorteilen von Datastream gehören:

  • Nahtlose Einrichtung von ELT-Pipelines (Extrahieren, Laden, Transformieren) für die Datenreplikation mit niedriger Latenz, um in BigQuery nahezu in Echtzeit Informationen zu erhalten.
  • Da es sich um einen serverlosen Dienst handelt, müssen keine Ressourcen bereitgestellt oder verwaltet werden, und der Dienst lässt sich bei Bedarf automatisch mit minimalen Ausfallzeiten hoch- und runterskalieren.
  • Nutzerfreundliche Einrichtung und Monitoring, die eine extrem schnelle Wertschöpfung ermöglichen.
  • Integration in die besten Datendienste von Google Cloud für die Datenintegration in Datastream, Dataflow, Pub/Sub, BigQuery und mehr.
  • Synchronisieren und Vereinheitlichen von Datenstreams in heterogenen Datenbanken und Anwendungen.
  • Sicherheit mit privaten Verbindungsoptionen und der Sicherheit, die Sie von Google Cloud erwarten.
  • Präzise und zuverlässig, mit transparenten Statusberichten und robuster Verarbeitungsflexibilität bei Daten- und Schemaänderungen.
  • Unterstützung mehrerer Anwendungsfälle, einschließlich Analysen, Datenbankreplikation und Synchronisierung für Migrationen und Hybrid-Cloud-Konfigurationen sowie zum Erstellen ereignisgesteuerter Architekturen.

Anwendungsfälle

Die Streamingfunktionen von Datastream ermöglichen eine Vielzahl von Anwendungsfällen:

  • Daten mit minimaler Latenz in Ihrer Organisation replizieren und synchronisieren

    Sie können Daten aus heterogenen Datenbanken und Anwendungen zuverlässig mit niedriger Latenz und minimalen Auswirkungen auf die Leistung der Quelle synchronisieren. Nutzen Sie das Potenzial von Datenstreams für Analysen, Datenbankreplikation, Cloud-Migration und ereignisgesteuerte Architekturen in hybriden Umgebungen.

  • Mit einer serverlosen Architektur nach oben oder unten skalieren

    Mit einem serverlosen und nutzerfreundlichen Dienst, der sich nahtlos entsprechend des Datenvolumens skalieren lässt, sind Sie schnell startklar. Konzentrieren Sie sich darauf, aktuelle Informationen aus Ihren Daten zu gewinnen und auf Probleme mit hoher Priorität zu reagieren, anstatt die Infrastruktur zu verwalten, die Leistung zu optimieren oder Ressourcen bereitzustellen.

  • Einbindung in die Datenintegration von Google Cloud

    Mit der Produktsuite für Datenintegration von Google Cloud können Sie Daten unternehmensweit verknüpfen. Datastream nutzt Dataflow-Vorlagen, um Daten in BigQuery, Spanner und Cloud SQL zu laden.

Experience-Elemente

Datastream besteht aus drei Hauptelementen:

  • Konfigurationen privater Verbindungen ermöglichen Datastream die Kommunikation mit einer Datenquelle über ein privates Netzwerk (intern in Google Cloud oder mit externen Quellen, die über VPN oder Interconnect verbunden sind). Diese Kommunikation erfolgt über eine VPC-Peering-Verbindung (Virtual Private Cloud).
  • Verbindungsprofile stellen Verbindungsinformationen zu einer Quelle und einem Ziel dar. Diese Informationen werden von einem Stream verwendet.
  • Streams verwenden die Informationen in den Verbindungsprofilen, um CDC- und Backfill-Daten von der Quelle an das Ziel zu übertragen.

Nächste Schritte