Présentation de Datastream

Présentation

Datastream est un service de réplication de données et de capture des données modifiées (CDC, Change Data Capture) sans serveur et facile à utiliser. Il vous permet de synchroniser des données de manière fiable et avec une latence minimale.

Datastream permet de répliquer facilement les données de bases de données opérationnelles dans BigQuery. De plus, Datastream prend en charge l'écriture de flux d'événements de modification dans Cloud Storage. Il offre aussi une intégration simplifiée avec les modèles Dataflow, ce qui permet de créer des workflows personnalisés pour charger des données dans un large éventail de destinations, telles que Cloud SQL et Spanner. Vous pouvez aussi utiliser Datastream pour exploiter le flux d'événements directement depuis Cloud Storage afin de réaliser des architectures basées sur des événements. Datastream est compatible avec les sources Oracle, MySQL, SQL Server (Preview) et PostgreSQL (y compris AlloyDB pour PostgreSQL).

Avantages de Datastream :

  • Configuration aisée des pipelines ELT (extraction, chargement, transformation) pour une réplication de données à faible latence et des insights en temps quasi réel dans BigQuery.
  • Cette solution étant sans serveur, il n'y a aucune ressource à provisionner ni à gérer, et le service effectue automatiquement un scaling à la hausse ou à la baisse en fonction des besoins, avec un temps d'arrêt minimal.
  • Expérience d'installation et de surveillance facile à mettre en œuvre et offrant un retour sur investissement très rapide.
  • Intégration au meilleur portefeuille de services de données Google Cloud pour l'intégration de données dans Datastream, Dataflow, Cloud Data Fusion, Pub/Sub, BigQuery, et bien d'autres encore.
  • Synchronisation et unification des flux de données entre des bases de données et des applications hétérogènes.
  • Sécurité, avec des options de connectivité privée et la sécurité que vous attendez de Google Cloud.
  • Une solution fiable et précise, avec des rapports d'état transparents et une flexibilité de traitement robuste vis-à-vis des modifications des données et des schémas.
  • Compatibilité avec plusieurs cas d'utilisation, y compris l'analyse, la réplication de base de données et la synchronisation pour les migrations et les configurations cloud hybrides, ainsi que pour la création d'architectures basées sur les événements.

Cas d'utilisation

Les fonctionnalités de diffusion de données de Datastream permettent divers cas d'utilisation :

  • Réplication et synchronisation des données de votre organisation avec une latence minimale

    Vous pouvez synchroniser les données de bases de données et d'applications hétérogènes de manière fiable, avec une faible latence et avec un impact minimal sur les performances de votre source. Exploitez tout le potentiel des flux de données pour l'analyse, la réplication de bases de données, la migration vers le cloud et les architectures basées sur des événements dans des environnements hybrides.

  • Effectuer facilement un scaling à la hausse ou à la baisse avec une architecture sans serveur

    Lancez-vous rapidement grâce à un service sans serveur et facile à utiliser qui évolue facilement en fonction de l'évolution de vos volumes de données. Concentrez-vous sur l'obtention d'insights à jour à partir de vos données et sur la réponse aux problèmes prioritaires, plutôt que de gérer l'infrastructure, le réglage des performances ou le provisionnement des ressources.

  • Intégration à la suite d'intégration de données Google Cloud

    Connectez les données de toute votre organisation avec la suite de produits d'intégration des données de Google Cloud. Datastream exploite les modèles Dataflow pour charger des données dans BigQuery, Spanner et Cloud SQL, et alimente les connecteurs de réplication de CDC de Cloud Data Fusion pour un pipeline de données plus facile que jamais.

Éléments de l'expérience

Datastream comprend trois éléments principaux :

  • Les configurations de connectivité privée permettent à Datastream de communiquer avec une source de données via un réseau privé (en interne dans Google Cloud, ou avec des sources externes connectées via VPN ou Interconnect). Cette communication se fait via une connexion d'appairage de cloud privé virtuel (VPC).
  • Les profils de connexion représentent des informations de connectivité à la fois vers une source et une destination. Ces informations seront utilisées par un flux.
  • Les flux utilisent les informations des profils de connexion pour transférer des données CDC et remplir des données de la source vers la destination.