Présentation
Datastream est un service de réplication de données et de capture des données modifiées (CDC, Change Data Capture) sans serveur et facile à utiliser. Il vous permet de synchroniser les données de manière fiable et avec une latence minimale.
Datastream permet de répliquer facilement les données de bases de données opérationnelles dans BigQuery. De plus, Datastream prend en charge l'écriture de flux d'événements de modification dans Cloud Storage. Il offre aussi une intégration simplifiée avec les modèles Dataflow, ce qui permet de créer des workflows personnalisés pour charger des données dans un large éventail de destinations, telles que Cloud SQL et Spanner. Vous pouvez aussi utiliser Datastream pour exploiter le flux d'événements directement depuis Cloud Storage afin de réaliser des architectures basées sur des événements. Datastream est compatible avec les sources Oracle, MySQL, SQL Server et PostgreSQL (y compris AlloyDB pour PostgreSQL).
Avantages de Datastream :
- Configuration aisée des pipelines ELT (Extract, Load, Transform) pour une réplication des données à faible latence permettant d'obtenir des insights en temps quasi réel dans BigQuery
- Cette solution étant sans serveur, il n'y a aucune ressource à provisionner ni à gérer, et le service effectue automatiquement un scaling à la hausse ou à la baisse en fonction des besoins, avec un temps d'arrêt minimal.
- Expérience d'installation et de surveillance facile à mettre en œuvre et offrant un retour sur investissement très rapide.
- Intégration aux meilleurs services de données Google Cloud pour l'intégration de données dans Datastream, Dataflow, Pub/Sub, BigQuery, etc.
- Synchronisation et unification des flux de données entre des bases de données et des applications hétérogènes.
- Sécurité, avec des options de connectivité privée et la sécurité que vous attendez de Google Cloud.
- Une solution fiable et précise, avec des rapports d'état transparents et une flexibilité de traitement robuste vis-à-vis des modifications des données et des schémas.
- Compatibilité avec plusieurs cas d'utilisation, y compris l'analyse, la réplication de base de données et la synchronisation pour les migrations et les configurations cloud hybrides, ainsi que pour la création d'architectures basées sur les événements.
Cas d'utilisation
Les fonctionnalités de diffusion de données de Datastream permettent divers cas d'utilisation :
Répliquer et synchroniser les données de votre organisation avec une latence minimale
Vous pouvez synchroniser les données de bases de données et d'applications hétérogènes de manière fiable, avec une faible latence et avec un impact minimal sur les performances de votre source. Exploitez la puissance des flux de données pour l'analyse, la réplication de base de données, la migration vers le cloud et les architectures basées sur des événements dans des environnements hybrides.
Effectuer facilement un scaling à la hausse ou à la baisse avec une architecture sans serveur
Devenez rapidement opérationnel grâce à un service sans serveur et facile à utiliser, qui s'adapte facilement à mesure que vos volumes de données évoluent. Concentrez-vous sur l'obtention d'insights à jour à partir de vos données et sur la réponse aux problèmes prioritaires, plutôt que de gérer l'infrastructure, le réglage des performances ou le provisionnement des ressources.
Intégration à la suite d'intégration de données de Google Cloud
Connectez les données de toute votre organisation avec la suite de produits d'intégration des données de Google Cloud. Datastream exploite les modèles Dataflow pour charger des données dans BigQuery, Spanner et Cloud SQL.
Éléments de l'expérience
Datastream comprend trois éléments principaux :
- Les configurations de connectivité privée permettent à Datastream de communiquer avec une source de données via un réseau privé (en interne dans Google Cloud, ou avec des sources externes connectées via VPN ou Interconnect). Cette communication se fait via une connexion d'appairage de cloud privé virtuel (VPC).
- Les profils de connexion représentent les informations de connectivité à la fois à une source et à une destination. Ces informations seront utilisées par le flux.
- Les flux utilisent les informations des profils de connexion pour transférer des données CDC et remplir des données de la source vers la destination.