Présentation de Datastream

Présentation

Datastream est un service de réplication de données et de capture des données modifiées (CDC, Change Data Capture) sans serveur et simple à utiliser. Il vous permet de synchroniser les données de manière fiable et avec une latence minimale.

Datastream permet de répliquer facilement les données de bases de données opérationnelles dans BigQuery. De plus, Datastream prend en charge l'écriture de flux d'événements de modification dans Cloud Storage. Il offre aussi une intégration simplifiée avec les modèles Dataflow, ce qui permet de créer des workflows personnalisés pour charger des données dans un large éventail de destinations, telles que Cloud SQL et Spanner. Vous pouvez aussi utiliser Datastream pour exploiter le flux d'événements directement depuis Cloud Storage afin de réaliser des architectures basées sur des événements. Datastream est compatible avec les sources Oracle, MySQL, SQL Server et PostgreSQL (y compris AlloyDB pour PostgreSQL).

Avantages de Datastream :

  • Configuration fluide des pipelines ELT (extraction, chargement, transformation) pour la réplication des données à faible latence afin de générer des insights quasi en temps réel dans BigQuery.
  • Cette solution étant sans serveur, il n'y a aucune ressource à provisionner ni à gérer, et le service effectue automatiquement un scaling à la hausse ou à la baisse en fonction des besoins, avec un temps d'arrêt minimal.
  • Expérience d'installation et de surveillance facile à mettre en œuvre et offrant un retour sur investissement très rapide.
  • Intégration au meilleur portefeuille de services de données Google Cloud pour l'intégration de données dans Datastream, Dataflow, Pub/Sub, BigQuery, et bien d'autres encore.
  • Synchronisation et unification des flux de données entre des bases de données et des applications hétérogènes.
  • Sécurité, avec des options de connectivité privée et la sécurité que vous attendez de Google Cloud.
  • Une solution fiable et précise, avec des rapports d'état transparents et une flexibilité de traitement robuste vis-à-vis des modifications des données et des schémas.
  • Compatibilité avec plusieurs cas d'utilisation, y compris l'analyse, la réplication de base de données et la synchronisation pour les migrations et les configurations cloud hybrides, ainsi que pour la création d'architectures basées sur les événements.

Cas d'utilisation

Les fonctionnalités de diffusion de données de Datastream permettent divers cas d'utilisation :

  • Répliquer et synchroniser des données dans l'ensemble de votre organisation avec une latence minimale

    Vous pouvez synchroniser les données de bases de données et d'applications hétérogènes de manière fiable, avec une faible latence et avec un impact minimal sur les performances de votre source. Exploitez la puissance des flux de données pour l'analyse, la réplication de base de données, la migration vers le cloud et les architectures basées sur des événements dans des environnements hybrides.

  • Effectuer facilement un scaling à la hausse ou à la baisse avec une architecture sans serveur

    Devenez rapidement opérationnel grâce à un service sans serveur et facile à utiliser, qui s'adapte facilement à mesure que vos volumes de données évoluent. Concentrez-vous sur l'obtention d'insights à jour à partir de vos données et sur la réponse aux problèmes prioritaires, plutôt que de gérer l'infrastructure, le réglage des performances ou le provisionnement des ressources.

  • Intégrer la suite d'intégration des données de Google Cloud

    Connectez les données de toute votre organisation avec la suite de produits d'intégration des données de Google Cloud. Datastream exploite les modèles Dataflow pour charger des données dans BigQuery, Spanner et Cloud SQL.

Éléments de l'expérience

Datastream comprend trois éléments principaux :

  • Les configurations de connectivité privée permettent à Datastream de communiquer avec une source de données via un réseau privé (en interne dans Google Cloud ou avec des sources externes connectées via VPN ou Interconnect). Cette communication se fait via une connexion d'appairage de cloud privé virtuel (VPC).
  • Les profils de connexion représentent les informations de connectivité à une source et à une destination. Ces informations seront utilisées par un flux.
  • Les flux utilisent les informations des profils de connexion pour transférer des données CDC et remplir des données de la source vers la destination.

Étape suivante