Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Datastream est un service de réplication de données et de capture des données modifiées (CDC, Change Data Capture) sans serveur et simple à utiliser. Il vous permet de synchroniser les données de manière fiable et avec une latence minimale.
Datastream permet de répliquer facilement les données de bases de données opérationnelles dans BigQuery. De plus, Datastream prend en charge l'écriture de flux d'événements de modification dans Cloud Storage. Il offre aussi une intégration simplifiée avec les modèles Dataflow, ce qui permet de créer des workflows personnalisés pour charger des données dans un large éventail de destinations, telles que Cloud SQL et Spanner. Vous pouvez aussi utiliser Datastream pour exploiter le flux d'événements directement depuis Cloud Storage afin de réaliser des architectures basées sur des événements. Datastream est compatible avec les sources Oracle, MySQL, SQL Server, PostgreSQL (y compris AlloyDB pour PostgreSQL), MongoDB (preview) et Salesforce (preview).
Avantages de Datastream :
Configuration aisée des pipelines ELT (extraction, chargement et transformation) pour la réplication de données à faible latence, permettant ainsi de bénéficier d'insights quasiment en temps réel dans BigQuery.
Cette solution étant sans serveur, il n'y a aucune ressource à provisionner ni à gérer, et le service effectue automatiquement un scaling à la hausse ou à la baisse en fonction des besoins, avec un temps d'arrêt minimal.
Expérience d'installation et de surveillance facile à mettre en œuvre et offrant un retour sur investissement très rapide.
Intégration au meilleur portefeuille de services de données Google Cloud pour l'intégration de données dans Datastream, Dataflow, Pub/Sub, BigQuery, et bien d'autres encore.
Synchronisation et unification des flux de données entre des bases de données et des applications hétérogènes.
Sécurité, avec des options de connectivité privée et la sécurité que vous attendez deGoogle Cloud.
Une solution fiable et précise, avec des rapports d'état transparents et une flexibilité de traitement robuste vis-à-vis des modifications des données et des schémas.
Compatibilité avec plusieurs cas d'utilisation, y compris l'analyse, la réplication de base de données et la synchronisation pour les migrations et les configurations cloud hybrides, ainsi que pour la création d'architectures basées sur les événements.
Cas d'utilisation
Les fonctionnalités de diffusion de données de Datastream permettent divers cas d'utilisation :
Répliquer et synchroniser des données dans votre organisation avec une latence minimale
Vous pouvez synchroniser les données entre des bases de données et des applications hétérogènes de manière fiable, avec une faible latence et un impact minimal sur les performances de votre source. Exploitez tout le potentiel des flux de données pour l'analyse, la réplication de bases de données, la migration vers le cloud et les architectures basées sur des événements dans des environnements hybrides.
Effectuer facilement un scaling à la hausse ou à la baisse avec une architecture sans serveur
Soyez opérationnel rapidement grâce à un service facile d'utilisation et sans serveur, qui s'adapte de manière fluide à l'évolution du volume de vos données. Concentrez-vous sur l'obtention d'insights à jour à partir de vos données et sur la résolution des problèmes de haute priorité, au lieu de gérer l'infrastructure, d'ajuster les performances ou de provisionner les ressources.
Intégrer la suite d'intégration de données Google Cloud
Connectez les données de toute votre organisation avec la suite de produits d'intégration des données Google Cloud . Intégrez Datastream aux modèles de job Dataflow pour lire les données d'un bucket Cloud Storage et les charger dans différentes destinations, telles que BigQuery, Spanner et Cloud SQL.
Éléments d'expérience
Datastream comprend trois éléments principaux :
Les configurations de connectivité privée permettent à Datastream de communiquer avec une source de données sur un réseau privé (en interne dansGoogle Cloudou avec des sources externes connectées via VPN ou Interconnect). Cette communication se fait via une connexion d'appairage de cloud privé virtuel (VPC).
Les profils de connexion représentent les informations de connectivité à une source et à une destination. Ces informations seront utilisées par un flux.
Les flux utilisent les informations des profils de connexion pour transférer des données CDC et remplir des données de la source vers la destination.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/04 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/04 (UTC)."],[[["\u003cp\u003eDatastream is a serverless change data capture (CDC) and replication service that synchronizes data from various operational databases, including Oracle, MySQL, SQL Server, PostgreSQL, and Salesforce, into BigQuery, Cloud Storage, and other destinations.\u003c/p\u003e\n"],["\u003cp\u003eThis service offers low-latency data replication, enabling near real-time insights, seamless scaling, and easy setup and monitoring without the need for manual resource management.\u003c/p\u003e\n"],["\u003cp\u003eDatastream integrates with Google Cloud's data services like Dataflow, Pub/Sub, and BigQuery to build ELT pipelines and is designed to unify data streams across heterogeneous databases and applications.\u003c/p\u003e\n"],["\u003cp\u003eThe platform supports a variety of use cases, such as analytics, database replication, migration and synchronization across hybrid-cloud environments, and building event-driven architectures with minimal latency.\u003c/p\u003e\n"]]],[],null,["# Datastream overview\n\nDatastream is a serverless and easy-to-use change data capture (CDC) and replication service that lets you synchronize data reliably, and with minimal latency.\n\nDatastream provides seamless replication of data from operational databases into BigQuery. In addition, Datastream supports writing the change event stream into Cloud Storage, and offers streamlined integration with Dataflow templates to build custom workflows for loading data into a wide range of destinations, such as Cloud SQL and Spanner. You can also use Datastream to take advantage of the event stream directly from Cloud Storage to realize event-driven architectures. Datastream supports Oracle, MySQL, SQL Server, PostgreSQL (including AlloyDB for PostgreSQL), MongoDB ([Preview](/products#product-launch-stages)) and Salesforce ([Preview](/products#product-launch-stages)) sources.\n\nBenefits of Datastream include:\n\n- Seamless setup of ELT (Extract, Load, Transform) pipelines for low-latency data replication to enable near real-time insights in BigQuery.\n- Being serverless so there are no resources to provision or manage, and the service scales up and down automatically, as needed, with minimal downtime.\n- Easy-to-use setup and monitoring experiences that achieve super-fast time-to-value.\n- Integration across the best of Google Cloud data services' portfolio for data integration across Datastream, Dataflow, Pub/Sub, BigQuery, and more.\n- Synchronizing and unifying data streams across heterogeneous databases and applications.\n- Security, with private connectivity options and the security you expect from Google Cloud.\n- Being accurate and reliable, with transparent status reporting and robust processing flexibility in the face of data and schema changes.\n- Supporting multiple use cases, including analytics, database replication, and synchronization for migrations and hybrid-cloud configurations, and for building event-driven architectures.\n\nUse cases\n---------\n\nThe streaming capabilities of Datastream enable a variety of use cases:\n\n- **Replicating and synchronizing data across your organization with minimal\n latency**\n\n You can synchronize data across heterogeneous databases and applications\n reliably, with low latency, and with minimal impact to the performance of\n your source. Unlock the power of data streams for analytics, database\n replication, cloud migration, and event-driven architectures across hybrid\n environments.\n- **Scale up or down with a serverless architecture seamlessly**\n\n Get up and running fast with a serverless and easy-to-use service that\n scales seamlessly as your data volumes shift. Focus on deriving up-to-date\n insights from your data and responding to high-priority issues, instead of\n managing infrastructure, performance tuning, or resource provisioning.\n- **Integrate with the Google Cloud data integration suite**\n\n Connect data across your organization with the Google Cloud data\n integration suite of products. Integrate Datastream with\n Dataflow job templates to read data from a Cloud Storage bucket\n and load it into a variety of destinations, such as BigQuery,\n Spanner, and Cloud SQL.\n\nExperience elements\n-------------------\n\nThere are three main elements in Datastream:\n\n- **Private connectivity configurations** enable Datastream to communicate with a data source over a private network (internally within Google Cloud, or with external sources connected over VPN or Interconnect). This communication happens through a Virtual Private Cloud (VPC) peering connection.\n- **Connection profiles** represent connectivity information to both a source and a destination. This information will be used by a stream.\n- **Streams** use the information in the connection profiles to transfer CDC and backfill data from the source to the destination.\n\nWhat's next\n-----------\n\n- Start replicating your data [from a source database to BigQuery datasets](/datastream/docs/quickstart-replication-to-bigquery).\n- Learn more about [key concepts and features](/datastream/docs/behavior-overview) of Datastream.\n- Find out how to create [private connectivity configurations](/datastream/docs/create-a-private-connectivity-configuration), [connection profiles](/datastream/docs/create-connection-profiles) and [streams](/datastream/docs/create-a-stream)."]]
