Réplication fluide depuis des bases de données relationnelles directement vers BigQuery, offrant ainsi des insights sur les données opérationnelles quasiment en temps réel.
Réplication à faible latence pour permettre des insights quasiment en temps réel dans BigQuery
Accès à des flux de données provenant de bases de données MySQL, PostgreSQL, AlloyDB, SQL Server et Oracle
Plate-forme sans serveur qui évolue automatiquement, sans ressources à provisionner ni à gérer
Configuration simple de pipelines ELT (extraction, chargement et transformation) avec une connectivité sécurisée intégrée
Utilisé par des milliers de clients pour répliquer leurs données opérationnelles dans BigQuery
Avantages
Répliquez directement les données de bases de données MySQL, PostgreSQL, AlloyDB, SQL Server et Oracle directement dans BigQuery, avec une faible latence et sans impact sur les performances des sources.
Éliminez les coûts opérationnels grâce à une approche sans serveur qui s'adapte automatiquement, sans infrastructure à gérer.
Une expérience de configuration simplifiée vous permet de commencer à répliquer les données de vos bases de données opérationnelles vers BigQuery en quelques étapes seulement.
Principales fonctionnalités
Datastream utilise la fonctionnalité de capture de données modifiées (CDC, Change Data Capture) de BigQuery et l'API Storage Write pour répliquer efficacement les mises à jour directement depuis les systèmes sources, quasiment en temps réel. Vous n'avez plus besoin de solutions de réplication qui gaspillent des ressources précieuses sur des pipelines de données complexes, des tables de préproduction autogérées, une logique de fusion complexe ou une conversion manuelle du type de données.
Datastream vous permet de commencer à répliquer des données dans BigQuery en quelques étapes. Il vous suffit de configurer votre base de données source, votre type de connexion et votre destination dans BigQuery. Datastream pour BigQuery remplit les données historiques et réplique en continu les nouvelles modifications à mesure qu'elles se produisent.
Datastream lit et livre chaque modification (insertion, mise à jour et suppression) de vos bases de données MySQL, PostgreSQL, AlloyDB, SQL Server et Oracle dans BigQuery avec une latence minimale. La base de données source peut être hébergée sur site, sur des services Google Cloud tels que Cloud SQL ou Bare Metal Solution for Oracle, ou ailleurs sur le cloud. Conçu spécialement pour BigQuery, ce service natif sans agent permet de diffuser chaque événement en continu de manière fiable.
À mesure que les schémas sources changent, Datastream gère facilement la dérive du schéma et réplique automatiquement les nouvelles colonnes et tables ajoutées dans la source dans BigQuery.
Datastream est compatible avec plusieurs méthodes de connectivité privées sécurisées pour protéger les données en transit. Les données sont également chiffrées au repos.
Clients
Cas d'utilisation
Datastream lit les événements de modification (insertions, mises à jour et suppressions) à partir de bases de données sources, et les écrit dans des tables BigQuery quasiment en temps réel. Cela vous permet d'enrichir les entrepôts de données et les modèles de ML BigQuery existants avec des données transactionnelles, telles que les achats au détail, afin d'obtenir un aperçu plus complet des données. Datastream remplit les données de l'historique, réplique continuellement les nouvelles modifications à mesure qu'elles se produisent, et gère de manière transparente les modifications de schéma.
Principaux avantages
Option la plus simple pour répliquer des données opérationnelles vers BigQuery
Architecture sans serveur qui effectue un scaling automatique à la hausse ou à la baisse
Interface unique pour la visibilité de bout en bout et la surveillance des pipelines de réplication
Solution personnalisable avec plus de flexibilité
Modèles prédéfinis acceptés par Google pour différentes destinations
Intégration de fonctionnalités supplémentaires telles que la qualité et le masquage des données
Interface simple pour les développeurs ETL et les analystes de données
Identification à l'avance des problèmes potentiels et des lacunes dans la réplication
Insights sur les performances de réplication quasiment en temps réel
Principaux avantages
Option la plus simple pour répliquer des données opérationnelles vers BigQuery
Architecture sans serveur qui effectue un scaling automatique à la hausse ou à la baisse
Interface unique pour la visibilité de bout en bout et la surveillance des pipelines de réplication
Principaux avantages
Solution personnalisable avec plus de flexibilité
Modèles prédéfinis acceptés par Google pour différentes destinations
Intégration de fonctionnalités supplémentaires telles que la qualité et le masquage des données
Principaux avantages
Interface simple pour les développeurs ETL et les analystes de données
Identification à l'avance des problèmes potentiels et des lacunes dans la réplication
Insights sur les performances de réplication quasiment en temps réel
Tarification
La tarification de Datastream est basée sur les données réelles traitées. La tarification différenciée par volume est disponible, ce qui la rend plus abordable si vous migrez des volumes de données plus importants. Pour en savoir plus sur la tarification, consultez la page des tarifs de Datastream.
Les ressources supplémentaires, telles que BigQuery, Cloud Storage et Dataflow, sont facturées selon la tarification de ces services.
Profitez de 300 $ de crédits gratuits et de plus de 20 produits Always Free pour commencer à créer des applications sur Google Cloud.