Datastream pour BigQuery
Réplication fluide depuis des bases de données relationnelles directement vers BigQuery, offrant ainsi des insights sur les données opérationnelles quasiment en temps réel.
Réplication à faible latence pour permettre des insights quasiment en temps réel dans BigQuery
Accès à des flux de données provenant de bases de données MySQL, PostgreSQL, AlloyDB, SQL Server et Oracle
Plate-forme sans serveur qui évolue automatiquement, sans ressources à provisionner ni à gérer
Configuration simple de pipelines ELT (extraction, chargement et transformation) avec une connectivité sécurisée intégrée
Utilisé par des milliers de clients pour répliquer leurs données opérationnelles dans BigQuery
Avantages
Répliquer les données opérationnelles avec une latence minimale
Répliquez directement les données de bases de données MySQL, PostgreSQL, AlloyDB, SQL Server et Oracle directement dans BigQuery, avec une faible latence et sans impact sur les performances des sources.
Effectuer un scaling à la hausse ou à la baisse avec une architecture sans serveur
Éliminez les coûts opérationnels grâce à une approche sans serveur qui s'adapte automatiquement, sans infrastructure à gérer.
Être opérationnel en quelques minutes
Une expérience de configuration simplifiée vous permet de commencer à répliquer les données de vos bases de données opérationnelles vers BigQuery en quelques étapes seulement.
Principales fonctionnalités
Principales fonctionnalités
Réplication des données opérationnelles dans BigQuery
Datastream utilise la fonctionnalité de capture de données modifiées (CDC, Change Data Capture) de BigQuery et l'API Storage Write pour répliquer efficacement les mises à jour directement depuis les systèmes sources, quasiment en temps réel. Vous n'avez plus besoin de solutions de réplication qui gaspillent des ressources précieuses sur des pipelines de données complexes, des tables de préproduction autogérées, une logique de fusion complexe ou une conversion manuelle du type de données.
Configuration simplifiée
Datastream vous permet de commencer à répliquer des données dans BigQuery en quelques étapes. Il vous suffit de configurer votre base de données source, votre type de connexion et votre destination dans BigQuery. Datastream pour BigQuery remplit les données historiques et réplique en continu les nouvelles modifications à mesure qu'elles se produisent.
Traiter des flux de données à partir de bases de données relationnelles
Datastream lit et livre chaque modification (insertion, mise à jour et suppression) de vos bases de données MySQL, PostgreSQL, AlloyDB, SQL Server et Oracle dans BigQuery avec une latence minimale. La base de données source peut être hébergée sur site, sur des services Google Cloud tels que Cloud SQL ou Bare Metal Solution for Oracle, ou ailleurs sur le cloud. Conçu spécialement pour BigQuery, ce service natif sans agent permet de diffuser chaque événement en continu de manière fiable.
Résolution de la dérive du schéma
À mesure que les schémas sources changent, Datastream gère facilement la dérive du schéma et réplique automatiquement les nouvelles colonnes et tables ajoutées dans la source dans BigQuery.
Sécurité intégrée dès la conception
Datastream est compatible avec plusieurs méthodes de connectivité privées sécurisées pour protéger les données en transit. Les données sont également chiffrées au repos.
Clients
Les clients utilisent Datastream et BigQuery pour générer des insights en temps réel
Avec Datastream, nous disposons d'un outil unique qui nous permet de répliquer nos données opérationnelles vers BigQuery, quasiment en temps réel. Datastream nous aide à obtenir des insights beaucoup plus rapidement sur nos données opérationnelles, à fournir des produits de données plus stables et à mieux répondre à nos besoins commerciaux.
René Delgado, responsable des solutions de données chez Falabella
Cas d'utilisation
Cas d'utilisation
Réplication sans serveur vers BigQuery
Datastream lit les événements de modification (insertions, mises à jour et suppressions) à partir de bases de données sources, et les écrit dans des tables BigQuery quasiment en temps réel. Cela vous permet d'enrichir les entrepôts de données et les modèles de ML BigQuery existants avec des données transactionnelles, telles que les achats au détail, afin d'obtenir un aperçu plus complet des données. Datastream remplit les données de l'historique, réplique continuellement les nouvelles modifications à mesure qu'elles se produisent, et gère de manière transparente les modifications de schéma.
Comparer les options de streaming de données à partir de bases de données opérationnelles vers BigQuery
Datastream pour BigQuery
Datastream et Dataflow
Datastream et Data Fusion
Principaux avantages
Principaux avantages
Option la plus simple pour répliquer des données opérationnelles vers BigQuery
Architecture sans serveur qui effectue un scaling automatique à la hausse ou à la baisse
Interface unique pour la visibilité de bout en bout et la surveillance des pipelines de réplication
Solution personnalisable avec plus de flexibilité
Modèles prédéfinis acceptés par Google pour différentes destinations
Intégration de fonctionnalités supplémentaires telles que la qualité et le masquage des données
Interface simple pour les développeurs ETL et les analystes de données
Identification à l'avance des problèmes potentiels et des lacunes dans la réplication
Insights sur les performances de réplication quasiment en temps réel
Datastream pour BigQuery
Principaux avantages
Option la plus simple pour répliquer des données opérationnelles vers BigQuery
Architecture sans serveur qui effectue un scaling automatique à la hausse ou à la baisse
Interface unique pour la visibilité de bout en bout et la surveillance des pipelines de réplication
Datastream et Dataflow
Principaux avantages
Solution personnalisable avec plus de flexibilité
Modèles prédéfinis acceptés par Google pour différentes destinations
Intégration de fonctionnalités supplémentaires telles que la qualité et le masquage des données
Datastream et Data Fusion
Principaux avantages
Interface simple pour les développeurs ETL et les analystes de données
Identification à l'avance des problèmes potentiels et des lacunes dans la réplication
Insights sur les performances de réplication quasiment en temps réel
Tarification
Tarifs de Datastream
La tarification de Datastream est basée sur les données réelles traitées. La tarification différenciée par volume est disponible, ce qui la rend plus abordable si vous migrez des volumes de données plus importants. Pour en savoir plus sur la tarification, consultez la page des tarifs de Datastream.
Les ressources supplémentaires, telles que BigQuery, Cloud Storage et Dataflow, sont facturées selon la tarification de ces services.
Passez à l'étape suivante
Profitez de 300 $ de crédits gratuits et de plus de 20 produits Always Free pour commencer à créer des applications sur Google Cloud.
Vous avez besoin d'aide pour démarrer ?
Contacter le service commercialFaites appel à un partenaire de confiance
Trouvez un partenairePoursuivez vos recherches
Voir tous les produits
