Accéder à
Datastream pour BigQuery

Datastream pour BigQuery

Réplication fluide depuis des bases de données relationnelles directement vers BigQuery, offrant ainsi des insights sur les données opérationnelles quasiment en temps réel.

  • Réplication à faible latence pour permettre des insights quasiment en temps réel dans BigQuery

  • Accès à des flux de données provenant de bases de données MySQL, PostgreSQL, AlloyDB, SQL Server et Oracle

  • Plate-forme sans serveur qui évolue automatiquement, sans ressources à provisionner ni à gérer

  • Configuration simple de pipelines ELT (extraction, chargement et transformation) avec une connectivité sécurisée intégrée

  • Utilisé par des milliers de clients pour répliquer leurs données opérationnelles dans BigQuery

Avantages

Répliquer les données opérationnelles avec une latence minimale

Répliquez directement les données de bases de données MySQL, PostgreSQL, AlloyDB, SQL Server et Oracle directement dans BigQuery, avec une faible latence et sans impact sur les performances des sources.

Effectuer un scaling à la hausse ou à la baisse avec une architecture sans serveur

Éliminez les coûts opérationnels grâce à une approche sans serveur qui s'adapte automatiquement, sans infrastructure à gérer.

Être opérationnel en quelques minutes

Une expérience de configuration simplifiée vous permet de commencer à répliquer les données de vos bases de données opérationnelles vers BigQuery en quelques étapes seulement.

Principales fonctionnalités

Principales fonctionnalités

Réplication des données opérationnelles dans BigQuery

Datastream utilise la fonctionnalité de capture de données modifiées (CDC, Change Data Capture) de BigQuery et l'API Storage Write pour répliquer efficacement les mises à jour directement depuis les systèmes sources, quasiment en temps réel. Vous n'avez plus besoin de solutions de réplication qui gaspillent des ressources précieuses sur des pipelines de données complexes, des tables de préproduction autogérées, une logique de fusion complexe ou une conversion manuelle du type de données.

Configuration simplifiée

Datastream vous permet de commencer à répliquer des données dans BigQuery en quelques étapes. Il vous suffit de configurer votre base de données source, votre type de connexion et votre destination dans BigQuery. Datastream pour BigQuery remplit les données historiques et réplique en continu les nouvelles modifications à mesure qu'elles se produisent.

Traiter des flux de données à partir de bases de données relationnelles

Datastream lit et livre chaque modification (insertion, mise à jour et suppression) de vos bases de données MySQL, PostgreSQL, AlloyDB, SQL Server et Oracle dans BigQuery avec une latence minimale. La base de données source peut être hébergée sur site, sur des services Google Cloud tels que Cloud SQL ou Bare Metal Solution for Oracle, ou ailleurs sur le cloud. Conçu spécialement pour BigQuery, ce service natif sans agent permet de diffuser chaque événement en continu de manière fiable.

Résolution de la dérive du schéma

À mesure que les schémas sources changent, Datastream gère facilement la dérive du schéma et réplique automatiquement les nouvelles colonnes et tables ajoutées dans la source dans BigQuery.

Sécurité intégrée dès la conception

Datastream est compatible avec plusieurs méthodes de connectivité privées sécurisées pour protéger les données en transit. Les données sont également chiffrées au repos.

Logo Falabella
Avec Datastream, nous disposons d'un outil unique qui nous permet de répliquer nos données opérationnelles vers BigQuery, quasiment en temps réel. Datastream nous aide à obtenir des insights beaucoup plus rapidement sur nos données opérationnelles, à fournir des produits de données plus stables et à mieux répondre à nos besoins commerciaux.

René Delgado, responsable des solutions de données chez Falabella

Lien du blog

Cas d'utilisation

Cas d'utilisation

Cas d'utilisation
Réplication sans serveur vers BigQuery

Datastream lit les événements de modification (insertions, mises à jour et suppressions) à partir de bases de données sources, et les écrit dans des tables BigQuery quasiment en temps réel. Cela vous permet d'enrichir les entrepôts de données et les modèles de ML BigQuery existants avec des données transactionnelles, telles que les achats au détail, afin d'obtenir un aperçu plus complet des données. Datastream remplit les données de l'historique, réplique continuellement les nouvelles modifications à mesure qu'elles se produisent, et gère de manière transparente les modifications de schéma.

Réplication sans serveur vers BigQuery
Comparer les fonctionnalités

Comparer les options de streaming de données à partir de bases de données opérationnelles vers BigQuery

Datastream pour BigQuery

Solution entièrement gérée pour la réplication des données de bases de données transactionnelles vers BigQuery

Datastream et Dataflow

Solution personnalisable pour répliquer les modifications apportées aux sources de données

Datastream et Data Fusion

Assistant sans code intégré à un service ETL entièrement géré

Principaux avantages

  • Option la plus simple pour répliquer des données opérationnelles vers BigQuery

  • Architecture sans serveur qui effectue un scaling automatique à la hausse ou à la baisse

  • Interface unique pour la visibilité de bout en bout et la surveillance des pipelines de réplication

  • Solution personnalisable avec plus de flexibilité

  • Modèles prédéfinis acceptés par Google pour différentes destinations

  • Intégration de fonctionnalités supplémentaires telles que la qualité et le masquage des données

  • Interface simple pour les développeurs ETL et les analystes de données

  • Identification à l'avance des problèmes potentiels et des lacunes dans la réplication

  • Insights sur les performances de réplication quasiment en temps réel

Solution entièrement gérée pour la réplication des données de bases de données transactionnelles vers BigQuery

Principaux avantages

  • Option la plus simple pour répliquer des données opérationnelles vers BigQuery

  • Architecture sans serveur qui effectue un scaling automatique à la hausse ou à la baisse

  • Interface unique pour la visibilité de bout en bout et la surveillance des pipelines de réplication

Solution personnalisable pour répliquer les modifications apportées aux sources de données

Principaux avantages

  • Solution personnalisable avec plus de flexibilité

  • Modèles prédéfinis acceptés par Google pour différentes destinations

  • Intégration de fonctionnalités supplémentaires telles que la qualité et le masquage des données

Assistant sans code intégré à un service ETL entièrement géré

Principaux avantages

  • Interface simple pour les développeurs ETL et les analystes de données

  • Identification à l'avance des problèmes potentiels et des lacunes dans la réplication

  • Insights sur les performances de réplication quasiment en temps réel

Vous pouvez également diffuser des données à partir de bases de données opérationnelles dans BigQuery à l'aide de solutions ETL/ELT partenaires, de Kafka ou de tâches par lot. Par rapport à ces options, Datastream offre généralement les avantages suivants : architecture sans serveur, facilité d'intégration et faible latence.

Tarification

Tarifs de Datastream

La tarification de Datastream est basée sur les données réelles traitées. La tarification différenciée par volume est disponible, ce qui la rend plus abordable si vous migrez des volumes de données plus importants. Pour en savoir plus sur la tarification, consultez la page des tarifs de Datastream.

Les ressources supplémentaires, telles que BigQuery, Cloud Storage et Dataflow, sont facturées selon la tarification de ces services.

Passez à l'étape suivante

Profitez de 300 $ de crédits gratuits et de plus de 20 produits Always Free pour commencer à créer des applications sur Google Cloud.

Google Cloud
  • ‪English‬
  • ‪Deutsch‬
  • ‪Español‬
  • ‪Español (Latinoamérica)‬
  • ‪Français‬
  • ‪Indonesia‬
  • ‪Italiano‬
  • ‪Português (Brasil)‬
  • ‪简体中文‬
  • ‪繁體中文‬
  • ‪日本語‬
  • ‪한국어‬
Console
  • Faites des économies grâce à notre approche transparente concernant la tarification
  • Le paiement à l'usage de Google Cloud permet de réaliser des économies automatiques basées sur votre utilisation mensuelle et des tarifs réduits pour les ressources prépayées. Contactez-nous dès aujourd'hui afin d'obtenir un devis.
Google Cloud