Datastream pour BigQuery

Datastream utilise la fonctionnalité de capture de données modifiées (CDC, Change Data Capture) de BigQuery et l'API Storage Write pour répliquer efficacement les mises à jour directement depuis les systèmes sources, quasiment en temps réel. Vous n'avez plus besoin de solutions de réplication qui gaspillent des ressources précieuses sur des pipelines de données complexes, des tables de préproduction autogérées, une logique de fusion complexe ou une conversion manuelle du type de données.

Datastream vous permet de commencer à répliquer des données dans BigQuery en quelques étapes. Il vous suffit de configurer votre base de données source, votre type de connexion et votre destination dans BigQuery. Datastream pour BigQuery remplit les données historiques et réplique en continu les nouvelles modifications à mesure qu'elles se produisent.

Datastream lit et livre chaque modification (insertion, mise à jour et suppression) de vos bases de données MySQL, PostgreSQL, AlloyDB, SQL Server et Oracle dans BigQuery avec une latence minimale. La base de données source peut être hébergée sur site, sur des services Google Cloud tels que Cloud SQL ou Bare Metal Solution for Oracle, ou ailleurs sur le cloud. Conçu spécialement pour BigQuery, ce service natif sans agent permet de diffuser chaque événement en continu de manière fiable.

À mesure que les schémas sources changent, Datastream gère facilement la dérive du schéma et réplique automatiquement les nouvelles colonnes et tables ajoutées dans la source dans BigQuery.

Datastream est compatible avec plusieurs méthodes de connectivité privées sécurisées pour protéger les données en transit. Les données sont également chiffrées au repos.