La source SQL Server de Datastream est disponible en version preview.Consulter le blog.

Accéder à
Datastream

Datastream

Service sans serveur simple à utiliser pour la capture et la réplication des données modifiées.

  • Accès à des flux de données provenant de bases de données MySQL, PostgreSQL, AlloyDB, SQL Server et Oracle

  • Analyse en temps quasi réel dans BigQuery avec Datastream pour BigQuery

  • Boucle de données complète entre votre lakehouse et votre base de données opérationnelle

  • Configuration facile à utiliser et connectivité sécurisée intégrée pour accélérer le retour sur investissement

  • Plate-forme sans serveur qui effectue un scaling automatique, sans ressources à provisionner ni à gérer

Avantages

Répliquer et synchroniser des données avec une latence minimale

Synchronisez les données entre des bases de données, des systèmes de stockage et des applications hétérogènes de manière fiable, avec une faible latence, tout en minimisant l'impact sur les performances des sources.

Effectuer un scaling à la hausse ou à la baisse avec une architecture sans serveur

Soyez opérationnel rapidement grâce à un service facile d'utilisation et sans serveur, qui effectue un scaling à la hausse ou à la baisse de manière fluide sans aucune infrastructure à gérer.

Flexibilité inégalée avec les services Google Cloud

Connectez et intégrez des données dans votre organisation à l'aide des meilleurs services Google Cloud tels que BigQuery, Lakehouse pour Apache Iceberg, Spanner et Dataflow.

Principales fonctionnalités

L'approche différenciée de Datastream

Flux de données à partir de bases de données relationnelles

Datastream lit et diffuse chaque modification (insertion, mise à jour et suppression) apportée à vos bases de données MySQL, PostgreSQL, AlloyDB, SQL Server et Oracle pour charger des données dans BigQuery, Cloud SQL, Cloud Storage et Spanner. Sans agent et Google natif, cette solution diffuse chaque événement de manière fiable en temps réel. Datastream traite plus de 500 milliards d'événements par mois.

Synchronisation du lakehouse

Utilisez Datastream pour créer une boucle de données complète entre AlloyDB et vos tables Iceberg et BigQuery, en exploitant Knowledge Catalog pour la gouvernance des données et la facilité de découverte des données.

Pipelines fiables avec récupération avancée

Les interruptions inattendues peuvent être coûteuses. La fonctionnalité robuste de récupération des flux de Datastream réduit les temps d'arrêt et les pertes de données. Vous pouvez ainsi assurer vos opérations commerciales critiques et prendre des décisions éclairées en vous basant sur des pipelines de données ininterrompus.

Résolution de la dérive du schéma

Au fur et à mesure de l'évolution des schémas sources, Datastream permet une résolution rapide et transparente des écarts de schéma. Datastream effectue une rotation des fichiers pour créer un fichier dans le bucket de destination à chaque modification de schéma. Les types de données sources d'origine sont accessibles grâce à un simple appel d'API via le registre de schémas avec versions gérées et à jour.

Conception sécurisée

Datastream est compatible avec plusieurs méthodes de connectivité privées sécurisées pour protéger les données en transit. De plus, les données sont chiffrées en transit et au repos afin que vous puissiez facilement savoir si vos données sont protégées pendant leur diffusion.

Datastream a joué un rôle déterminant dans la réalisation d'une réplication de haute qualité des données rapprochées à partir de nos différentes sources de données opérationnelles dans BigQuery. Cette solution facile à utiliser, sans serveur et hautement évolutive nous permet de configurer les premiers flux en peu de temps. La rapidité était essentielle pour nous, car l'ingestion de données constituait la fondation de la migration de notre plate-forme de données.

Oleksandr Kaleniuk, responsable de l'ingestion de données chez Just Eat Takeaway

Logo Just Eat Takeaway

Documentation

Consulter des ressources et de la documentation sur Datastream

Google Cloud Basics

Présentation de Datastream

Découvrez comment Datastream vous aide à répliquer et à synchroniser des données entre des bases de données, des systèmes de stockage et des applications hétérogènes.

Quickstart

Guide de démarrage rapide de Datastream avec Cloud Console

Découvrez comment utiliser la console Google Cloud en tant qu'interface visuelle pour démarrer la diffusion de données.

Tutorial

Configurer Datastream à l'aide de l'API

Apprenez à utiliser l'API pour configurer Datastream afin de transférer des données d'une base de données Oracle source vers Cloud Storage.

Google Cloud Basics

Migrer d'Oracle vers Cloud SQL pour PostgreSQL

Utilisez le kit Open Source de Google, basé sur Datastream, pour migrer d'Oracle vers Cloud SQL pour PostgreSQL.

Tutorial

Répliquer des données dans BigQuery à l'aide de Datastream et de Dataflow

Découvrez comment combiner Datastream et Dataflow pour répliquer des données à partir d'une base de données relationnelle.

Tutorial

Répliquer les données d'une base de données Oracle vers BigQuery

Regardez cette vidéo pour découvrir comment répliquer des données en temps réel depuis Oracle vers BigQuery à l'aide de l'accélérateur de réplication de Data Fusion intégré à Datastream.

Vous ne trouvez pas ce que vous cherchez ?

Cas d'utilisation

Capture continue de données modifiées : réplication de chaque événement en temps réel

Cas d'utilisation
Diffusions en temps réel et à tout moment

La capture des données modifiées intègre les données en lisant les événements de modification (insertions, mises à jour et suppressions) à partir de bases de données sources et en les écrivant dans une destination de données, ce qui vous permet de prendre des mesures le cas échéant. Datastream est compatible avec les flux de modification des bases de données Oracle et MySQL dans BigQuery, Cloud SQL, Cloud Storage et Cloud Spanner. Vous pouvez ainsi l'utiliser pour effectuer des analyses en temps réel, répliquer des bases de données et bien d'autres choses. D'autres sources et destinations seront disponibles ultérieurement.

Schéma de l'architecture Datastream

Tarification

Détail des tarifs de Datastream

Les tarifs de Datastream sont calculés en fonction des données mensuelles réellement traitées. Pour en savoir plus sur la tarification, consultez la page des tarifs de Datastream.

Les ressources supplémentaires telles que Cloud Storage, Dataflow et BigQuery sont facturées selon la grille tarifaire de ces services.

Partenaires

Partenaires recommandés

Les partenaires Google Cloud peuvent vous aider à exploiter au mieux vos données avec Datastream.

  • Partenaire HCL
  • Partenaire BADAL
  • devoteam g cloud
  • Partenaire Intelia
  • Partenaire Datatonic
  • Logo Intuitive Technology Partners

ORACLE® est une marque déposée d'Oracle Corporation.

Passez à l'étape suivante

Commencez à créer sur Google Cloud avec 300 $ de crédits inclus et plus de 20 produits toujours sans frais.

Datastream
Google Cloud