サーバーレスで使いやすい変更データ キャプチャとレプリケーション サービス
MySQL、PostgreSQL、AlloyDB、SQL Server、Oracle の各種データベースからストリーミング データへアクセス
Datastream for BigQuery を使用した BigQuery で、ほぼリアルタイムの分析を実現
レイクハウスとオペレーショナル データベース間の完全なデータループ
組み込みのセキュアな接続を備えた使いやすい設定で、価値創出までの時間を短縮
自動スケーリングに対応したサーバーレス プラットフォーム。プロビジョニングや管理のためのリソースも必要ありません。
利点
最小のレイテンシでデータの複製と同期を行う
ソース パフォーマンスへの影響を最小限に抑えながら、異種データベース、ストレージ システム、およびアプリケーション間でデータを低遅延で確実に同期します。
サーバーレス アーキテクチャにより、スケールアップやスケールダウンが可能
サーバーレスで使いやすく、シームレスにスケールアップやスケールダウンが可能で、管理が必要なインフラストラクチャもないサービスを、すぐに利用開始できます。
Google Cloud サービスの比類のない柔軟性
BigQuery、Lakehouse for Apache Iceberg、Spanner、Dataflow などの主要な Google Cloud サービスを活用して、組織全体のデータを接続して統合します。
主な機能
Datastream は、MySQL、PostgreSQL、AlloyDB、SQL Server、Oracle のデータベースから変更(挿入、更新、削除)をすべて読み取り、配信し、BigQuery、Cloud SQL、Cloud Storage、Cloud Spanner にデータを読み込みます。エージェントレスかつ Google ネイティブであるため、あらゆるイベントを確実にストリーミングできます。Datastream は 1 か月あたり 5,000 億以上のイベントを処理しています。
Datastream を使用して、AlloyDB と Iceberg および BigQuery テーブル間の完全なデータループを作成し、Knowledge Catalog を活用してデータ ガバナンスとデータの見つけやすさを向上させます。
予期しない中断は費用がかさむ可能性があります。Datastream の堅牢なストリーム復旧により、ダウンタイムとデータ損失を最小限に抑え、重要なビジネス オペレーションを維持するとともに、中断のないデータ パイプラインに基づく意思決定を可能にします。
ソーススキーマが変更されると、Datastream によりスキーマドリフトを高速かつシームレスに解消できます。Datastream は、スキーマが変更されるたびにファイルをローテーションし、転送先バケットに新しいファイルを作成します。元のソースデータ型は、最新のバージョニングされたスキーマ レジストリから API 呼び出しで取得できます。
Datastream は、転送中のデータを保護するための、安全でプライベートな接続方法を複数サポートしています。さらに、データは転送時も保存時も暗号化されるため、ストリーミング中も安心して利用できます。
導入事例
Datastream は、さまざまな運用データソースから BigQuery への高品質で整合性のとれたデータ レプリケーションを実現するうえで役立ちました。使いやすく、サーバーレスでスケーラビリティが高いため、短期間で最初のストリームを設定できました。データの取り込みはデータ プラットフォームの移行の基盤だったため、スピードは当社にとって非常に重要でした。
Just Eat Takeaway、データの取り込み担当リード、Oleksandr Kaleniuk 氏

ドキュメント
Google の Datastream ベースのオープンソース ツールキットを使用して、Oracle から Cloud SQL for PostgreSQL に移行します。
ユースケース
変更データ キャプチャは、ソース データベースから変更イベント(挿入、更新、削除)を読み取り、それをデータの移行先に書き込むことでデータを統合して、アクションを実行できるようにします。Datastream は、Oracle データベースや MySQL データベースから BigQuery、Cloud SQL、Cloud Storage、Cloud Spanner への変更ストリームをサポートして、リアルタイム解析やデータベース レプリケーションなどのユースケースに対応します。上記以外のデータベースも移行元と移行先に今後指定できるようになる予定です。

ORACLE® は Oracle Corporation の登録商標です。