Google Cloud Next Tokyo:7/30、31 東京ビッグサイトにて開催!
移動
Datastream

Datastream

サーバーレスで使いやすい変更データ キャプチャとレプリケーション サービス

  • MySQL、PostgreSQL、AlloyDB、SQL Server、Oracle の各種データベースからストリーミング データへアクセス

  • Datastream for BigQuery を使用した BigQuery で、ほぼリアルタイムの分析を実現

  • レイクハウスとオペレーショナル データベース間の完全なデータループ

  • 組み込みのセキュアな接続を備えた使いやすい設定で、価値創出までの時間を短縮

  • 自動スケーリングに対応したサーバーレス プラットフォーム。プロビジョニングや管理のためのリソースも必要ありません。

利点

最小のレイテンシでデータの複製と同期を行う

ソース パフォーマンスへの影響を最小限に抑えながら、異種データベース、ストレージ システム、およびアプリケーション間でデータを低遅延で確実に同期します。

サーバーレス アーキテクチャにより、スケールアップやスケールダウンが可能

サーバーレスで使いやすく、シームレスにスケールアップやスケールダウンが可能で、管理が必要なインフラストラクチャもないサービスを、すぐに利用開始できます。

Google Cloud サービスの比類のない柔軟性

BigQueryLakehouse for Apache IcebergSpannerDataflow などの主要な Google Cloud サービスを活用して、組織全体のデータを接続して統合します。

主な機能

Datastream の独自のアプローチ

リレーショナル データベースからのデータ ストリーミング

Datastream は、MySQL、PostgreSQL、AlloyDB、SQL Server、Oracle のデータベースから変更(挿入、更新、削除)をすべて読み取り、配信し、BigQueryCloud SQLCloud StorageCloud Spanner にデータを読み込みます。エージェントレスかつ Google ネイティブであるため、あらゆるイベントを確実にストリーミングできます。Datastream は 1 か月あたり 5,000 億以上のイベントを処理しています。

Lakehouse の同期

Datastream を使用して、AlloyDB と Iceberg および BigQuery テーブル間の完全なデータループを作成し、Knowledge Catalog を活用してデータ ガバナンスとデータの見つけやすさを向上させます。

高度な復旧機能を備えた信頼性の高いパイプライン

予期しない中断は費用がかさむ可能性があります。Datastream の堅牢なストリーム復旧により、ダウンタイムとデータ損失を最小限に抑え、重要なビジネス オペレーションを維持するとともに、中断のないデータ パイプラインに基づく意思決定を可能にします。

スキーマ ドリフトの解決

ソーススキーマが変更されると、Datastream によりスキーマドリフトを高速かつシームレスに解消できます。Datastream は、スキーマが変更されるたびにファイルをローテーションし、転送先バケットに新しいファイルを作成します。元のソースデータ型は、最新のバージョニングされたスキーマ レジストリから API 呼び出しで取得できます。

安全性を重視した設計

Datastream は、転送中のデータを保護するための、安全でプライベートな接続方法を複数サポートしています。さらに、データは転送時も保存時も暗号化されるため、ストリーミング中も安心して利用できます。

Datastream は、さまざまな運用データソースから BigQuery への高品質で整合性のとれたデータ レプリケーションを実現するうえで役立ちました。使いやすく、サーバーレスでスケーラビリティが高いため、短期間で最初のストリームを設定できました。データの取り込みはデータ プラットフォームの移行の基盤だったため、スピードは当社にとって非常に重要でした。

Just Eat Takeaway、データの取り込み担当リード、Oleksandr Kaleniuk 氏

Just Eat Takeaway のロゴ

ドキュメント

Datastream のリソースとドキュメントを検索する

Google Cloud Basics

Datastream の概要

Datastream を使用して、異種データベース、ストレージ システム、アプリケーション間でデータの複製と同期を行う方法をご覧ください。

Quickstart

Cloud Console を使用した Datastream のクイックスタート

Google Cloud コンソールをビジュアル インターフェースとして使用して、データのストリーミングを開始する方法をご覧ください。

Tutorial

API を使用してデータストリームを構成する

API を使用して、ソース Oracle データベースから Cloud Storage にデータを転送するように Datastream を構成する方法をご覧ください。

Google Cloud Basics

Oracle から Cloud SQL for PostgreSQL に移行する方法

Google の Datastream ベースのオープンソース ツールキットを使用して、Oracle から Cloud SQL for PostgreSQL に移行します。

Tutorial

Datastream と Dataflow でデータを BigQuery に複製する

Datastream と Dataflow テンプレートを組み合わせて、リレーショナル データベースからデータを複製する方法をご覧ください。

Tutorial

Oracle データベースから BigQuery にデータを複製する方法

この動画では、Datastream と統合されている Data Fusion のレプリケーション アクセラレータを使用して、Oracle から BigQuery にリアルタイムでデータを複製する方法を説明しています。

お探しのものが見つからない場合

ユースケース

継続的な変更データ キャプチャ: イベントが発生するたびに複製する

ユースケース
ストリームをいつでもリアルタイムで変更可能

変更データ キャプチャは、ソース データベースから変更イベント(挿入、更新、削除)を読み取り、それをデータの移行先に書き込むことでデータを統合して、アクションを実行できるようにします。Datastream は、Oracle データベースや MySQL データベースから BigQuery、Cloud SQL、Cloud Storage、Cloud Spanner への変更ストリームをサポートして、リアルタイム解析やデータベース レプリケーションなどのユースケースに対応します。上記以外のデータベースも移行元と移行先に今後指定できるようになる予定です。

Datastream のアーキテクチャ図

料金

Datastream の料金の詳細

Datastream の料金は、実際に処理された月間データに基づいて計算されます。料金の詳細については、Datastream の料金ページをご覧ください。

Cloud Storage、Dataflow、BigQuery などの追加リソースは、該当するサービスの料金に応じて課金されます。

パートナー

推奨パートナー

Google Cloud パートナーは、Datastream を活用してデータの価値を最大限に引き出すことを支援します。

  • HCL パートナー
  • BADAL パートナー
  • Devoteam G Cloud
  • Intelia パートナー
  • Datatonic パートナー
  • Intuitive Technology Partners のロゴ

ORACLE® は Oracle Corporation の登録商標です。

次のステップ

$300 分の無料クレジットと 20 以上の無料枠プロダクトを活用して、Google Cloud で構築を開始しましょう。

Datastream
  • Google Cloud プロダクト
  • 100 種類を超えるプロダクトをご用意しています。新規のお客様には、ワークロードの実行、テスト、デプロイができる無料クレジット $300 分を差し上げます。また、すべてのお客様に 25 以上のプロダクトを無料でご利用いただけます(毎月の使用量上限があります)。
Google Cloud