コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。
BigQuery 向け Datastream では、ほぼリアルタイムのビジネス分析情報を取得できます。ブログを読む
ジャンプ先

Datastream for BigQuery プレビュー

リレーショナル データベースから BigQuery へのシームレスなレプリケーションにより、運用データに関するほぼリアルタイムの分析が可能になります。

  • 低レイテンシのレプリケーションにより、BigQuery でほぼリアルタイムの分析情報を取得できます

  • MySQL、PostgreSQL、AlloyDB、Oracle の各種データベースからストリーミング データへアクセス

  • 自動スケーリングに対応したサーバーレス プラットフォーム。プロビジョニングや管理のためのリソースも必要ありません

  • 安全な接続が組み込まれた ELT(抽出、読み込み、変換)パイプラインの簡単な設定

利点

最小限のレイテンシで運用データをレプリケートする

MySQL、PostgreSQL、AlloyDB、Oracle データベースのデータを直接 BigQuery にシームレスにレプリケートします。低レイテンシで、ソースのパフォーマンスに影響を与えません。

サーバーレス アーキテクチャのスケールアップとスケールダウンができます。

サーバーレスのアプローチにより、インフラストラクチャの管理なしで自動的にスケーリングを行うため、運用上のオーバーヘッドを解消できます。

数分で利用を開始する

簡素化された設定エクスペリエンスにより、わずか数ステップでオペレーショナル データベースから BigQuery へのデータのレプリケーションを開始できます。

主な機能

主な機能

運用データの BigQuery へのレプリケーション

Datastream は、BigQuery の変更データ キャプチャ(CDC)機能と Storage Write API を使用して、ソースシステムからほぼリアルタイムで効率的に更新をレプリケートします。複雑なデータ パイプライン、セルフマネージド ステージング テーブル、複雑なマージ ロジック、または手動のデータ型変換に貴重なリソースを浪費するレプリケーション ソリューションは不要になりました。

設定が簡単

Datastream では、わずか数ステップでデータを BigQuery にレプリケートできます。BigQuery でソース データベース、接続タイプ、宛先を構成するだけで、Datastream for BigQuery が過去のデータのバックフィルを開始し、以降は継続的に、新しい変更が発生すると同時に変更がレプリケートされます。

リレーショナル データベースからのストリーミング データ

Datastream は、MySQL、PostgreSQL、AlloyDB、Oracle の各種データベースから変更(挿入、更新、削除)をすべて読み取り、配信して、最小限のレイテンシで BigQuery にデータを読み込みます。ソース データベースは、オンプレミス、Cloud SQLBare Metal Solution for Oracle などの Google Cloud サービス、または任意のクラウド上でホストすることができます。BigQuery のために構築されたエージェントレスの Google ネイティブ サービスであり、すあらゆるイベントを確実にストリーミングできます。 

スキーマ ドリフトの解決

ソーススキーマが変更されると、Datastream はスキーマのドリフトをシームレスに処理し、ソースに追加された新しい列とテーブルを BigQuery に自動的に複製します。

設計から考えられたセキュリティ

Datastream は、転送中のデータを保護するための、複数の安全なプライベート接続方法をサポートしています。また、データは保存時に暗号化されます。

導入事例

顧客は Datastream と BigQuery を使用してリアルタイムの分析情報を実現する

ユースケース

ユースケース

ユースケース
BigQuery へのサーバーレス レプリケーション

Datastream は、ソース データベースから変更イベント(挿入、更新、削除)を読み取り、ほぼリアルタイムで BigQuery テーブルに書き込みます。これにより、既存の BigQuery データ ウェアハウスと ML モデルに、小売の購入などのトランザクション データを追加して、データの全体像をより詳細に構築できます。Datastream は過去のデータをバックフィルし、新しい変更が発生するたびにその状態を複製して、スキーマの変更をシームレスに処理します。

BigQuery へのサーバーレス レプリケーション

機能の比較

オペレーショナル データベースから BigQuery へのデータのストリーミング オプションを比較する

Datastream for BigQuery

トランザクション データベースから BigQuery にデータをレプリケートするためのフルマネージド ソリューション

Datastream と Dataflow

データソースの変更をレプリケートするためのカスタマイズ可能なソリューション

Datastream と Data Fusion

フルマネージド ETL サービスの一部であるコードフリー ウィザード

主な利点

  • オペレーション データを BigQuery にレプリケートする最も簡単な方法

  • 自動的にスケールアップとスケールダウンを行うサーバーレス アーキテクチャ

  • レプリケーション パイプラインのエンドツーエンドの可視性とモニタリングのための単一のインターフェース

  • 柔軟性の高いカスタマイズ可能なソリューション

  • Google の幅広い掲載先に事前に構築されたテンプレート

  • データ品質やデータ マスキングなどのその他の機能の統合

  • ETL デベロッパーとデータ アナリスト向けのシンプルなインターフェース

  • 潜在的な問題やレプリケーションのギャップを事前に特定

  • レプリケーションのパフォーマンスに関するほぼリアルタイムの分析情報

トランザクション データベースから BigQuery にデータをレプリケートするためのフルマネージド ソリューション

主な利点

  • オペレーション データを BigQuery にレプリケートする最も簡単な方法

  • 自動的にスケールアップとスケールダウンを行うサーバーレス アーキテクチャ

  • レプリケーション パイプラインのエンドツーエンドの可視性とモニタリングのための単一のインターフェース

データソースの変更をレプリケートするためのカスタマイズ可能なソリューション

主な利点

  • 柔軟性の高いカスタマイズ可能なソリューション

  • Google の幅広い掲載先に事前に構築されたテンプレート

  • データ品質やデータ マスキングなどのその他の機能の統合

フルマネージド ETL サービスの一部であるコードフリー ウィザード

主な利点

  • ETL デベロッパーとデータ アナリスト向けのシンプルなインターフェース

  • 潜在的な問題とレプリケーションのギャップの事前特定

  • レプリケーションのパフォーマンスに関するほぼリアルタイムの分析情報

また、パートナーの ETL/ELT ソリューション、Kafka、バッチジョブを使用して、オペレーショナル データベースから BigQuery にデータをストリーミングすることもできます。これらのオプションと比較すると、Datastream には通常、サーバーレス アーキテクチャ、統合の容易さ、低レイテンシという利点があります。

料金

Datastream の料金

Datastream の料金は、処理された実際のデータに基づいています。ボリューム ベースの階層型料金体系を利用できるため、大容量のデータを移動する場合は、より手頃な価格で利用できます。料金の詳細については、データストリームの料金ページをご覧ください。

BigQuery、Cloud Storage、Dataflow などの追加リソースは、これらのサービスの料金に応じて課金されます。