Datastream for BigQuery プレビュー
リレーショナル データベースから BigQuery へのシームレスなレプリケーションにより、運用データに関するほぼリアルタイムの分析が可能になります。
利点
最小限のレイテンシで運用データをレプリケートする
MySQL、PostgreSQL、AlloyDB、Oracle データベースのデータを直接 BigQuery にシームレスにレプリケートします。低レイテンシで、ソースのパフォーマンスに影響を与えません。
サーバーレス アーキテクチャのスケールアップとスケールダウンができます。
サーバーレスのアプローチにより、インフラストラクチャの管理なしで自動的にスケーリングを行うため、運用上のオーバーヘッドを解消できます。
数分で利用を開始する
簡素化された設定エクスペリエンスにより、わずか数ステップでオペレーショナル データベースから BigQuery へのデータのレプリケーションを開始できます。
主な機能
主な機能
運用データの BigQuery へのレプリケーション
Datastream は、BigQuery の変更データ キャプチャ（CDC）機能と Storage Write API を使用して、ソースシステムからほぼリアルタイムで効率的に更新をレプリケートします。複雑なデータ パイプライン、セルフマネージド ステージング テーブル、複雑なマージ ロジック、または手動のデータ型変換に貴重なリソースを浪費するレプリケーション ソリューションは不要になりました。
設定が簡単
Datastream では、わずか数ステップでデータを BigQuery にレプリケートできます。BigQuery でソース データベース、接続タイプ、宛先を構成するだけで、Datastream for BigQuery が過去のデータのバックフィルを開始し、以降は継続的に、新しい変更が発生すると同時に変更がレプリケートされます。
リレーショナル データベースからのストリーミング データ
Datastream は、MySQL、PostgreSQL、AlloyDB、Oracle の各種データベースから変更（挿入、更新、削除）をすべて読み取り、配信して、最小限のレイテンシで BigQuery にデータを読み込みます。ソース データベースは、オンプレミス、Cloud SQL や Bare Metal Solution for Oracle などの Google Cloud サービス、または任意のクラウド上でホストすることができます。BigQuery のために構築されたエージェントレスの Google ネイティブ サービスであり、すあらゆるイベントを確実にストリーミングできます。
スキーマ ドリフトの解決
ソーススキーマが変更されると、Datastream はスキーマのドリフトをシームレスに処理し、ソースに追加された新しい列とテーブルを BigQuery に自動的に複製します。
設計から考えられたセキュリティ
Datastream は、転送中のデータを保護するための、複数の安全なプライベート接続方法をサポートしています。また、データは保存時に暗号化されます。
導入事例
顧客は Datastream と BigQuery を使用してリアルタイムの分析情報を実現する
ユースケース
ユースケース
Datastream は、ソース データベースから変更イベント（挿入、更新、削除）を読み取り、ほぼリアルタイムで BigQuery テーブルに書き込みます。これにより、既存の BigQuery データ ウェアハウスと ML モデルに、小売の購入などのトランザクション データを追加して、データの全体像をより詳細に構築できます。Datastream は過去のデータをバックフィルし、新しい変更が発生するたびにその状態を複製して、スキーマの変更をシームレスに処理します。
機能の比較
オペレーショナル データベースから BigQuery へのデータのストリーミング オプションを比較する
Datastream for BigQuery
Datastream と Dataflow
Datastream と Data Fusion
主な利点
-
オペレーション データを BigQuery にレプリケートする最も簡単な方法
-
自動的にスケールアップとスケールダウンを行うサーバーレス アーキテクチャ
-
レプリケーション パイプラインのエンドツーエンドの可視性とモニタリングのための単一のインターフェース
-
柔軟性の高いカスタマイズ可能なソリューション
-
Google の幅広い掲載先に事前に構築されたテンプレート
-
データ品質やデータ マスキングなどのその他の機能の統合
-
ETL デベロッパーとデータ アナリスト向けのシンプルなインターフェース
-
潜在的な問題やレプリケーションのギャップを事前に特定
-
レプリケーションのパフォーマンスに関するほぼリアルタイムの分析情報
主な利点
-
オペレーション データを BigQuery にレプリケートする最も簡単な方法
-
自動的にスケールアップとスケールダウンを行うサーバーレス アーキテクチャ
-
レプリケーション パイプラインのエンドツーエンドの可視性とモニタリングのための単一のインターフェース
主な利点
-
柔軟性の高いカスタマイズ可能なソリューション
-
Google の幅広い掲載先に事前に構築されたテンプレート
-
データ品質やデータ マスキングなどのその他の機能の統合
主な利点
-
ETL デベロッパーとデータ アナリスト向けのシンプルなインターフェース
-
潜在的な問題とレプリケーションのギャップの事前特定
-
レプリケーションのパフォーマンスに関するほぼリアルタイムの分析情報
料金
Datastream の料金
Datastream の料金は、処理された実際のデータに基づいています。ボリューム ベースの階層型料金体系を利用できるため、大容量のデータを移動する場合は、より手頃な価格で利用できます。料金の詳細については、データストリームの料金ページをご覧ください。
BigQuery、Cloud Storage、Dataflow などの追加リソースは、これらのサービスの料金に応じて課金されます。