Datastream for BigQuery

Datastream は、BigQuery の変更データ キャプチャ（CDC）機能と Storage Write API を使用して、ソースシステムから更新をほぼリアルタイムで効率的に複製します。複雑なデータ パイプライン、セルフマネージドのステージング テーブル、複雑なマージ ロジック、手動によるデータ型変換に貴重なリソースを浪費するレプリケーション ソリューションは不要になりました。

Datastream では、わずか数ステップでデータを BigQuery にレプリケートできます。BigQuery でソース データベース、接続タイプ、宛先を構成するだけで、Datastream for BigQuery が過去のデータのバックフィルを開始し、以降は継続的に、新しい変更が発生すると同時に変更がレプリケートされます。

Datastream は、MySQL、PostgreSQL、AlloyDB、Oracle の各種データベースから変更（挿入、更新、削除）をすべて読み取り、配信して、最小限のレイテンシで BigQuery にデータを読み込みます。ソース データベースは、オンプレミスや Cloud SQL、さらに Bare Metal Solution for Oracle などの Google Cloud サービス、または任意のクラウド上でホストすることができます。BigQuery のために構築されたエージェントレスの Google ネイティブ サービスであり、すあらゆるイベントを確実にストリーミングできます。

ソーススキーマが変更されると、Datastream はスキーマのドリフトをシームレスに処理し、ソースに追加された新しい列とテーブルを BigQuery に自動的に複製します。

Datastream は、転送中のデータを保護するための、複数の安全なプライベート接続方法をサポートしています。また、データは保存時に暗号化されます。