Bigtable と BigQuery を使用してリアルタイム分析データベースを構築する

Bigtable と BigQuery を組み合わせることで、高パフォーマンスでスケーラブルなリアルタイム分析データベースを実現できます。開発プロセスを合理化し、リアルタイム分析を幅広い可能性にアクセス可能にして、運用ワークフローに AI を導入するのに役立つ統合プラットフォームを構築することで、より迅速なデータと AI の分析情報で顧客満足度を向上させます。

Bigtable の詳細リアルタイムインテリジェンス

リアルタイム分析データベースとは

リアルタイム分析データベースは、データが作成された瞬間にデータを処理することで、即時の分析情報とアクションを提供します。このタイプのデータベースは、企業の知識と運用ワークフローを組み合わせて、時間を考慮する必要がある機能や日々のビジネス運営に AI を組み込む必要がある機能を実現できます。

リアルタイム分析は、パーソナライズされたおすすめ情報、スマートデバイスからのリアクション、予知保全、データメッシュ、プロセス自動化、サイバーセキュリティ、不正行為の防止などのアプリケーションで使用されます。リアルタイムの分析データベースは、多くの場合、最新の情報にアクセスする生成 AI ワークフローにとって不可欠です。

以前はこのようなタイプのアプリケーションの構築は複雑で、リソースを大量に消費しましたが、Bigtable と BigQuery の新しい進化により、プロセスが簡素化されました。

利点

シームレスなインテグレーション

Bigtable と BigQuery は、セルフマネージド ETL ジョブを必要とせずに、リアルタイムの分析情報と過去のデータを組み合わせます。2 つのサービス間で SQL 言語が統一されているため、開発エクスペリエンスも 1 つにまとめられます。

組み込みのリアルタイム機能

連携するように設計された専用のリアルタイム機能により、テラバイトやペタバイト規模のデータや非常に高い秒間クエリ数（QPS）でも、包括的なリアルタイム分析データベースを提供します。

運用を削減し、より多くの成果を達成

フルマネージド型のエンタープライズグレードのリアルタイム分析ソリューションは、業界をリードする SLA により運用上のオーバーヘッドを最小限に抑え、信頼できる信頼性とパフォーマンスを実現します。

主な機能

ストリーミングデータに応答する

Google Cloud は、さまざまなソースからの継続的なデータストリームを処理するための堅牢なストリーミング分析エコシステムを提供しています。BigQuery は、既知のスキーマの取り込みソースとして最適です。BigQuery のストレージ書き込み API と継続的クエリにより、直接データを取り込み、ウェアハウス内のデータの鮮度を最大化し、他のソースに接続できます。一方、Bigtable は、グローバルな線形のスケーラビリティと組み込みのデータ同期を提供し、書き込み後の即時的な整合性が必要とされる柔軟で動的なスキーマに優れています。Bigtable は、すぐに使えるタイムスタンプベースのバージョニングと自動化された有効期間（TTL）保持ポリシーも提供しているため、ストリーミングイベントの保存と分析に最適な選択肢となります。また、ストリーミングに必要なデータの量も考慮する必要があります。BigQuery は、米国と EU のマルチリージョンでは 1 秒あたり数ギガビット/秒（Gbps）で、他のリージョンでは 1 秒あたり数百メガビット/秒（Mbps）でデータをストリーミングできます。Bigtable は、Bigtable がサポートするすべてのリージョンで、1 秒あたり 14,000 回の書き込みという線形のスケーラビリティを備え、ストリーミングデータのキャプチャに柔軟性を提供します。

BigQuery と Bigtable を組み合わせることで、トレードオフを行う必要がなく、ユースケースに適した取り込み手法を選択できます。

分析と高速な取得を備えたスケーラブルで柔軟なストレージ

ほとんどのデータベースでは、高速な行の取得と大規模な分析処理のどちらかを選択する必要があります。Bigtable と BigQuery は、それぞれ異なる目的を組み合わせて、クエリの種類に関係なく、完全なリアルタイム分析データベースを提供します。

Bigtable は、単一の行またはデータ範囲の超高速な取得に最適化されたストレージエンジンとして優れており、アプリケーション内のグラフ、プロファイル検索、時系列分析、クリック数などのストリーミングデータの指標、予測可能で大量かつ低レイテンシで処理する必要があるその他のクエリなど、ユーザー向けアプリケーションでリアルタイムの応答性が求められる場面で理想的です。Bigtable は、ログ構造化エンジン（LSM ツリー）に基づいており、インメモリと分割ディスクストレージの組み合わせと、同期アクセスと非同期アクセスの両方に対応する特殊なクライアントライブラリを使用して、高パフォーマンスを実現するように最適化されています。Bigtable の柔軟なスキーマとセルフマネージド機能により、要求の厳しいアプリケーションにさらに適したサービスになっています。一方、BigQuery は分析ワークロードに優れており、複雑な集計、Vertex AI とのインテグレーション、変換を使用して大規模なデータセットをクエリして分析するための強力なツールを提供します。

Bigtable と BigQuery を組み合わせることで、個々の行の検索と大規模なデータセットに対する包括的な分析処理のどちらかを選択する必要がなくなります。シームレスな統合により、リアルタイムアプリケーションを強化するために、どちらのストレージモデルも簡単に使用できます。Bigtable は、BigQuery サイズのデータセット向けの費用対効果の高いキャッシュソリューションとしてよく使用されます。たとえば、BigQuery を使用してエンベディングをバッチで生成し、Bigtable でそれらのエンベディングを提供して、検索拡張生成（RAG）アプリケーションをサポートできます。

すぐに利用できる指標

Bigtable は、書き込まれたデータを前処理して、即座に結果と分析情報を提供する特殊なデータ型を提供します。データの書き込み時に合計、最小値、最大値、個別の概算数を計算できます。また、組み込みのグローバルレプリケーションにより、アプリケーション全体で一貫した結果を取得できます。これらのデータ型は、BigQuery から読み込めるウェアハウスデータとも完全に相互運用できます。

リアルタイムのデータ集約は、包括的な ML 機能の作成を強化し、その瞬間にユーザーを引きつける正確な予測につながります。

継続的データの分析

Bigtable は BigQuery の分析エコシステムに統合されているため、リアルタイムデータに簡単にアクセスして、追加のストリーミング分析を行うことができます。外部テーブルを使用して BigQuery の他のデータセットで Bigtable データのクエリ実行と結合を行い、オープンソースの Spark 分析または Apache Beam パイプラインを使用して、Bigtable データに直接結果を書き戻すことができます。また、この分析アクセスでは、Bigtable の Data Boost を使用して、リアルタイムのアプリケーションパフォーマンスに影響を与えることなく、高パフォーマンスの分析を取得することもできます。さらに、変更データキャプチャ（CDC）と Dataplex により、Bigtable データのエクスポートと検出が簡単になります。複雑なデータ同期タスクやカスタマイズされたタスクは必要ありません。