Bigtable 階層型ストレージの導入: より多くのデータをより長期間かつ安価で保存

※この投稿は米国時間 2025 年 10 月 28 日に、Google Cloud blog に投稿されたものの抄訳です。

このたび、大規模なデータセットを効率的に管理できる新しい Bigtable ストレージ階層がプレビュー版でリリースされました。この費用対効果の高いフルマネージド システムは、アクセス頻度の低いデータを高パフォーマンスの SSD から低頻度アクセス ストレージに自動的に移動し、総所有コストを削減します。Bigtable の階層型ストレージを使用すると、単一のインターフェースを介してホットとコールドの両方の階層のデータにアクセスして変更できます。費用管理のためにデータを犠牲にする必要はありません。アプリケーションの全体像を把握できるため、重要な過去の分析情報を妥協することなく見つけられます。

Google Cloud の Key-Value かつワイドカラム型ストアである Bigtable は、製造業や自動車産業などのセンサー、機器、運用からの時系列データを含む、構造化データ、半構造化データ、非構造化データへの高速アクセスに最適です。

電気自動車（EV）のバッテリーデータ、工場現場の機械の状態、ソフトウェア定義車両（SDV）や車載インフォテインメント（IVI）システムからの自動車テレメトリーなどの大量のデータストリームは、ビジネスと技術の目標を達成するために不可欠です。これらの目標は、ドライバーのパーソナライズや機器のメンテナンス スケジュールの最適化から、ロジスティクスの最適化や予測メンテナンスまで多岐にわたります。しかし、このような膨大な量のデータを効率的に保存するには費用がかかる可能性があり、特にアクセス頻度が低い場合はその傾向が強くなります。

Bigtable 階層型ストレージのご紹介

Bigtable の新しい階層化ストレージ機能を使用すると、規制によるデータ ストレージ要件を満たしながら、ストレージ費用を管理できます。古く使用頻度の低いデータは、より安価なストレージ階層に自動的に移動されます。この階層でも、必要に応じてデータを利用できます。また、最近の使用頻度の高いデータへのアクセスに影響はありません。

Bigtable の新しい「低頻度アクセス」ストレージ階層は、既存の SSD ストレージと連携して動作します。これにより、頻繁に使用されるデータと頻繁に使用されないデータの両方を同じテーブルに保存し、すべてを 1 か所で管理できます。この機能は Bigtable の自動スケーリングと連携して、Bigtable インスタンスのリソース使用率を最適化します。さらに、低頻度アクセス ストレージ階層のデータは、同じ Bigtable API を使用して、既存の SSD ストレージとともにアクセスできます。

Bigtable 階層型ストレージの主なメリット

• 統合管理: アクセス頻度の低いデータをアーカイブ ストレージに手動でエクスポートすることなく、単一の Bigtable インスタンスでデータを管理できます。Bigtable の階層型ストレージを使用すると、運用上のオーバーヘッドを削減し、手動でのデータ整理や移行を回避できます。

• 自動階層化: 経過時間に基づく階層化ポリシーを設定すると、Bigtable が SSD 階層と低頻度アクセス階層の間でデータを自動的に移動します。データアクセスを維持しながら、規制遵守要件を満たすためにデータを長期間保持します。

• 費用最適化: ストレージ費用を削減するために、履歴データを移動して低頻度アクセス ストレージに保存します。低頻度アクセス ストレージの費用は、SSD ストレージよりも最大 85% 低く抑えられています。これにより、ストレージの総費用と、手動によるデータ移行の運用オーバーヘッドを大幅に削減できます。

• ストレージ容量の増加: 低頻度アクセス ストレージにより、Bigtable ノードの総ストレージ容量が増加します。これにより、標準の Bigtable SSD ノードよりもノードあたりのデータ保存量を増やすことができます。階層型ストレージを備えた Bigtable ノードは、通常の SSD ノードよりも容量が 540% 多くなっています。

• 分析とレポート作成のためのデータ アクセシビリティ: Bigtable SQL を使用して、使用頻度の低いデータにクエリを実行します。その後、Bigtable の論理ビューを構築して、必要に応じてクエリできる形式でこのデータを表示できます。この機能は、特定のユーザーにテーブルへの完全なアクセス権を付与することなく、レポートの履歴データへのアクセス権を付与する場合に便利です。

運用時系列データの例

Bigtable は、センサー測定値や車両テレメトリーなどの時系列データに適しています。このデータの多様性、速度、ボリュームは、Bigtable の階層型ストレージに適しています。このデータパターンには以下が含まれます。

• スキーマの多様性: システムには、構造が異なる複数のデータソースがあることがよくあります。Bigtable の柔軟な構造は、これらのさまざまなソースの管理に役立ちます。

• 時間ベースのアクセス パターン: リアルタイム運用やダッシュボードには最新のデータが必要となることが多く、履歴データは分析や長期的な傾向の把握に役立ちます。

• アーカイブのニーズ: コンプライアンスや分析のために、データを長期間保存する必要があります。

• センサーデータに Bigtable を使用する製造工場を考えてみましょう。

• 課題: 工場では、センサーから毎秒データを収集しています。この情報は重要ですが、すべてを SSD デバイスに保存すると費用がかかります。

• 解決策: 工場では、経時ベースのルールで Bigtable の階層型ストレージを使用しています。

  • 過去 30 日間: データは SSD に保存され、迅速にアクセスできます。

  • 30 日～ 1 年: データは分析のために低頻度アクセス ストレージ階層に移動されます。

  • 1 年以上経過: テーブルのガベージ コレクション ポリシーによりデータが削除されます。この期間は完全に構成可能で、たとえば 6 年に延長できます。注: 低頻度アクセス ストレージ階層には、SSD ストレージへのアクセスに使用するのと同じ Bigtable API を使用してアクセスできます。

• 実装: センサーデータ テーブルの階層型ストレージを有効にし、有効期限を 30 日に設定します。

• パフォーマンスのモニタリング: Bigtable のモニタリング ツールを使用して、SSD と低頻度アクセス層の両方でストレージの使用量、速度、データフローを追跡します。

• ポリシーの調整: ニーズに基づいて階層化ポリシーを変更します。

• 関連するセンサーデータを論理ビューとして構造化する: 低頻度アクセス ストレージで SQL を使用し、履歴センサー情報のリレーショナル データモデルを提供します。

結果:

• すべてのデータを 1 つの Bigtable インスタンスで管理することで運用を簡素化

• コンプライアンスのために履歴データを保存

• ストレージの費用を削減する

階層型ストレージを使用する際のベスト プラクティス

• タイムスタンプ付きでデータを書き込む: 経時ベースの階層化を有効にするには、正確なタイムスタンプをデータに含めます。

• タイムスタンプ範囲フィルタを使用してデータを読み取る: タイムスタンプ範囲フィルタを使用して、読み取りが正しいストレージ階層に送られるようにします。SSD のみの読み取りの場合、SSD のパフォーマンスを維持するにはタイムスタンプ範囲フィルタが必要です。

• パフォーマンスのモニタリング: パフォーマンス指標をチェックしてボトルネックを見つけ、階層化ポリシーを調整します。

• 自動スケーリングを使用する: 自動スケーリングを使用して、ニーズに基づいてリソースを自動的に変更します。

使ってみる

Bigtable の階層型ストレージは、特に時系列データの場合に、費用を管理してデータ マネジメントを簡素化するのに役立ちます。重要なデータにアクセスできるようにしながら、大量の履歴データセットの保存費用を管理できます。これは、製造、自動車、IoT など、大量の時系列データを使用する企業に役立ちます。詳細と利用方法については、テーブルの Bigtable 階層型ストレージを有効にすることでご確認いただけます。

ー シニア プロダクト マネージャー、Anton Gething

ー ソフトウェア エンジニア、Derek Lee