データベース

ライブマイグレーションを使用した Apache HBase から Cloud Bigtable への移行

2022年4月19日

https://storage.googleapis.com/gweb-cloudblog-publish/images/Blog-Banner_2880x1200_v12x-1.max-2600x2600.jpg

Google Cloud Japan Team

※この投稿は米国時間 2022 年 4 月 8 日に、Google Cloud blog に投稿されたものの抄訳です。

Cloud Bigtable は、HBase API との互換性を備えたフルマネージドサービスであるため、Apache HBase ワークロードに最適です。そのため、大規模なデータを扱うと同時に、レイテンシを低く抑える必要があるビジネスクリティカルアプリケーションを実行するお客様の多くは、Bigtable への移行を検討されています。

しかし、HBase から Bigtable への移行では通常、移行に伴いダウンタイムが生じ、アプリケーションの一時停止が必要となるため、移行作業が困難な場合があります。また、カスタムツールを作成している企業では、ツールの作成とテストに多くのリソースが必要になり、移行のプロセスが何か月も延びることになります。

本日 Google は、Apache HBase から Cloud Bigtable へのライブマイグレーションの一般提供を開始いたしました。ライブマイグレーションにより、HBase から Bigtable への迅速かつシンプルな移行が可能になるため、データ移行の正確性を確保できるとともに、移行の手間を減らし、全体的なデベロッパーエクスペリエンスを向上させることができます。

HBase から Bigtable への移行が容易に

これまでは、手動で既存の HBase テーブルから Bigtable のテーブルを作成し、データのエクスポートとインポート、ターゲットテーブルの定義、データの整合性の検証などのいくつかの手順を実行する必要がありました。特に移行のために複数のテーブルの移動やテーブルの事前分割が必要な場合、このプロセスは面倒なものになることがあります。

Google Cloud では、HBase から Bigtable への移行を行うお客様の負担を軽減できるよう、常に取り組みを進めています。最新のライブマイグレーション機能では、HBase から Bigtable にデータを移行するためのわかりやすく、効率的で、確実な方法を提供し、ダウンタイムを最小限に抑えることを目指しています。総合的に、これらの機能は、シームレスなライブマイグレーションの実行に欠かせないコンポーネントとなっています。

新機能は以下の 4 つです。

スキーマ変換ツール: テーブルのスキーマを自動的に変換できます。
HBase Bigtable レプリケーションライブラリ: ライブマイグレーション時のダウンタイムを最小限に抑えることができます。
スナップショットインポートツール: HBase のスナップショットを Cloud Bigtable に簡単にインポートできます。
移行検証ツール: 正確なデータ移行を実現できます。

移行プロセスを自動化して、エンドツーエンドのデータパイプラインを簡単に構築できるようになりました。スキーマ変換ツールを使用すると、HBase に接続し、テーブルのスキーマをコピーして、同様のテーブルを Bigtable に作成するといったテーブル変換の処理を完全に自動化できます。また、スナップショットインポートツールと移行検証ツールを使用すると、HBase のスナップショットをインポートし、データ移行を検証することで、よりシームレスな移行プロセスを実現できます。

本日公開の HBase Bigtable レプリケーションライブラリを使用すると、カスタムの移行ツールを作成する必要がなくなります。このライブラリでは、HBase レプリケーションを使用して一括インポートとライブ書き込みを正しく順次実行できるので、大規模なワークロードの移行時も安定的なパフォーマンスを維持できます。

HBase から Bigtable へのライブマイグレーションの仕組み

HBase は、障害復旧やデータ集約ワークロードなどのさまざまなユースケース向けに、クラスタ間での非同期レプリケーションを提供しています。HBase Bigtable レプリケーションライブラリを使用すると、Bigtable を HBase のクラスタレプリケーションターゲットとして追加できます。HBase から Bigtable へのレプリケーションを使用することにより、HBase クラスタで生じた変化を Bigtable に同期することができるため、HBase から Cloud Bigtable へのほぼダウンタイムなしの移行が可能となります。

以下の図は、HBase から Bigtable へのライブレプリケーションの仕組みを示しています。

https://storage.googleapis.com/gweb-cloudblog-publish/images/HBase_to_Bigtable.max-900x900.jpg

ソースデータベースとなる HBase クラスタは、オンプレミスネットワーク、他のクラウドプロバイダ、マネージドデータサービスに配置することができます。ライブレプリケーションを有効にすると、ソースクラスタへのすべての書き込みをターゲットの Bigtable インスタンスにレプリケートできます。

レプリケーションを有効にする前に、HBase のすべてのテーブルを、同じ列ファミリーを指定して Bigtable に作成しておく必要があります。スキーマ変換ツールを使用すると、既存の HBase スキーマに基づき、Bigtable にターゲットテーブルを作成できます。レプリケーションを有効にするには、ソースクラスタがターゲットの Bigtable インスタンスに接続できることが必要です。