HBase から Bigtable へのレプリケーション

Cloud Bigtable HBase レプリケーションライブラリは、オープンソースの Java 用 Cloud Bigtable HBase クライアントのコンポーネントです。このレプリケーションライブラリにより、HBase レプリケーションサービスを使用して、HBase クラスタから Bigtable インスタンスにデータを非同期でレプリケーションできるようになります。README とソースコードを GitHub リポジトリで確認できます。

ユースケース

Bigtable へのオンライン移行 - Bigtable HBase レプリケーションライブラリと既存の HBase データのオフライン移行を組み合わせて使用することで、ダウンタイムをほとんど発生させずに HBase から Bigtable に移行できます。
データ復旧 - 予期しない事態に備えるため、HBase データをオフサイトの Bigtable インスタンスに複製します。
データセットの一元管理 - このライブラリを使用すると、複数のロケーションにある HBase クラスタから単一の Bigtable インスタンスにデータを複製し、クラスタ間のレプリケーションを自動的に処理できます。
HBase フットプリントの拡張 - 現在の HBase ロケーション以外のロケーションにクラスタがある Bigtable インスタンスに複製します。

概要

Bigtable HBase レプリケーションライブラリは、ベースの HBase レプリケーションサービスを拡張します。HBase クラスタに書き込まれるデータは、標準の HBase レプリケーションが別の HBase クラスタにデータをコピーする場合と同じ方法で Bigtable インスタンスに非同期で複製されます。このライブラリは、ソースの HBase クラスタのログ先行書き込み（WAL）を使用して、Bigtable インスタンスにミューテーションを push します。

HBase クラスタ全体を Bigtable に複製することも、特定のテーブルまたは列ファミリーのみを複製することもできます。つまり、HBase レプリケーションはクラスタ、テーブル、列ファミリーレベルで有効にできます。

HBase から Bigtable へのレプリケーションには結果整合性があります。

Bigtable への移行

Bigtable HBase レプリケーションライブラリを使用すると、アプリケーションを一時停止することなく、Bigtable への移行を行うことができます。

HBase から Bigtable へのオンライン移行の大まかな流れは次のとおりです。詳しくは、README をご覧ください。

始める前に、セットアップと構成の手順を行ってください。
HBase クラスタでレプリケーションを有効にします。
Bigtable レプリケーションエンドポイントをピアとして追加します。
Bigtable ピアを無効にします。これにより、その時点からの HBase への書き込みが HBase クラスタ上バッファリングされます。
バッファリングで新たな書き込みのキャプチャが開始したら、オフライン移行ガイドの説明に従って、既存の HBase データのスナップショットを移行します。
オフライン移行が完了したら Bigtable ピアを再度有効にして、バッファのドレインを行い、Bigtable への書き込みを再開します。
バッファがドレインされたら、アプリケーションを再起動して Bigtable にリクエストを送信します。

レプリケーションライブラリのセットアップと構成

Bigtable HBase レプリケーションを使用する前に、このセクションのタスクを完了する必要があります。

認証を構成する

レプリケーションライブラリに Bigtable への書き込み権限を付与するには、サービスアカウントを作成するの手順を行います。新しく作成したサービスアカウントに、roles/bigtable.user ロールを割り当てます。

次に、HBase クラスタ全体で hbase-site.xml ファイルに次の行を追加します。

<property>
    <name>google.bigtable.auth.json.keyfile</name>
    <value>JSON_FILE_PATH</value>
    <description>
        Service account JSON file to connect to Cloud Bigtable
    </description>
</property>

JSON_FILE_PATH は、ダウンロードした JSON ファイルのパスに置き換えます。

設定可能なその他のプロパティについては、HBaseToCloudBigtableReplicationConfiguration をご覧ください。

移行先のインスタンスとテーブルを作成する

HBase から Bigtable にレプリケーションを行う前に、Bigtable インスタンスを作成します。Bigtable インスタンスには、マルチプライマリで動作するクラスタを 1 つ以上含めることができます。HBase レプリケーションサービスからのリクエストは、Bigtable インスタンス内で最も近いクラスタにルーティングされ、そのインスタンス内の他のクラスタに複製されます。

Bigtable 宛先テーブルは HBase テーブルと同じ名前で、同じ列ファミリーが存在している必要があります。Bigtable のスキーマ変換ツールを使用して HBase テーブルと同じスキーマのテーブルを作成する方法については、宛先テーブルを作成するをご覧ください。データをインポートではなく複製する場合でも、手順は同じです。

構成プロパティを設定する

HBase クラスタ全体で hbase-site.xml に以下のものを追加します。

<property>
    <name>google.bigtable.project.id</name>
    <value>PROJECT_ID</value>
    <description>
      Bigtable project ID
    </description>
</property>
<property>
    <name>google.bigtable.instance.id</name>
    <value>INSTANCE_ID</value>
    <description>
       Bigtable instance ID
    </description>
</property>
<property>
    <name>google.bigtable.app_profile.id</name>
    <value>APP_PROFILE_ID</value>
    <description>
       Bigtable app profile ID
    </description>
</property>

以下を置き換えます。

PROJECT_ID: Bigtable インスタンスが存在する Google Cloud プロジェクト。
INSTANCE_ID: データを複製する Bigtable インスタンスの ID。
APP_PROFILE_ID: Bigtable への接続に使用するアプリプロファイルの ID。

レプリケーションライブラリをインストールする

Bigtable HBase レプリケーションライブラリを使用するには、このライブラリを HBase クラスタ内のすべてのサーバーにインストールする必要があります。HBase バージョン（1.x または 2.x）に対応するレプリケーションライブラリのバージョンを使用します。

JAR をダウンロードする

レプリケーションライブラリを取得するには、HBase シェルで次のコマンドを実行します。

wget BIGTABLE_HBASE_REPLICATION_URL

最新の JAR の URL を含む BIGTABLE_HBASE_REPLICATION_URL をレプリケーションライブラリの Maven リポジトリにある依存関係で置き換えます。ファイル名は https://repo1.maven.org/maven2/com/google/cloud/bigtable/bigtable-hbase-1.x-replication/1.0.0/bigtable-hbase-1.x-replication-1.0.0-jar-with-dependencies.jar のようになります。

URL を確認する方法や JAR を手動でダウンロードする方法は、以下のとおりです。

使用している HBase バージョンのレプリケーションライブラリリポジトリに移動します。
- HBase 1.x
- HBase 2.x
最新のバージョン番号（1.0.0 など）をクリックします。
jar-with-dependencies ファイルを特定します（通常は先頭にあります）。
URL を右クリックしてコピーするか、ファイルをクリックしてダウンロードします。

JAR をインストールする

マスターサーバーとリージョンサーバーを含むすべての HBase サーバーで、ダウンロードしたファイルを HBase クラスパスのフォルダにコピーします。たとえば、ファイルを /usr/lib/hbase/lib/ にコピーしても構いません。

Bigtable ピアを追加する

HBase から Bigtable にレプリケーションを行うには、Bigtable エンドポイントをレプリケーションピアとして追加する必要があります。

HBase サーバーを再起動して、レプリケーションライブラリが読み込まれることを確認します。
HBase シェルで次のコマンドを実行します。

add_peer PEER_ID_NUMBER, ENDPOINT_CLASSNAME =>
'com.google.cloud.bigtable.hbaseHBASE_VERSION_NUMBER_x.replication.HbaseToCloudBigtableReplicationEndpoint`