Memigrasikan data dari HBase ke Bigtable

Halaman ini menjelaskan pertimbangan dan proses migrasi data dari cluster Apache HBase ke instance Bigtable di Google Cloud.

Untuk memigrasikan data ke Bigtable dari cluster HBase yang dihosting di layanan Google Cloud, seperti Dataproc atau Compute Engine, lihat Memigrasikan HBase di Google Cloud ke Bigtable.

Sebelum memulai migrasi ini, sebaiknya pertimbangkan implikasi performa, desain skema Bigtable, pendekatan autentikasi dan otorisasi, serta set fitur Bigtable.

Pertimbangan pra-migrasi

Bagian ini menyarankan beberapa hal yang perlu ditinjau dan dipikirkan sebelum Anda memulai migrasi.

Performa

Pada workload umum, Bigtable memberikan performa yang sangat dapat diprediksi. Pastikan Anda memahami faktor yang memengaruhi Performa Bigtable sebelum memigrasikan data.

Desain skema Bigtable

Pada umumnya, Anda dapat menggunakan desain skema yang sama di Bigtable seperti di HBase. Jika Anda ingin mengubah skema atau jika kasus penggunaan Anda berubah, tinjau konsep yang diuraikan dalam Mendesain skema sebelum memigrasikan data.

Autentikasi dan otorisasi

Sebelum mendesain kontrol akses untuk Bigtable, tinjau proses autentikasi dan otorisasi HBase yang ada.

Bigtable menggunakan mekanisme standar autentikasi Google Cloud dan Identity and Access Management untuk memberikan kontrol akses, sehingga Anda dapat mengonversi otorisasi yang ada di HBase ke IAM. Anda dapat memetakan grup Hadoop yang ada yang menyediakan mekanisme kontrol akses untuk HBase ke akun layanan yang berbeda.

Bigtable memungkinkan Anda mengontrol akses pada tingkat project, instance, dan tabel. Untuk mengetahui informasi selengkapnya, lihat Kontrol Akses.

Memigrasikan HBase ke Bigtable

Untuk memigrasikan data dari HBase ke Bigtable, Anda perlu mengekspor snapshot HBase untuk setiap tabel ke Cloud Storage, lalu mengimpor data tersebut ke Bigtable. Langkah-langkah ini ditujukan untuk satu cluster HBase dan dijelaskan secara mendetail di beberapa bagian berikutnya.

Berhenti mengirim penulisan ke cluster HBase Anda.
Mengambil snapshot tabel cluster HBase.
Ekspor file snapshot ke Cloud Storage.
Hitung hash dan ekspor ke Cloud Storage.
Membuat tabel tujuan di Bigtable.
Impor data HBase dari Cloud Storage ke Bigtable.
Memvalidasi data yang diimpor.
Rutekan penulisan ke Bigtable.

Sebelum memulai

Buat bucket Cloud Storage untuk menyimpan snapshot Anda. Buat bucket di lokasi yang sama dengan tempat Anda ingin menjalankan tugas Dataflow.
Buat instance Bigtable untuk menyimpan tabel baru Anda.
Identifikasi cluster Hadoop yang ingin Anda ekspor. Anda dapat menjalankan tugas untuk migrasi secara langsung di cluster HBase atau di cluster Hadoop terpisah yang memiliki konektivitas jaringan ke Namenode dan Datanode cluster HBase.
Instal dan konfigurasikan konektor Cloud Storage di setiap node di cluster Hadoop serta host tempat tugas dimulai. Untuk mengetahui langkah-langkah penginstalan yang mendetail, lihat Menginstal konektor Cloud Storage.
Buka shell perintah pada host yang dapat terhubung ke cluster HBase dan project Bigtable Anda. Di sinilah Anda akan menyelesaikan langkah-langkah selanjutnya.
Dapatkan alat Schema Translation:
```
wget BIGTABLE_HBASE_TOOLS_URL
```
Ganti BIGTABLE_HBASE_TOOLS_URL dengan URL JAR with dependencies terbaru yang tersedia di repositori Maven alat. Nama filenya mirip dengan https://repo1.maven.org/maven2/com/google/cloud/bigtable/bigtable-hbase-1.x-tools/1.24.0/bigtable-hbase-1.x-tools-1.24.0-jar-with-dependencies.jar.

Untuk menemukan URL atau mendownload JAR secara manual, lakukan langkah berikut:
1. Buka repositori.
2. Klik nomor versi terbaru.
3. Identifikasi JAR with dependencies file (biasanya di bagian atas).
4. Klik kanan dan salin URL, atau klik untuk mendownload file.
Dapatkan alat Impor:
```
wget BIGTABLE_BEAM_IMPORT_URL
```
Ganti BIGTABLE_BEAM_IMPORT_URL dengan URL shaded JAR terbaru yang tersedia di repositori Maven alat. Nama filenya mirip dengan https://repo1.maven.org/maven2/com/google/cloud/bigtable/bigtable-beam-import/1.24.0/bigtable-beam-import-1.24.0-shaded.jar.

Untuk menemukan URL atau mendownload JAR secara manual, lakukan langkah berikut:
1. Buka repositori.
2. Klik nomor versi terbaru.
3. Klik Download.
4. Arahkan kursor mouse ke shaded.jar.
5. Klik kanan dan salin URL, atau klik untuk mendownload file.
Tetapkan variabel lingkungan berikut:
```
#Google Cloud

export PROJECT_ID=PROJECT_ID
export INSTANCE_ID=INSTANCE_ID
export REGION=REGION
export CLUSTER_NUM_NODES=CLUSTER_NUM_NODES

#JAR files

export TRANSLATE_JAR=TRANSLATE_JAR
export IMPORT_JAR=IMPORT_JAR

#Cloud Storage

export BUCKET_NAME="gs://BUCKET_NAME"
export MIGRATION_DESTINATION_DIRECTORY="$BUCKET_NAME/hbase-migration-snap"

#HBase

export ZOOKEEPER_QUORUM=ZOOKEPER_QUORUM
export ZOOKEEPER_PORT=2181
export ZOOKEEPER_QUORUM_AND_PORT="$ZOOKEEPER_QUORUM:$ZOOKEEPER_PORT"
export MIGRATION_SOURCE_DIRECTORY=MIGRATION_SOURCE_DIRECTORY
```
Ganti kode berikut:
- PROJECT_ID: project Google Cloud tempat instance Anda berada
- INSTANCE_ID: ID instance Bigtable tempat Anda mengimpor data
- REGION: region yang berisi salah satu cluster dalam instance Bigtable Anda. Contoh: northamerica-northeast2
- CLUSTER_NUM_NODES: jumlah node dalam instance BigQuery
- TRANSLATE_JAR: nama dan nomor versi file JAR bigtable hbase tools yang Anda download dari Maven. Nilainya harus terlihat seperti bigtable-hbase-1.x-tools-1.24.0-jar-with-dependencies.jar.
- IMPORT_JAR: nama dan nomor versi file JAR bigtable-beam-import yang Anda download dari Maven. Nilainya harus terlihat seperti bigtable-beam-import-1.24.0-shaded.jar.
- BUCKET_NAME: nama bucket Cloud Storage tempat Anda menyimpan snapshot
- ZOOKEEPER_QUORUM: host penjaga kebun binatang yang akan terhubung dengan alat tersebut, dalam format host1.myownpersonaldomain.com
- MIGRATION_SOURCE_DIRECTORY: direktori di host HBase yang menyimpan data yang ingin Anda migrasikan, dalam format hdfs://host1.myownpersonaldomain.com:8020/hbase
(Opsional) Untuk mengonfirmasi bahwa variabel telah ditetapkan dengan benar, jalankan perintah printenv untuk melihat semua variabel lingkungan.

Berhenti mengirim penulisan ke HBase

Sebelum mengambil snapshot tabel HBase, hentikan pengiriman penulisan ke cluster HBase.

Mengambil snapshot tabel HBase

Saat cluster HBase Anda tidak lagi menyerap data, ambil snapshot setiap tabel yang ingin Anda migrasikan ke Bigtable.

Pada awalnya, snapshot memiliki jejak penyimpanan minimal di cluster HBase, tetapi seiring waktu, ukuran mungkin akan berubah menjadi sama dengan tabel aslinya. Snapshot tidak memakai resource CPU apa pun.

Jalankan perintah berikut untuk setiap tabel, menggunakan nama unik untuk setiap snapshot:

echo "snapshot 'TABLE_NAME', 'SNAPSHOT_NAME'" | hbase shell -n

Ganti kode berikut:

TABLE_NAME: nama tabel HBase tempat Anda mengekspor data.
SNAPSHOT_NAME: nama untuk snapshot baru

Mengekspor snapshot HBase ke Cloud Storage

Setelah membuat snapshot, Anda harus mengekspornya. Saat Anda menjalankan tugas ekspor di cluster HBase produksi, pantau cluster dan resource HBase lainnya untuk memastikan cluster tetap dalam keadaan baik.

Untuk setiap snapshot yang ingin diekspor, jalankan perintah berikut:

hbase org.apache.hadoop.hbase.snapshot.ExportSnapshot \
-Dhbase.zookeeper.quorum=$ZOOKEEPER_QUORUM_AND_PORT -snapshot SNAPSHOT_NAME \
    -copy-from $MIGRATION_SOURCE_DIRECTORY \
    -copy-to $MIGRATION_DESTINATION_DIRECTORY/data

Ganti SNAPSHOT_NAME dengan nama snapshot yang akan diekspor.

Hash komputasi dan ekspor

Selanjutnya, buat hash yang akan digunakan untuk validasi setelah migrasi selesai. HashTable adalah alat validasi yang disediakan oleh HBase yang menghitung hash untuk rentang baris dan mengekspornya ke file. Anda dapat menjalankan tugas sync-table di tabel tujuan untuk mencocokkan hash dan mendapatkan keyakinan pada integritas data yang dimigrasikan.

Jalankan perintah berikut untuk setiap tabel yang Anda ekspor:

hbase org.apache.hadoop.hbase.mapreduce.HashTable --batchsize=32000 --numhashfiles=20 \
TABLE_NAME $MIGRATION_DESTINATION_DIRECTORY/hashtable/TABLE_NAME

Ganti kode berikut:

TABLE_NAME: nama tabel HBase yang Anda buat dan ekspor snapshot-nya

Buat tabel tujuan

Langkah selanjutnya adalah membuat tabel tujuan di instance Bigtable untuk setiap snapshot yang diekspor. Gunakan akun yang memiliki izin bigtable.tables.create untuk instance ini.

Panduan ini menggunakan alat Terjemahan Skema Bigtable, yang secara otomatis membuat tabel untuk Anda. Namun, jika tidak ingin skema Bigtable sama persis dengan skema HBase, Anda dapat membuat tabel menggunakan alat command line cbt atau Konsol Google Cloud.

Alat Penafsiran Skema Bigtable menangkap skema tabel HBase, termasuk nama tabel, jenis kolom, kebijakan pembersihan sampah memori, dan pemisahan. Tindakan ini kemudian membuat tabel yang serupa di Bigtable.

Untuk setiap tabel yang ingin Anda impor, jalankan perintah berikut untuk menyalin skema dari HBase ke Bigtable.

java \
 -Dgoogle.bigtable.project.id=$PROJECT_ID \
 -Dgoogle.bigtable.instance.id=$INSTANCE_ID \
 -Dgoogle.bigtable.table.filter=TABLE_NAME \
 -Dhbase.zookeeper.quorum=$ZOOKEEPER_QUORUM \
 -Dhbase.zookeeper.property.clientPort=$ZOOKEEPER_PORT \
 -jar $TRANSLATE_JAR

Ganti TABLE_NAME dengan nama tabel HBase yang Anda impor. Alat Terjemahan Skema menggunakan nama ini untuk tabel Bigtable baru.

Anda juga dapat mengganti TABLE_NAME dengan ekspresi reguler, seperti ".*", yang merekam semua tabel yang ingin Anda buat, lalu menjalankan perintahnya sekali saja.

Mengimpor data HBase ke Bigtable menggunakan Dataflow

Setelah memiliki tabel yang menjadi tujuan migrasi data, Anda siap mengimpor dan memvalidasi data tersebut.

Tabel yang tidak dikompresi

Jika tabel HBase Anda tidak dikompresi, jalankan perintah berikut untuk setiap tabel yang ingin dimigrasikan:

java -jar $IMPORT_JAR importsnapshot \
    --runner=DataflowRunner \
    --project=$PROJECT_ID \
    --bigtableInstanceId=$INSTANCE_ID \
    --bigtableTableId=TABLE_NAME \
    --hbaseSnapshotSourceDir=$MIGRATION_DESTINATION_DIRECTORY/data \
    --snapshotName=SNAPSHOT_NAME \
    --stagingLocation=$MIGRATION_DESTINATION_DIRECTORY/staging \
    --tempLocation=$MIGRATION_DESTINATION_DIRECTORY/temp \
    --maxNumWorkers=$(expr 3 \* $CLUSTER_NUM_NODES) \
    --region=$REGION

Ganti kode berikut:

TABLE_NAME: nama tabel HBase yang Anda impor. Nama ini akan digunakan oleh alat Terjemahan Skema untuk tabel Bigtable baru. Nama tabel baru tidak didukung.
SNAPSHOT_NAME: nama yang ditetapkan ke snapshot tabel yang Anda impor

Setelah Anda menjalankan perintah, alat ini akan memulihkan snapshot HBase ke bucket Cloud Storage Anda, lalu memulai tugas impor. Diperlukan waktu beberapa menit untuk menyelesaikan proses pemulihan snapshot, bergantung pada ukuran snapshot.

Perhatikan tips berikut saat Anda mengimpor:

Untuk meningkatkan performa pemuatan data, pastikan untuk menyetel maxNumWorkers. Nilai ini membantu memastikan tugas impor memiliki daya komputasi yang cukup untuk diselesaikan dalam waktu yang wajar, tetapi tidak terlalu banyak sehingga akan membebani instance Bigtable.
- Jika Anda juga tidak menggunakan instance Bigtable untuk beban kerja lainnya, kalikan jumlah node di instance Bigtable dengan 3, lalu gunakan angka tersebut untuk maxNumWorkers.
- Jika Anda menggunakan instance untuk beban kerja lain sekaligus mengimpor data HBase, kurangi nilai maxNumWorkers dengan tepat.
Gunakan jenis pekerja default.
Selama proses impor, Anda harus memantau penggunaan CPU instance Bigtable. Jika penggunaan CPU di seluruh instance Bigtable terlalu tinggi, Anda mungkin perlu menambahkan node tambahan. Diperlukan waktu hingga 20 menit bagi cluster untuk memberikan manfaat performa dari node tambahan.

Untuk informasi selengkapnya tentang pemantauan instance Bigtable, lihat Memantau instance Bigtable.

Tabel terkompresi dengan pintas

Jika mengimpor tabel yang dikompresi Snappy, Anda harus menggunakan image container kustom di pipeline Dataflow. Image container kustom yang Anda gunakan untuk mengimpor data terkompresi ke Bigtable menyediakan dukungan library kompresi native Hadoop. Anda harus memiliki Apache Beam SDK versi 2.30.0 atau yang lebih baru untuk menggunakan Dataflow Runner v2, dan Anda harus memiliki library klien HBase versi 2.3.0 atau yang lebih baru untuk Java.

Untuk mengimpor tabel yang dikompresi Snappy, jalankan perintah yang sama dengan yang Anda jalankan untuk tabel yang tidak dikompresi, tetapi tambahkan opsi berikut:

    --enableSnappy=true

Memvalidasi data yang diimpor di Bigtable

Untuk memvalidasi data yang diimpor, Anda perlu menjalankan tugas sync-table. Tugas sync-table menghitung hash untuk rentang baris di Bigtable, lalu mencocokkannya dengan output HashTable yang Anda hitung sebelumnya.

Untuk menjalankan tugas sync-table, jalankan perintah berikut di shell perintah:

java -jar $IMPORT_JAR sync-table  \
    --runner=dataflow \
    --project=$PROJECT_ID \
    --bigtableInstanceId=$INSTANCE_ID \
    --bigtableTableId=TABLE_NAME \
    --outputPrefix=$MIGRATION_DESTINATION_DIRECTORY/sync-table/output-TABLE_NAME-$(date +"%s") \
    --stagingLocation=$MIGRATION_DESTINATION_DIRECTORY/sync-table/staging \
    --hashTableOutputDir=$MIGRATION_DESTINATION_DIRECTORY/hashtable/TABLE_NAME \
    --tempLocation=$MIGRATION_DESTINATION_DIRECTORY/sync-table/dataflow-test/temp \
    --region=$REGION

Ganti TABLE_NAME dengan nama tabel HBase yang Anda impor.

Setelah tugas sync-table selesai, buka halaman Detail tugas Dataflow, lalu tinjau bagian Penghitung kustom untuk tugas tersebut. Jika tugas impor berhasil mengimpor semua data, nilai untuk ranges_matched memiliki nilai dan nilai untuk ranges_not_matched adalah 0.

Penghitung kustom Dataflow

Jika ranges_not_matched menampilkan nilai, buka halaman Logs, pilih Log Pekerja, dan filter menurut Ketidakcocokan pada rentang. Output yang dapat dibaca mesin dari log ini disimpan di Cloud Storage di tujuan output yang Anda buat dalam opsi outputPrefix tabel sinkronisasi.

Log pekerja Dataflow

Anda dapat mencoba tugas impor lagi atau menulis skrip untuk membaca file output guna menentukan tempat terjadinya ketidakcocokan. Setiap baris dalam file output adalah data JSON serial dari rentang yang tidak cocok.

Merutekan penulisan ke Bigtable

Setelah memvalidasi data untuk setiap tabel dalam cluster, Anda dapat mengonfigurasi aplikasi untuk merutekan semua traffic-nya ke Bigtable, lalu menghentikan penggunaan instance HBase.

Setelah migrasi selesai, Anda dapat menghapus snapshot di instance HBase.

Langkah selanjutnya

Lihat bagian lain dari panduan migrasi Hadoop:
- Ringkasan
- Panduan migrasi data
- Panduan migrasi tugas
- Mempelajari Cloud Storage lebih lanjut.