Transaksi dengan semantik ACID didukung oleh metastore Apache Hive di Dataproc Metastore. Untuk mengetahui informasi selengkapnya, lihat Transaksi Hive. Transaksi ini diaktifkan secara default di Hive 3.
Konfigurasi
Anda harus menyetel konfigurasi sisi server dan klien untuk mengaktifkan dukungan transaksi.
Konfigurasi sisi server
Konfigurasi sisi server berikut ditetapkan secara default selama pembuatan layanan oleh Dataproc Metastore. Anda dapat memilih untuk mengganti nilai ini dengan memasukkan penggantian Kunci dan Nilai di bagian Penggantian konfigurasi Metastore.
metastore.compactor.initiator.on
— Apakah akan menjalankan thread pemrakarsa dan pembersih di layanan Dataproc Metastore.Setel ke
true
untuk mengaktifkan pemrakarsa.metastore.compactor.worker.threads
— Jumlah thread pekerja pemadatan yang akan dijalankan di Dataproc Metastore.Setel ke angka positif untuk mengaktifkan pemadatan. Menetapkan nilai ini ke angka yang lebih tinggi dapat memengaruhi performa layanan, terutama jika Anda menggunakan tingkat Developer. Jika angka ini perlu disesuaikan, sebaiknya gunakan nilai yang lebih rendah, seperti 8.
hive.metastore.event.db.notification.api.auth
— Apakah layanan Dataproc Metastore harus memberikan otorisasi terhadap API terkait notifikasi database.Tetapkan ke
false
. Jika disetel ketrue
, hanya pengguna super di setelan proxy yang memiliki izin. Lihat Keamanan API notifikasi Metastore untuk mengetahui informasi selengkapnya tentang hak istimewa proxy superuser.
Konfigurasi sisi klien
Konfigurasi sisi klien ditetapkan di klien Hive seperti yang dijelaskan dalam Memvalidasi transaksi.
hive.support.concurrency
— Setel ketrue
untuk mendukung transaksi penyisipan, pembaruan, dan penghapusan.hive.exec.dynamic.partition.mode
— Dalam mode ketat, Anda harus menentukan setidaknya satu partisi statis jika semua partisi tidak sengaja ditimpa. Dalam mode tidak ketat, semua partisi diizinkan bersifat dinamis.Setel ke
nonstrict
untuk mendukung transaksi penyisipan, pembaruan, dan penghapusan.hive.txn.manager
— Disetel keorg.apache.hadoop.hive.ql.lockmgr.DbTxnManager
.
Memvalidasi transaksi
Anda dapat memvalidasi transaksi Hive menggunakan cluster Dataproc yang menggunakan layanan Dataproc Metastore di Hive 3.
Anda harus membuat cluster Dataproc di project yang sama dengan layanan Dataproc Metastore dan dengan Hive 3. Image Dataproc 2.0, 2.0-ubuntu18, dan 2.0-debian10 mendukung Hive 3 dan transaksi. Anda
dapat menggunakan tanda --image-version
untuk menyetel gambar 2.0. Contoh:
gcloud dataproc clusters create DATAPROC_CLUSTER_ID \
--dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/SERVICE \
--region=REGION \
--image-version 2.0-debian10
Petunjuk berikut menunjukkan cara memvalidasi transaksi di layanan Dataproc Metastore yang digunakan oleh cluster Dataproc.
Gunakan SSH untuk terhubung ke cluster Dataproc. Anda dapat melakukannya dari browser atau dari command line.
Jalankan perintah
hive
untuk membuka klien Hive:$> hive
Siapkan konfigurasi sisi klien untuk mengaktifkan dukungan ACID Hive untuk transaksi di sesi klien Hive:
SET hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager; SET hive.support.concurrency=true; SET hive.exec.dynamic.partition.mode=nonstrict;
Buat tabel transaksional untuk menyisipkan dan memperbarui. Berikut adalah contohnya.
Buat tabel transaksi:
create table student (id int, name string, age int) STORED AS ORC TBLPROPERTIES ('transactional' = 'true');
Periksa apakah tabel bersifat transaksional:
describe formatted <tableName>;
Daftar properti tabel akan dicetak. Tabel transaksional memiliki
transactional=true
dalam parameter tabelnya.Sisipkan data ke dalam tabel:
INSERT INTO student VALUES (1, 'Alice', 10), (2, 'Bob', 10), (3, 'Charlie', 10);
- Amati folder delta yang dibuat di direktori
student
di direktori warehouse layanan. Beberapa folder delta dibuat jika Anda menjalankan beberapa pernyataan penyisipan atau pembaruan.
- Amati folder delta yang dibuat di direktori
Lihat pemadatan yang sedang berjalan dan statusnya. Metastore Hive menjalankan thread yang disebut inisiator setiap lima menit untuk memeriksa tabel yang harus dikompresi dan meminta kompresi untuk tabel tersebut.
show compactions;
Untuk memulai pemadatan manual (kecil atau besar):
ALTER TABLE student COMPACT 'minor'; ALTER TABLE student COMPACT 'major';