Menggunakan tabel transaksional dengan Dataproc Metastore

Transaksi dengan semantik ACID didukung oleh metastore Apache Hive di Dataproc Metastore. Untuk mengetahui informasi selengkapnya, lihat Transaksi Hive. Transaksi ini diaktifkan secara default di Hive 3.

Konfigurasi

Anda harus menyetel konfigurasi sisi server dan klien untuk mengaktifkan dukungan transaksi.

Konfigurasi sisi server

Konfigurasi sisi server berikut ditetapkan secara default selama pembuatan layanan oleh Dataproc Metastore. Anda dapat memilih untuk mengganti nilai ini dengan memasukkan penggantian Kunci dan Nilai di bagian Penggantian konfigurasi Metastore.

  • metastore.compactor.initiator.on — Apakah akan menjalankan thread pemrakarsa dan pembersih di layanan Dataproc Metastore.

    Setel ke true untuk mengaktifkan pemrakarsa.

  • metastore.compactor.worker.threads — Jumlah thread pekerja pemadatan yang akan dijalankan di Dataproc Metastore.

    Setel ke angka positif untuk mengaktifkan pemadatan. Menetapkan nilai ini ke angka yang lebih tinggi dapat memengaruhi performa layanan, terutama jika Anda menggunakan tingkat Developer. Jika angka ini perlu disesuaikan, sebaiknya gunakan nilai yang lebih rendah, seperti 8.

  • hive.metastore.event.db.notification.api.auth — Apakah layanan Dataproc Metastore harus memberikan otorisasi terhadap API terkait notifikasi database.

    Tetapkan ke false. Jika disetel ke true, hanya pengguna super di setelan proxy yang memiliki izin. Lihat Keamanan API notifikasi Metastore untuk mengetahui informasi selengkapnya tentang hak istimewa proxy superuser.

Konfigurasi sisi klien

Konfigurasi sisi klien ditetapkan di klien Hive seperti yang dijelaskan dalam Memvalidasi transaksi.

  • hive.support.concurrency — Setel ke true untuk mendukung transaksi penyisipan, pembaruan, dan penghapusan.

  • hive.exec.dynamic.partition.mode — Dalam mode ketat, Anda harus menentukan setidaknya satu partisi statis jika semua partisi tidak sengaja ditimpa. Dalam mode tidak ketat, semua partisi diizinkan bersifat dinamis.

    Setel ke nonstrict untuk mendukung transaksi penyisipan, pembaruan, dan penghapusan.

  • hive.txn.manager — Disetel ke org.apache.hadoop.hive.ql.lockmgr.DbTxnManager.

Memvalidasi transaksi

Anda dapat memvalidasi transaksi Hive menggunakan cluster Dataproc yang menggunakan layanan Dataproc Metastore di Hive 3.

Anda harus membuat cluster Dataproc di project yang sama dengan layanan Dataproc Metastore dan dengan Hive 3. Image Dataproc 2.0, 2.0-ubuntu18, dan 2.0-debian10 mendukung Hive 3 dan transaksi. Anda dapat menggunakan tanda --image-version untuk menyetel gambar 2.0. Contoh:

gcloud dataproc clusters create DATAPROC_CLUSTER_ID \
   --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/SERVICE \
   --region=REGION \
   --image-version 2.0-debian10

Petunjuk berikut menunjukkan cara memvalidasi transaksi di layanan Dataproc Metastore yang digunakan oleh cluster Dataproc.

  1. Gunakan SSH untuk terhubung ke cluster Dataproc. Anda dapat melakukannya dari browser atau dari command line.

  2. Jalankan perintah hive untuk membuka klien Hive:

    $> hive

  3. Siapkan konfigurasi sisi klien untuk mengaktifkan dukungan ACID Hive untuk transaksi di sesi klien Hive:

    SET hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;
SET hive.support.concurrency=true;
SET hive.exec.dynamic.partition.mode=nonstrict;

  4. Buat tabel transaksional untuk menyisipkan dan memperbarui. Berikut adalah contohnya.

    1. Buat tabel transaksi:

      create table student (id int, name string, age int)
STORED AS ORC TBLPROPERTIES ('transactional' = 'true');

    2. Periksa apakah tabel bersifat transaksional:

      describe formatted <tableName>;

      Daftar properti tabel akan dicetak. Tabel transaksional memiliki transactional=true dalam parameter tabelnya.

    3. Sisipkan data ke dalam tabel:

      INSERT INTO student VALUES
(1, 'Alice', 10),
(2, 'Bob', 10),
(3, 'Charlie', 10);
      1. Amati folder delta yang dibuat di direktori student di direktori warehouse layanan. Beberapa folder delta dibuat jika Anda menjalankan beberapa pernyataan penyisipan atau pembaruan.

    4. Lihat pemadatan yang sedang berjalan dan statusnya. Metastore Hive menjalankan thread yang disebut inisiator setiap lima menit untuk memeriksa tabel yang harus dikompresi dan meminta kompresi untuk tabel tersebut.

      show compactions;

      1. Untuk memulai pemadatan manual (kecil atau besar):

          ALTER TABLE student COMPACT 'minor';
  ALTER TABLE student COMPACT 'major';

Langkah berikutnya