Menggunakan tabel transaksional dengan Dataproc Metastore

Transaksi dengan semantik ACID didukung oleh metastore Apache Hive di Dataproc Metastore. Untuk mengetahui informasi selengkapnya, lihat Transaksi Hive. Transaksi ini diaktifkan secara default di Hive 3.

Konfigurasi

Anda harus menetapkan konfigurasi sisi server dan klien untuk mengaktifkan dukungan transaksi.

Konfigurasi sisi server

Konfigurasi sisi server berikut ditetapkan secara default selama pembuatan layanan oleh Dataproc Metastore. Anda dapat memilih untuk menggantinya dengan memasukkan penggantian Kunci dan Nilai di bagian Penggantian konfigurasi metastore.

  • metastore.compactor.initiator.on — Apakah akan menjalankan thread penginisiasi dan pembersih di layanan Dataproc Metastore.

    Tetapkan ke true untuk mengaktifkan inisiator.

  • metastore.compactor.worker.threads — Jumlah thread pekerja compactor yang akan dijalankan di Dataproc Metastore.

    Tetapkan ke angka positif untuk mengaktifkan pemadat. Menetapkan nilai ini ke angka yang lebih tinggi dapat memengaruhi performa layanan, terutama jika Anda menggunakan tingkat Developer. Jika angka ini perlu disesuaikan, sebaiknya gunakan nilai yang lebih rendah, seperti 8.

  • hive.metastore.event.db.notification.api.auth — Apakah layanan Dataproc Metastore harus memberikan otorisasi terhadap API terkait pemberitahuan database.

    Tetapkan ke false. Jika disetel ke true, hanya superuser di setelan proxy yang memiliki izin. Lihat Keamanan API notifikasi Metastore untuk mengetahui informasi selengkapnya tentang hak istimewa proxy superuser.

Konfigurasi sisi klien

Konfigurasi sisi klien ditetapkan di klien Hive seperti yang dijelaskan dalam Memvalidasi transaksi.

  • hive.support.concurrency — Tetapkan ke true untuk mendukung transaksi penyisipan, pembaruan, dan penghapusan.

  • hive.exec.dynamic.partition.mode — Dalam mode ketat, Anda harus menentukan minimal satu partisi statis jika semua partisi tidak sengaja ditimpa. Dalam mode non-ketat, semua partisi diizinkan untuk bersifat dinamis.

    Tetapkan ke nonstrict untuk mendukung transaksi penyisipan, pembaruan, dan penghapusan.

  • hive.txn.manager — Tetapkan ke org.apache.hadoop.hive.ql.lockmgr.DbTxnManager.

Memvalidasi transaksi

Anda dapat memvalidasi transaksi Hive menggunakan cluster Dataproc yang menggunakan layanan Dataproc Metastore di Hive 3.

Anda harus membuat cluster Dataproc di project yang sama dengan layanan Dataproc Metastore dan dengan Hive 3. Image Dataproc 2.0, 2.0-ubuntu18, dan 2.0-debian10, mendukung Hive 3 dan transaksi. Anda dapat menggunakan flag --image-version untuk menetapkan image 2.0. Contoh:

gcloud dataproc clusters create DATAPROC_CLUSTER_ID \
   --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/SERVICE \
   --region=REGION \
   --image-version 2.0-debian10

Petunjuk berikut menunjukkan cara memvalidasi transaksi di layanan Dataproc Metastore yang digunakan oleh kluster Dataproc.

  1. Gunakan SSH untuk terhubung ke cluster Dataproc. Anda dapat melakukannya dari browser atau dari command line.

  2. Jalankan perintah hive untuk membuka klien Hive:

    $> hive

  3. Siapkan konfigurasi sisi klien untuk mengaktifkan dukungan Hive ACID untuk transaksi di sesi klien hive:

    SET hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager;
SET hive.support.concurrency=true;
SET hive.exec.dynamic.partition.mode=nonstrict;

  4. Buat tabel transaksional untuk disisipkan dan diperbarui. Berikut adalah contohnya.

    1. Buat tabel transaksi:

      create table student (id int, name string, age int)
STORED AS ORC TBLPROPERTIES ('transactional' = 'true');

    2. Periksa apakah tabel bersifat transaksional:

      describe formatted <tableName>;

      Daftar properti tabel akan dicetak. Tabel transaksional memiliki transactional=true dalam parameter tabelnya.

    3. Sisipkan data ke dalam tabel:

      INSERT INTO student VALUES
(1, 'Alice', 10),
(2, 'Bob', 10),
(3, 'Charlie', 10);
      1. Amati folder delta yang dibuat di direktori student di direktori warehouse layanan. Beberapa folder delta akan dibuat jika Anda menjalankan beberapa pernyataan insert atau update.

    4. Melihat pemadatan yang sedang berjalan dan statusnya. Metastore Hive menjalankan thread yang disebut inisiator setiap lima menit untuk memeriksa tabel yang harus dikompresi dan meminta kompresi untuk tabel tersebut.

      show compactions;

      1. Untuk memulai pemadatan manual (minor atau mayor):

          ALTER TABLE student COMPACT 'minor';
  ALTER TABLE student COMPACT 'major';

Langkah selanjutnya