Versi tambahan

Halaman ini menjelaskan cara menggunakan fitur versi tambahan dengan Dataproc Metastore.

Versi tambahan memungkinkan Anda menghubungkan dua versi berbeda dari metastore Hive ke satu layanan Dataproc Metastore. Konfigurasi ini memungkinkan Anda mendukung beberapa mesin pemrosesan data yang perlu berjalan pada versi metastore Hive yang berbeda.

Misalnya, dengan menggunakan versi tambahan, Anda dapat menghubungkan beberapa cluster Dataproc ke layanan Dataproc Metastore yang sama. Dalam konfigurasi ini, satu cluster dapat menjalankan Dataproc versi 2.0, sedangkan cluster lainnya menjalankan Dataproc versi 1.5. Cluster Dataproc 2.0 dapat terhubung ke endpoint yang mengekspos Hive versi 3.1.2, sedangkan cluster Dataproc 1.5 terhubung ke endpoint yang mengekspos Hive versi 2.3.6.

Cara kerja versi tambahan

Saat Anda mengaktifkan versi tambahan, Dataproc Metastore akan mengekspos endpoint terpisah untuk setiap versi metastore Hive. Namun, kedua endpoint terus berbagi database metadata yang sama.

Fitur ini tidak memungkinkan Anda menggunakan set metadata yang berbeda dengan satu layanan Dataproc Metastore. Sebaliknya, layanan ini menawarkan cara untuk memperluas dan meningkatkan kompatibilitas antarlayanan Anda.

Pertimbangan

Umum

  • Anda hanya dapat membuat satu versi tambahan untuk setiap layanan Dataproc Metastore.

  • Versi tambahan harus dikonfigurasi untuk menggunakan versi metastore Hive yang lebih rendah daripada versi utama.

  • Versi tambahan mempertahankan file log terpisah dari versi utama. Untuk men-debug masalah metastore Hive, Anda dapat menggunakan Cloud Logging.

Dukungan fitur

  • Versi tambahan tidak mendukung fitur berikut:

  • Beberapa metode Hive mungkin tidak kompatibel antara versi tambahan dan versi utama. Kompatibilitas ini bergantung pada versi Hive yang Anda gunakan untuk versi utama dan tambahan, serta metode yang kompatibel antar-versi Hive.

  • Tidak semua fungsi instance Dataproc Metastore utama didukung oleh versi tambahan. Misalnya, menyisipkan data ke dalam tabel transaksi Hive tidak didukung dengan antarmuka klien Hive 2 dengan versi tambahan 2.3.6. Namun, operasi ini didukung dengan antarmuka klien Hive 3 dengan versi utama 3.1.2.

    Jika fitur dalam versi Hive yang lebih rendah tidak digunakan lagi pada versi Hive yang lebih tinggi, versi tambahan yang lebih rendah tidak akan mendukung fitur yang tidak digunakan lagi. Misalnya, Hive 2 mendukung indeks, tetapi versi tambahan yang menjalankan Hive 2.3.6 tidak akan mendukung indeks jika versi utama menjalankan Hive 3.1.2.

  • Membuat tabel transaksi menggunakan versi tambahan atau menyisipkan data apa pun dalam tabel transaksional pada versi tambahan dapat dicegah.

Properti bersama antar-versi

Saat Anda membuat versi tambahan, beberapa properti dibagikan dan tetap umum antara versi tambahan dan versi utama. Properti lainnya tidak dibagikan dan terpisah di antara kedua versi.

Tabel berikut mencantumkan perbedaan tersebut.

Properti Umum Pisahkan
Endpoint
Penggantian konfigurasi Hilt*
Konfigurasi Kerberos
Protokol endpoint (Thrift/gRPC)
Port diskon
Artefak bucket Cloud Storage
Tingkat
Masa pemeliharaan
Saluran rilis
Konfigurasi enkripsi
Jenis database
Tombol sinkronisasi Data Catalog
Metrik jumlah permintaan
Konfigurasi jaringan

* Penggantian konfigurasi Hive tetap terpisah antara versi tambahan dan versi utama. Namun, versi tambahan mereferensikan daftar gabungan dari penggantian (utama+tambahan). Dalam hal ini, konfigurasi tambahan akan lebih diutamakan daripada konfigurasi utama.

Sebelum memulai

Peran yang Diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat Dataproc Metastore yang menggunakan versi tambahan, minta administrator untuk memberi Anda peran IAM berikut pada project, berdasarkan prinsip hak istimewa terendah:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Peran yang telah ditentukan ini berisi izin metastore.services.create, yang diperlukan untuk membuat Metastore Dataproc yang menggunakan versi tambahan.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Mengelola akses Dataproc dengan IAM.

Membuat versi tambahan untuk layanan baru

Contoh berikut menunjukkan versi singkat dari langkah-langkah yang Anda ikuti untuk mengaktifkan versi tambahan. Untuk petunjuk lengkap langkah demi langkah mengenai seluruh proses yang harus Anda ikuti, lihat Membuat Metastore Dataproc.

Konsol

  1. Di konsol Google Cloud, buka halaman Metastore Dataproc:

    Buka Dataproc Metastore

  2. Di bagian atas halaman Dataproc Metastore, klik tombol Create.

    Halaman Buat layanan akan terbuka.

  3. Di bagian Auxiliary version config, aktifkan versi tambahan.

  4. Klik Add Auxiliary Version.

    1. Masukkan nama untuk versi tambahan Anda.

    2. Pilih versi untuk versi tambahan Anda.

    3. Opsional: Untuk menerapkan pemetaan ke versi tambahan, klik + Tambahkan Penggantian.

    4. Klik Done.

  5. Pilih konfigurasi lainnya untuk layanan Anda, sesuai kebutuhan.

  6. Klik Submit.

gcloud CLI

  1. Untuk membuat layanan Dataproc Metastore dengan versi tambahan, jalankan salah satu perintah gcloud metastore services create berikut:

    gcloud metastore services create SERVICE \
        --location=LOCATION \
        --auxiliary-versions=AUXILIARY_VERSIONS, ...
    
    • SERVICE: nama layanan Dataproc Metastore Anda.
    • LOCATION: region tempat Anda ingin membuat layanan Dataproc Metastore.
    • AUXILIARY_VERSIONS: daftar versi metastore Hive yang dipisahkan koma yang akan di-deploy untuk versi tambahan Anda. Hanya satu versi tambahan yang didukung. Gunakan format berikut "2.3.6".
    • AUXILIARY_VERSIONS_FROM_FILE: jalur ke file YAML yang berisi konfigurasi versi tambahan. Untuk mengetahui informasi selengkapnya dan contoh, baca dokumentasi SDK.
  2. Verifikasi bahwa pembuatan berhasil.

curl

Untuk membuat layanan Dataproc Metastore dengan versi tambahan, gunakan metode create.

curl -X POST -s -i \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -d '{"network":"projects/PROJECT_ID/global/networks/default", "port": 9083, "hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION"} } } }' \
     -H "Content-Type:application/json" \
     https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services?service_id=SERVICE_ID

Ganti kode berikut:

  • SERVICE_ID: nama layanan Dataproc Metastore baru Anda.
  • PROJECT_ID: ID project Google Cloud tempat Anda membuat layanan Dataproc Metastore.
  • LOCATION: region tempat Dataproc Metastore berada.
  • AUX_VERSIONS: daftar yang dipisahkan koma dari versi metastore Hive yang akan di-deploy. Hanya satu versi tambahan yang didukung.

Mengupdate versi tambahan untuk layanan yang ada

Petunjuk berikut menunjukkan cara mengupdate layanan Dataproc Metastore yang ada yang menggunakan versi tambahan.

Saat menjalankan operasi update, Anda dapat menyelesaikan tugas-tugas berikut:

  • Menambahkan versi tambahan baru.
  • Menghapus versi tambahan yang ada.
  • Menambahkan atau mengubah penggantian versi tambahan yang ada.

Konsol

  1. Di konsol Google Cloud, buka halaman Metastore Dataproc:

    Buka Dataproc Metastore

  2. Di halaman Dataproc Metastore, klik nama layanan dari layanan yang ingin Anda perbarui.

    Halaman Detail layanan akan terbuka.

  3. Pada tab Konfigurasi, klik Edit.

    Halaman Edit layanan akan terbuka.

  4. Di bagian Auxiliary version config, klik tombol untuk mengaktifkan atau menonaktifkan versi tambahan.

    Anda dapat menyelesaikan tugas-tugas berikut:

    1. Untuk menghapus versi tambahan yang ada, klik Hapus.

    2. Untuk menambahkan versi tambahan baru, klik Add Auxiliary Version.

    3. Untuk menerapkan pemetaan penggantian ke versi tambahan, klik + Tambahkan Penggantian.

  5. Klik Submit.

gcloud CLI

  1. Untuk mengupdate layanan Dataproc Metastore yang menggunakan versi tambahan, jalankan salah satu perintah gcloud metastore services update berikut:

    gcloud metastore services update SERVICE \
       --location=LOCATION \
       --add-auxiliary-versions=AUXILIARY_VERSIONS, ...
    

    atau

    gcloud metastore services update SERVICE \
       --location=LOCATION \
       --update-auxiliary-versions-from-file=AUXILIARY_VERSIONS_FROM_FILE
    

    Ganti kode berikut:

    • SERVICE: nama layanan Dataproc Metastore Anda.
    • LOCATION: region tempat Dataproc Metastore berada.
    • AUXILIARY_VERSIONS: daftar yang dipisahkan koma dari versi metastore Hive tambahan yang akan di-deploy.
    • AUXILIARY_VERSIONS_FROM_FILE: jalur ke file YAML yang berisi konfigurasi versi tambahan; untuk mengetahui informasi lebih lanjut dan contohnya, lihat dokumentasi SDK.
  2. Verifikasi bahwa pembaruan berhasil.

curl

Untuk mengupdate layanan Dataproc Metastore yang menggunakan versi tambahan, gunakan metode patch.

curl -X PATCH -s -i \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -d '{"hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION} } } }' \
   -H "Content-Type:application/json" \
   https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE_ID?update_mask=hive_metastore_config.auxiliary_versions

Ganti kode berikut:

  • SERVICE_ID: nama layanan Dataproc Metastore Anda.
  • PROJECT_ID: ID project Google Cloud tempat Anda membuat cluster layanan Dataproc Metastore.
  • LOCATION: region tempat Dataproc Metastore berada.
  • AUX_VERSIONS: daftar yang dipisahkan koma dari versi metastore Hive tambahan yang akan di-deploy.

Langkah selanjutnya