Halaman ini menjelaskan cara menggunakan fitur versi tambahan dengan Dataproc Metastore.
Versi tambahan memungkinkan Anda menghubungkan dua versi berbeda dari metastore Hive ke satu layanan Dataproc Metastore. Konfigurasi ini memungkinkan Anda mendukung beberapa mesin pemrosesan data yang perlu berjalan pada versi metastore Hive yang berbeda.
Misalnya, dengan menggunakan versi tambahan, Anda dapat menghubungkan beberapa cluster Dataproc ke layanan Dataproc Metastore yang sama. Dalam konfigurasi ini, satu cluster dapat menjalankan Dataproc versi 2.0, sedangkan cluster lainnya menjalankan Dataproc versi 1.5. Cluster Dataproc 2.0 dapat terhubung ke endpoint yang mengekspos Hive versi 3.1.2, sedangkan cluster Dataproc 1.5 terhubung ke endpoint yang mengekspos Hive versi 2.3.6.
Cara kerja versi tambahan
Saat Anda mengaktifkan versi tambahan, Dataproc Metastore akan mengekspos endpoint terpisah untuk setiap versi metastore Hive. Namun, kedua endpoint terus berbagi database metadata yang sama.
Fitur ini tidak memungkinkan Anda menggunakan set metadata yang berbeda dengan satu layanan Dataproc Metastore. Sebaliknya, layanan ini menawarkan cara untuk memperluas dan meningkatkan kompatibilitas antarlayanan Anda.
Pertimbangan
Umum
Anda hanya dapat membuat satu versi tambahan untuk setiap layanan Dataproc Metastore.
Versi tambahan harus dikonfigurasi untuk menggunakan versi metastore Hive yang lebih rendah daripada versi utama.
Versi tambahan mempertahankan file log terpisah dari versi utama. Untuk men-debug masalah metastore Hive, Anda dapat menggunakan Cloud Logging.
Dukungan fitur
Versi tambahan tidak mendukung fitur berikut:
- Metadata impor, Metadata ekspor
Mencadangkan dari metastore, Memulihkan metastore dari cadangan
Fitur terkait metadata (import/export/backup/restore) hanya dapat digunakan dengan versi utama, karena metadata backend antara kedua versi tersebut digunakan bersama.
Beberapa metode Hive mungkin tidak kompatibel antara versi tambahan dan versi utama. Kompatibilitas ini bergantung pada versi Hive yang Anda gunakan untuk versi utama dan tambahan, serta metode yang kompatibel antar-versi Hive.
Tidak semua fungsi instance Dataproc Metastore utama didukung oleh versi tambahan. Misalnya, menyisipkan data ke dalam tabel transaksi Hive tidak didukung dengan antarmuka klien Hive 2 dengan versi tambahan 2.3.6. Namun, operasi ini didukung dengan antarmuka klien Hive 3 dengan versi utama 3.1.2.
Jika fitur dalam versi Hive yang lebih rendah tidak digunakan lagi pada versi Hive yang lebih tinggi, versi tambahan yang lebih rendah tidak akan mendukung fitur yang tidak digunakan lagi. Misalnya, Hive 2 mendukung indeks, tetapi versi tambahan yang menjalankan Hive 2.3.6 tidak akan mendukung indeks jika versi utama menjalankan Hive 3.1.2.
Membuat tabel transaksi menggunakan versi tambahan atau menyisipkan data apa pun dalam tabel transaksional pada versi tambahan dapat dicegah.
Properti bersama antar-versi
Saat Anda membuat versi tambahan, beberapa properti dibagikan dan tetap umum antara versi tambahan dan versi utama. Properti lainnya tidak dibagikan dan terpisah di antara kedua versi.
Tabel berikut mencantumkan perbedaan tersebut.
Properti | Umum | Pisahkan |
---|---|---|
Endpoint | ✓ | |
Penggantian konfigurasi Hilt* | ✓ | |
Konfigurasi Kerberos | ✓ | |
Protokol endpoint (Thrift/gRPC) | ✓ | |
Port diskon | ✓ | |
Artefak bucket Cloud Storage | ✓ | |
Tingkat | ✓ | |
Masa pemeliharaan | ✓ | |
Saluran rilis | ✓ | |
Konfigurasi enkripsi | ✓ | |
Jenis database | ✓ | |
Tombol sinkronisasi Data Catalog | ✓ | |
Metrik jumlah permintaan | ✓ | |
Konfigurasi jaringan | ✓ |
* Penggantian konfigurasi Hive tetap terpisah antara versi tambahan dan versi utama. Namun, versi tambahan mereferensikan daftar gabungan dari penggantian (utama+tambahan). Dalam hal ini, konfigurasi tambahan akan lebih diutamakan daripada konfigurasi utama.
Sebelum memulai
Peran yang Diperlukan
Untuk mendapatkan izin yang diperlukan untuk membuat Dataproc Metastore yang menggunakan versi tambahan, minta administrator untuk memberi Anda peran IAM berikut pada project, berdasarkan prinsip hak istimewa terendah:
-
Memberikan kontrol penuh atas resource Dataproc Metastore (
roles/metastore.editor
) -
Memberikan akses penuh ke semua resource Dataproc Metastore, termasuk administrasi kebijakan IAM (
roles/metastore.admin
)
Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.
Peran yang telah ditentukan ini berisi izin metastore.services.create
, yang diperlukan untuk membuat Metastore Dataproc yang menggunakan versi tambahan.
Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.
Untuk informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Mengelola akses Dataproc dengan IAM.Membuat versi tambahan untuk layanan baru
Contoh berikut menunjukkan versi singkat dari langkah-langkah yang Anda ikuti untuk mengaktifkan versi tambahan. Untuk petunjuk lengkap langkah demi langkah mengenai seluruh proses yang harus Anda ikuti, lihat Membuat Metastore Dataproc.
Konsol
Di konsol Google Cloud, buka halaman Metastore Dataproc:
Di bagian atas halaman Dataproc Metastore, klik tombol Create.
Halaman Buat layanan akan terbuka.
Di bagian Auxiliary version config, aktifkan versi tambahan.
Klik Add Auxiliary Version.
Masukkan nama untuk versi tambahan Anda.
Pilih versi untuk versi tambahan Anda.
Opsional: Untuk menerapkan pemetaan ke versi tambahan, klik + Tambahkan Penggantian.
Klik Done.
Pilih konfigurasi lainnya untuk layanan Anda, sesuai kebutuhan.
Klik Submit.
gcloud CLI
Untuk membuat layanan Dataproc Metastore dengan versi tambahan, jalankan salah satu perintah
gcloud metastore services create
berikut:gcloud metastore services create SERVICE \ --location=LOCATION \ --auxiliary-versions=AUXILIARY_VERSIONS, ...
SERVICE
: nama layanan Dataproc Metastore Anda.LOCATION
: region tempat Anda ingin membuat layanan Dataproc Metastore.AUXILIARY_VERSIONS
: daftar versi metastore Hive yang dipisahkan koma yang akan di-deploy untuk versi tambahan Anda. Hanya satu versi tambahan yang didukung. Gunakan format berikut"2.3.6"
.AUXILIARY_VERSIONS_FROM_FILE
: jalur ke file YAML yang berisi konfigurasi versi tambahan. Untuk mengetahui informasi selengkapnya dan contoh, baca dokumentasi SDK.
Verifikasi bahwa pembuatan berhasil.
curl
Untuk membuat layanan Dataproc Metastore dengan versi tambahan, gunakan metode create
.
curl -X POST -s -i \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"network":"projects/PROJECT_ID/global/networks/default", "port": 9083, "hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION"} } } }' \
-H "Content-Type:application/json" \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services?service_id=SERVICE_ID
Ganti kode berikut:
SERVICE_ID
: nama layanan Dataproc Metastore baru Anda.PROJECT_ID
: ID project Google Cloud tempat Anda membuat layanan Dataproc Metastore.LOCATION
: region tempat Dataproc Metastore berada.AUX_VERSIONS
: daftar yang dipisahkan koma dari versi metastore Hive yang akan di-deploy. Hanya satu versi tambahan yang didukung.
Mengupdate versi tambahan untuk layanan yang ada
Petunjuk berikut menunjukkan cara mengupdate layanan Dataproc Metastore yang ada yang menggunakan versi tambahan.
Saat menjalankan operasi update, Anda dapat menyelesaikan tugas-tugas berikut:
- Menambahkan versi tambahan baru.
- Menghapus versi tambahan yang ada.
Menambahkan atau mengubah penggantian versi tambahan yang ada.
Konsol
Di konsol Google Cloud, buka halaman Metastore Dataproc:
Di halaman Dataproc Metastore, klik nama layanan dari layanan yang ingin Anda perbarui.
Halaman Detail layanan akan terbuka.
Pada tab Konfigurasi, klik Edit.
Halaman Edit layanan akan terbuka.
Di bagian Auxiliary version config, klik tombol untuk mengaktifkan atau menonaktifkan versi tambahan.
Anda dapat menyelesaikan tugas-tugas berikut:
Untuk menghapus versi tambahan yang ada, klik Hapus.
Untuk menambahkan versi tambahan baru, klik Add Auxiliary Version.
Untuk menerapkan pemetaan penggantian ke versi tambahan, klik + Tambahkan Penggantian.
Klik Submit.
gcloud CLI
Untuk mengupdate layanan Dataproc Metastore yang menggunakan versi tambahan, jalankan salah satu perintah
gcloud metastore services update
berikut:gcloud metastore services update SERVICE \ --location=LOCATION \ --add-auxiliary-versions=AUXILIARY_VERSIONS, ...
atau
gcloud metastore services update SERVICE \ --location=LOCATION \ --update-auxiliary-versions-from-file=AUXILIARY_VERSIONS_FROM_FILE
Ganti kode berikut:
SERVICE
: nama layanan Dataproc Metastore Anda.LOCATION
: region tempat Dataproc Metastore berada.AUXILIARY_VERSIONS
: daftar yang dipisahkan koma dari versi metastore Hive tambahan yang akan di-deploy.AUXILIARY_VERSIONS_FROM_FILE
: jalur ke file YAML yang berisi konfigurasi versi tambahan; untuk mengetahui informasi lebih lanjut dan contohnya, lihat dokumentasi SDK.
Verifikasi bahwa pembaruan berhasil.
curl
Untuk mengupdate layanan Dataproc Metastore yang menggunakan versi tambahan, gunakan metode patch
.
curl -X PATCH -s -i \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"hive_metastore_config": {"auxiliary_versions": {"aux-version1": {"version": "AUX_VERSION} } } }' \
-H "Content-Type:application/json" \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/services/SERVICE_ID?update_mask=hive_metastore_config.auxiliary_versions
Ganti kode berikut:
SERVICE_ID
: nama layanan Dataproc Metastore Anda.PROJECT_ID
: ID project Google Cloud tempat Anda membuat cluster layanan Dataproc Metastore.LOCATION
: region tempat Dataproc Metastore berada.AUX_VERSIONS
: daftar yang dipisahkan koma dari versi metastore Hive tambahan yang akan di-deploy.