Memperbarui layanan Metastore Dataproc

Halaman ini menjelaskan cara mengupdate layanan Dataproc Metastore.

Anda dapat mengupdate layanan Dataproc Metastore untuk mengubah setelan konfigurasi, atau mengaktifkan atau menonaktifkan fitur opsional.

Sebelum memulai

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna mengupdate layanan Metastore Dataproc, minta administrator untuk memberi Anda peran IAM berikut di project Anda, berdasarkan prinsip hak istimewa minimum:

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin metastore.services.update, yang diperlukan untuk mengupdate layanan Metastore Dataproc.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Ringkasan IAM Dataproc Metastore.

Tentang cara mengupdate layanan

Anda dapat memperbarui parameter Dataproc Metastore berikut.

  • Nomor port. Perbarui nomor port TCP antarmuka Apache Thrift.
  • Paket layanan. Beralih antara tingkat layanan Developer atau tingkat layanan Enterprise. Tingkat ini memengaruhi kapasitas layanan.
  • Sinkronisasi Data Catalog. Aktifkan atau nonaktifkan fitur sinkronisasi Katalog Data.
  • Masa pemeliharaan. Ubah frekuensi periode pemeliharaan, termasuk Hari dan Jam.
  • Kerberos. Mengaktifkan atau menonaktifkan autentikasi Kerberos. Jika sebelumnya diaktifkan, Anda dapat memperbarui file konfigurasi Kerberos.
  • Konfigurasi metastore Hive. Perbarui lokasi direktori warehouse Hive Anda.
  • Konfigurasi versi tambahan (Pratinjau). Mengaktifkan, menonaktifkan, atau menambahkan versi tambahan lainnya.
  • Label. Tambahkan atau hapus label opsional yang mendeskripsikan metadata Anda.
  • Faktor penskalaan. Ubah faktor penskalaan. Anda dapat mengaktifkan atau menonaktifkan penskalaan otomatis dan memperbarui faktor penskalaan minimum atau maksimum.

Mengupdate layanan

Sebelum menjalankan update, perhatikan pertimbangan berikut:

  • Anda hanya dapat menjalankan satu tugas pembaruan dalam satu waktu (untuk setiap layanan Dataproc Metastore).
  • Anda dapat memperbarui beberapa parameter dalam satu tugas pembaruan.
  • Anda tetap dapat menggunakan Dataproc Metastore saat sedang diupdate.

Jika update berhasil, Dataproc Metastore akan otomatis memasuki status aktif. Jika update gagal, layanan Dataproc Metastore akan di-rollback ke status normal sebelumnya.

Petunjuk berikut menunjukkan cara mengupdate layanan Dataproc Metastore.

Konsol

  1. Di konsol Google Cloud, buka halaman Dataproc Metastore:

    Membuka Dataproc Metastore

  2. Di halaman Dataproc Metastore, klik nama layanan layanan yang ingin Anda perbarui.

    Halaman Detail layanan akan terbuka.

    Halaman detail layanan
    Halaman detail Dataproc Metastore Service

  3. Di tab Configuration, klik Edit.

    Halaman Edit layanan akan terbuka.

  4. Pilih nilai yang ingin Anda perbarui untuk layanan Anda.

  5. Klik Kirim.

    Kembali ke halaman Dataproc Metastore, dan verifikasi bahwa layanan Anda berhasil diperbarui.

gcloud CLI

  1. Untuk mengupdate layanan, jalankan perintah gcloud metastore services update berikut:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    Ganti kode berikut:

    • SERVICE: Nama layanan Dataproc Metastore Anda.
    • LOCATION: Region Google Cloud tempat layanan Dataproc Metastore Anda berada.
    • PORT: Opsional: Port TCP antarmuka Thrift yang Anda gunakan dengan layanan Dataproc Metastore.
    • TIER: Opsional: Kapasitas tingkat layanan Dataproc Metastore Anda.
    • MAINTENANCE_WINDOW_DAY: Opsional: Hari dalam seminggu saat periode layanan dimulai.
    • MAINTENANCE_WINDOW_HOUR: Opsional: Jam saat periode layanan dimulai.
    • KERBEROS_PRINCIPAL: Opsional: Akun utama Kerberos yang ada di keytab dan KDC. Akun utama umumnya berbentuk "primary/instance@REALM", tetapi tidak ada format yang pasti.
    • KEYTAB: Opsional: File keytab Kerberos yang digunakan untuk mengautentikasi akun utama layanan dengan Key Distribution Center Kerberos.
    • KRB5_CONFIG: Opsional: File krb5.config menentukan informasi KDC dan realm Kerberos, yang mencakup lokasi KDC dan default untuk aplikasi Kerberos dan realm.
    • [KEY, ...]: Opsional: Konfigurasi metastore Hive yang ingin Anda perbarui. Jika variabel ada di kolom ini, nilainya akan diperbarui. Jika tidak, variabel baru akan dibuat. Jika tanda ini disetel, -clear-hive-metastore-configs juga akan otomatis ditetapkan.
    • [KEY, ...]: Opsional: Konfigurasi metastore Hive yang ingin Anda hapus.
    • [KEY=VALUE, ...]: Opsional: Label atau konfigurasi key-value pair metastore Hive yang ingin Anda perbarui.
    • [KEY, ...]: Opsional: Label atau konfigurasi key-value pair metastore Hive yang ingin Anda hapus.

  2. Verifikasi bahwa update berhasil.

REST

Ikuti petunjuk API untuk memperbarui layanan menggunakan API Explorer.

Memperbarui konfigurasi warehouse Hive Metastore

Jika direktori warehouse Hive Anda berada di Cloud Storage, Anda harus menetapkan penggantian konfigurasi Metastore. Penggantian ini menetapkan data warehouse tertentu sebagai direktori warehouse default untuk Dataproc Metastore

Sebelum menetapkan penggantian ini, pastikan layanan Dataproc Metastore Anda memiliki izin baca dan tulis objek untuk mengakses direktori warehouse. Untuk mengetahui informasi selengkapnya, lihat Direktori warehouse Hive.

Petunjuk berikut menunjukkan cara mengupdate penggantian konfigurasi Hive Metastore.

Konsol

  1. Di konsol Google Cloud, buka halaman Metastore Dataproc:

    Membuka Dataproc Metastore

  2. Di halaman Dataproc Metastore, klik nama layanan dari layanan yang ingin diperbarui.

    Halaman Detail layanan akan terbuka.

  3. Di tab Configuration, klik Edit.

    Halaman Edit layanan akan terbuka.

  4. Di Penggantian konfigurasi metastore, masukkan hal berikut:

    • Kunci: Masukkan nilai berikut: hive.metastore.warehouse.dir.
    • Nilai: Lokasi Cloud Storage dari direktori warehouse Anda. Contoh: gs://my-bucket/path/to/location.

  5. Klik Kirim.

    Kembali ke halaman Dataproc Metastore, dan verifikasi bahwa layanan Anda berhasil diperbarui.

gcloud

  1. Untuk mengupdate layanan, jalankan perintah gcloud metastore services update berikut:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Ganti kode berikut:

    • SERVICE: Nama layanan Dataproc Metastore Anda.
    • LOCATION: Region Google Cloud tempat layanan Dataproc Metastore Anda berada.
    • CUSTOMER_DIR: Lokasi Cloud Storage direktori warehouse Anda. Contoh: gs://my-bucket/path/to/location

  2. Verifikasi bahwa update berhasil.

Langkah selanjutnya