Memperbarui layanan Metastore Dataproc

Halaman ini menjelaskan cara memperbarui layanan Metastore Dataproc.

Anda dapat memperbarui layanan Dataproc Metastore untuk mengubah setelan konfigurasi, atau untuk mengaktifkan atau menonaktifkan fitur opsional.

Sebelum memulai

Peran yang diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk mengupdate layanan Dataproc Metastore, minta administrator Anda untuk memberi Anda peran IAM berikut pada project, berdasarkan prinsip hak istimewa terendah:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Peran yang telah ditentukan ini berisi izin metastore.services.update, yang diperlukan untuk memperbarui layanan Metastore Dataproc.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Ringkasan IAM Metastore Dataproc.

Tentang mengupdate layanan

Anda dapat memperbarui parameter Metastore Dataproc berikut.

  • Nomor port. Perbarui nomor port TCP antarmuka Apache Thrift.
  • Tingkat layanan. Beralih antara tingkat layanan Developer atau tingkat layanan Enterprise. Tingkatan-tingkatan ini mempengaruhi kapasitas layanan.
  • Sinkronisasi Data Catalog. Aktifkan atau nonaktifkan fitur sinkronisasi Data Catalog.
  • Masa pemeliharaan. Ubah frekuensi masa pemeliharaan Anda, termasuk Hari dan Jam.
  • Kerberos. Aktifkan atau nonaktifkan autentikasi Kerberos. Jika sebelumnya diaktifkan, Anda dapat memperbarui file konfigurasi Kerberos.
  • Konfigurasi metastore Hilt. Perbarui lokasi direktori gudang Hive Anda.
  • Konfigurasi versi tambahan (Pratinjau). Mengaktifkan, menonaktifkan, atau menambahkan versi tambahan lainnya.
  • Label. Tambahkan atau hapus label opsional yang mendeskripsikan metadata Anda.
  • Faktor penskalaan. Ubah faktor penskalaan. Anda dapat mengaktifkan atau menonaktifkan penskalaan otomatis dan mengupdate faktor penskalaan minimum atau maksimum.

Mengupdate layanan

Sebelum menjalankan update, perhatikan pertimbangan berikut:

  • Anda hanya dapat menjalankan satu tugas pembaruan pada satu waktu (untuk setiap layanan Dataproc Metastore).
  • Anda dapat memperbarui beberapa parameter dalam satu tugas update.
  • Anda masih dapat menggunakan Dataproc Metastore Anda saat sedang diperbarui.

Saat pembaruan berhasil, Dataproc Metastore otomatis memasuki status aktif. Jika update gagal, layanan Metastore Dataproc akan melakukan roll back ke kondisi normal sebelumnya.

Petunjuk berikut menunjukkan cara mengupdate layanan Metastore Dataproc.

Konsol

  1. Di konsol Google Cloud, buka halaman Dataproc Metastore:

    Buka Metastore Dataproc

  2. Di halaman Dataproc Metastore, klik nama layanan layanan yang ingin Anda perbarui.

    Halaman Detail layanan akan terbuka.

    Halaman detail layanan
    Halaman detail Layanan Metastore Dataproc

  3. Pada tab Configuration, klik Edit.

    Halaman Edit layanan akan terbuka.

  4. Pilih nilai yang ingin diperbarui untuk layanan Anda.

  5. Klik Submit.

    Kembali ke halaman Dataproc Metastore, dan pastikan bahwa layanan Anda berhasil diperbarui.

gcloud CLI

  1. Untuk mengupdate layanan, jalankan perintah gcloud metastore services update berikut:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --port=PORT \
    --tier=TIER \
    --maintenance-window-day=MAINTENANCE_WINDOW_DAY \
    --maintenance-window-hour=MAINTENANCE_WINDOW_HOUR \
    --kerberos_principal=KERBEROS_PRINCIPAL \
    --keytab=KEYTAB \
    --krb5-config=KRB5_CONFIG \
    --update-hive-metastore-configs-from-file=[KEY=VALUE, ...] \
    --clear-hive-metastore-configs \
    --remove-hive-metastore-configs=[KEY, ...] \
    --update-labels=[KEY=VALUE, ...] \
    --clear-labels \
    --remove-labels=[KEY, ...]

    Ganti kode berikut:

    • SERVICE: Nama layanan Dataproc Metastore Anda.
    • LOCATION: Region Google Cloud tempat layanan Metastore Dataproc Anda berada.
    • PORT: Opsional: Port TCP antarmuka Thrift yang Anda gunakan dengan layanan Dataproc Metastore.
    • TIER: Opsional: Kapasitas tingkat layanan Dataproc Metastore Anda.
    • MAINTENANCE_WINDOW_DAY: Opsional: Hari saat periode layanan dimulai.
    • MAINTENANCE_WINDOW_HOUR: Opsional: Jam saat periode layanan dimulai.
    • KERBEROS_PRINCIPAL: Opsional: Entity utama Kerberos yang ada di keytab dan KDC. Akun utama umumnya berbentuk "primary/instance@REALM", tetapi tidak ada format yang tepat.
    • KEYTAB: Opsional: File keytab Kerberos yang digunakan untuk mengautentikasi akun utama layanan dengan Kerberos Key Distribution Center.
    • KRB5_CONFIG: Opsional: File krb5.config menentukan informasi realm KDC dan Kerberos, yang mencakup lokasi KDC serta setelan default untuk aplikasi realm dan Kerberos.
    • [KEY, ...]: Opsional: Konfigurasi metastore Hive yang ingin Anda perbarui. Jika variabel ada di kolom ini, nilainya akan diperbarui. Jika tidak, variabel baru akan dibuat. Jika flag ini disetel, -clear-hive-metastore-configs juga akan otomatis disetel.
    • [KEY, ...]: Opsional: Konfigurasi metastore Hive yang ingin Anda hapus.
    • [KEY=VALUE, ...]: Opsional: Label atau konfigurasi pasangan nilai kunci metastore Hive yang ingin Anda perbarui.
    • [KEY, ...]: Opsional: Label atau konfigurasi pasangan nilai kunci metastore Hive yang ingin Anda hapus.

  2. Verifikasi bahwa update berhasil.

REST

Ikuti petunjuk API untuk mengupdate layanan menggunakan APIs Explorer.

Memperbarui konfigurasi warehouse Hive Metastore

Jika direktori Hive warehouse Anda berada di Cloud Storage, Anda harus menetapkan penggantian konfigurasi Metastore. Penggantian ini menetapkan data warehouse tertentu Anda sebagai direktori warehouse default untuk Dataproc Metastore

Sebelum menetapkan penggantian ini, pastikan layanan Dataproc Metastore Anda memiliki izin baca dan tulis objek untuk mengakses direktori warehouse. Untuk mengetahui informasi selengkapnya, lihat Direktori gudang Hive.

Petunjuk berikut menunjukkan cara mengupdate penggantian konfigurasi Hive Metastore.

Konsol

  1. Di konsol Google Cloud, buka halaman Metastore Dataproc:

    Buka Metastore Dataproc

  2. Di halaman Dataproc Metastore, klik nama layanan layanan yang ingin diperbarui.

    Halaman Detail layanan akan terbuka.

  3. Pada tab Configuration, klik Edit.

    Halaman Edit layanan akan terbuka.

  4. Di Penggantian konfigurasi Metastore, masukkan perintah berikut:

    • Kunci: Masukkan nilai berikut: hive.metastore.warehouse.dir.
    • Nilai: Lokasi Cloud Storage direktori warehouse Anda. Contoh: gs://my-bucket/path/to/location.

  5. Klik Submit.

    Kembali ke halaman Dataproc Metastore, dan pastikan bahwa layanan Anda berhasil diperbarui.

gcloud

  1. Untuk mengupdate layanan, jalankan perintah gcloud metastore services update berikut:

    gcloud metastore services update SERVICE \
    --location=LOCATION \
    --update-hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"

    Ganti kode berikut:

    • SERVICE: Nama layanan Dataproc Metastore Anda.
    • LOCATION: Region Google Cloud tempat layanan Metastore Dataproc Anda berada.
    • CUSTOMER_DIR: Lokasi Cloud Storage direktori warehouse Anda. Contoh: gs://my-bucket/path/to/location

  2. Verifikasi bahwa update berhasil.

Langkah selanjutnya