Mengonfigurasi Kerberos untuk endpoint Dataproc Metastore Thrift

Halaman ini menjelaskan cara mengonfigurasi Kerberos untuk layanan Dataproc Metastore yang menggunakan protokol endpoint Thrift. Jika layanan Dataproc Metastore Anda menggunakan protokol endpoint gRPC, lihat Mengonfigurasi Kerberos untuk endpoint gRPC.

Sebelum memulai

  • Pahami dasar-dasar Kerberos.

    Dalam petunjuk ini, Anda menggunakan cluster Dataproc untuk membuat aset Kerberos berikut:

    • File Keytab.
    • File krb5.conf
    • Entity utama Kerberos.

    Untuk informasi selengkapnya tentang cara kerja aset Kerberos ini dengan layanan Dataproc Metastore, lihat Tentang Kerberos.

  • Buat dan hosting KDC Kerberos Anda sendiri atau pelajari cara menggunakan KDC lokal dari cluster Dataproc.

  • Membuat bucket Cloud Storage atau mendapatkan akses ke bucket yang sudah ada. Anda harus menyimpan file krb5.conf dalam bucket ini.

Pertimbangan jaringan

Sebelum mengonfigurasi Kerberos, pertimbangkan setelan jaringan berikut:

  • Siapkan koneksi IP antara jaringan VPC dan KDC Anda. Anda harus melakukannya untuk mengautentikasi file KDC dengan layanan Dataproc Metastore.

  • Siapkan aturan Firewall yang diperlukan di KDC. Aturan ini diperlukan untuk mengizinkan traffic dari Dataproc Metastore. Untuk mengetahui informasi selengkapnya, lihat Aturan firewall untuk layanan Anda.

  • Jika Anda menggunakan Kontrol Layanan VPC, rahasia Secret Manager dan objek Cloud Storage krb5.conf harus termasuk dalam project yang berada di perimeter layanan yang sama dengan layanan Dataproc Metastore.

  • Tentukan jaringan peering VPC yang ingin Anda gunakan. Anda harus mengonfigurasi cluster Dataproc dan layanan Dataproc Metastore dengan jaringan peering VPC yang sama.

Peran yang Diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat Dataproc Metastore dengan Kerberos, minta administrator untuk memberi Anda peran IAM berikut pada project, berdasarkan prinsip hak istimewa terendah:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Peran yang telah ditetapkan ini berisi izin metastore.services.create, yang diperlukan untuk membuat Metastore Dataproc dengan Kerberos.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Mengelola akses dengan IAM.

Untuk mengetahui informasi selengkapnya, lihat Kontrol akses dan IAM Dataproc Metastore.

Aktifkan Kerberos untuk Dataproc Metastore

Petunjuk berikut menunjukkan cara mengonfigurasi Kerberos untuk layanan Dataproc Metastore yang dilampirkan ke cluster Dataproc.

Buat cluster Dataproc dan aktifkan Kerberos

gcloud

Untuk menyiapkan cluster Dataproc dengan Kerberos, jalankan perintah gcloud dataproc clusters create berikut:

gcloud dataproc clusters create CLUSTER_NAME \
    --image-version=2.0 \
    --enable-kerberos \
    --scopes 'https://www.googleapis.com/auth/cloud-platform'

Ganti kode berikut:

  • CLUSTER_NAME: nama cluster Dataproc Anda.

Mengonfigurasi cluster Dataproc untuk kerberos

Petunjuk berikut menunjukkan cara menggunakan SSH untuk terhubung ke cluster Dataproc utama yang dikaitkan dengan layanan Dataproc Metastore Anda.

Setelah itu, ubah file hive-site.xml dan konfigurasi Kerberos untuk layanan Anda.

  1. Di konsol Google Cloud, buka halaman VM Instances.

  2. Dalam daftar instance virtual machine, klik SSH di baris node utama Dataproc (your-cluster-name-m).

    Jendela browser akan terbuka di direktori beranda Anda pada node.

  3. Buka file /etc/hive/conf/hive-site.xml.

    sudo vim /etc/hive/conf/hive-site.xml

    Anda akan melihat output yang mirip dengan berikut ini:

    <property>
<name>hive.metastore.kerberos.principal</name>
<value>PRINCIPAL_NAME</value>
</property>
<property>
<name>hive.metastore.kerberos.keytab.file</name>
<value>METASTORE_PRINCPAL_KEYTAB</value>
</property>

    Ganti:

    • PRINCIPAL_NAME: Nama utama, dalam format primary/instance@REALM berikut. Contohnya, hive/test@C.MY-PROJECT.INTERNAL.
    • METASTORE_PRINCIPAL_KEYTAB: lokasi file keytab Hive Metastore Anda. Gunakan nilai berikut /etc/security/keytab/metastore.service.keytab.

Membuat file keytab

Petunjuk berikut menunjukkan cara membuat file keytab.

File keytab berisi sepasang akun utama Kerberos dan sepasang kunci terenkripsi. Instance ini digunakan untuk mengautentikasi akun utama layanan dengan KDC Kerberos.

Untuk membuat file keytab

  1. Di sesi SSH Dataproc, buat keytab dan entity utama.

    sudo kadmin.local -q "addprinc -randkey PRINCIPAL_NAME"
sudo kadmin.local -q "ktadd -k /etc/security/keytab/metastore.service.keytab PRINCIPAL_NAME"

  2. Pada sesi SSH Dataproc, buat dan upload file keytab ke Secret Manager.

    gcloud secrets create SECRET_NAME --replication-policy automatic
sudo gcloud secrets versions add SECRET_NAME --data-file /etc/security/keytab/metastore.service.keytab

    Ganti kode berikut:

    • SECRET_NAME: nama rahasia Anda.

Mengupdate file krb5.conf

Selanjutnya, Anda harus memperbarui file krb5.conf untuk mengaitkannya dengan cluster Dataproc.

  1. Tentukan alamat IP internal utama instance utama cluster Dataproc.

    gcloud compute instances list

    Misalnya, menjalankan perintah ini akan menghasilkan output serupa:

    ~$ gcloud compute instances list --project kerberos-project
NAME                                                 ZONE           MACHINE_TYPE   PREEMPTIBLE  INTERNAL_IP    EXTERNAL_IP     STATUS
cluster-236-m                                        us-central1-c  n2-standard-4               192.0.2.2      *.*.*.*         RUNNING
...

    Dalam hal ini, alamat IP internal cluster adalah 192.0.2.2.

  2. Buka file krb5.conf.

    sudo vim /etc/krb5.conf

  3. Dalam file tersebut, ganti parameter KDC dan parameter admin_server yang ada dengan alamat IP internal cluster Dataproc Anda.

    Misalnya, menggunakan nilai alamat IP dari langkah sebelumnya akan terlihat mirip dengan output ini.

    [realms]
US-CENTRAL1-A.C.MY-PROJECT.INTERNAL = {
   kdc = 192.0.2.2
   admin_server = 192.0.2.2
}

  4. Upload file /etc/krb5.conf dari VM utama Dataproc ke bucket Cloud Storage Anda.

    gsutil cp /etc/krb5.conf gs://PATH_TO_KRB5

    Ganti:

    • PATH_TO_KRB5: URI Cloud Storage yang berisi file krb5.conf Anda.

    Setelah upload selesai, salin jalur upload. Anda harus menggunakannya saat membuat layanan Dataproc Metastore.

Memberikan peran dan izin IAM

  1. Berikan izin pada akun layanan Dataproc Metastore untuk mengakses file keytab. Akun ini dikelola Google dan tercantum pada halaman UI izin IAM dengan memilih Sertakan pemberian peran yang disediakan Google.

      gcloud projects add-iam-policy-binding PROJECT_ID \
      --member serviceAccount:service-PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com \
      --role roles/secretmanager.secretAccessor

  2. Berikan izin pada akun layanan Dataproc Metastore untuk mengakses file krb5.conf.

      gcloud projects add-iam-policy-binding PROJECT_ID \
      --member serviceAccount:service-PROJECT_NUMBER@gcp-sa-metastore.iam.gserviceaccount.com \
      --role roles/storage.objectViewer

Membuat layanan Dataproc Metastore dengan Kerberos

Buat layanan Dataproc Metastore baru yang dikonfigurasi dengan file Kerberos Anda.

Pastikan Anda membuat layanan di jaringan VPC sebagai cluster Dataproc Anda.

gcloud metastore services create SERVICE \
   --location=LOCATION \
   --instance-size=medium \
   --network=VPC_NETWORK \
   --kerberos-principal=KERBEROS_PRINCIPAL \
   --krb5-config=KRB5_CONFIG \
   --keytab=CLOUD_SECRET

Ganti kode berikut:

  • SERVICE: nama layanan Dataproc Metastore Anda.
  • LOCATION: lokasi layanan Dataproc Metastore Anda.
  • VPC_NETWORK:nama jaringan VPC Anda. Gunakan jaringan yang sama dengan yang dikonfigurasi di cluster Dataproc Anda.
  • KERBEROS_PRINCIPAL: nama utama kerberos yang Anda buat sebelumnya.
  • KRB5_CONFIG: lokasi file krb5.config. Gunakan URI objek Cloud Storage yang mengarah ke file Anda.
  • CLOUD_SECRET: nama resource relatif dari versi secret Secret Manager.

Setelah membuat cluster, Dataproc Metastore akan mencoba terhubung dengan kredensial kerberos Anda menggunakan akun utama, keytab, dan file krb5.conf yang disediakan. Jika koneksi gagal, pembuatan Metastore Dataproc juga akan gagal.

Setelah layanan Dataproc Metastore dibuat, cari URI endpoint Thrift dan direktori gudang.

  1. SSH ke instance utama cluster Dataproc Anda.

  2. Di sesi SSH, buka file /etc/hive/conf/hive-site.xml.

    sudo vim /etc/hive/conf/hive-site.xml

  3. Ubah /etc/hive/conf/hive-site.xml pada cluster Dataproc.

    <property>
<name>hive.metastore.uris</name>
<!-- Update this value. -->
<value>ENDPOINT_URI</value>
</property>
<!-- Add this property entry. -->
<property>
<name>hive.metastore.warehouse.dir</name>
<value>WAREHOUSE_DIR</value>
</property>

  4. Mulai ulang HiveServer2:

    sudo systemctl restart hive-server2.service

Konfigurasi Dataproc sebelum mengirimkan tugas

Untuk menjalankan tugas Dataproc, Anda harus menambahkan pengguna hive ke properti allowed.system.users di file container-executor.cfg Hadoop. Hal ini memungkinkan pengguna menjalankan kueri untuk mengakses data, seperti select * from.

  1. Di sesi SSH, buka file container-executor.cfg Hadoop.

    sudo vim /etc/hadoop/conf/container-executor.cfg

    Tambahkan baris berikut pada setiap node Dataproc.

    allowed.system.users=hive

Dapatkan tiket kerberos

  1. Dapatkan tiket kerberos, sebelum terhubung ke instance Dataproc Metastore.

    sudo klist -kte /etc/security/keytab/metastore.service.keytab
sudo kinit -kt /etc/security/keytab/metastore.service.keytab PRINCIPAL_NAME
sudo klist # gets the ticket information.
sudo hive

    Ganti kode berikut:

    • PRINCIPAL_NAME: nama akun utama Anda.

Langkah selanjutnya