Melampirkan cluster Dataproc atau cluster mandiri

Setelah membuat layanan Dataproc Metastore, Anda dapat melampirkan salah satu layanan berikut:

Setelah Anda menghubungkan salah satu layanan ini, layanan tersebut akan menggunakan layanan Dataproc Metastore sebagai metastore Hive-nya selama eksekusi kueri.

Sebelum memulai

Peran yang Diperlukan

Untuk mendapatkan izin yang Anda perlukan guna membuat Dataproc Metastore dan cluster Dataproc, minta administrator untuk memberi Anda peran IAM berikut:

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk membuat Metastore Dataproc dan cluster Dataproc. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk membuat Dataproc Metastore dan cluster Dataproc:

  • Untuk membuat Dataproc Metastore: metastore.services.create di akun pengguna atau akun layanan
  • Untuk membuat cluster Dataproc: dataproc.clusters.create di akun pengguna atau akun layanan
  • Untuk mengakses direktori warehouse Hive: orgpolicy.policy.get1,resourcemanager.projects.get,resourcemanager.projects.list,storage.objects.*,storage.multipartUploads.* di akun layanan VM Dataproc

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Mengelola akses dengan IAM.

Cluster Dataproc

Dataproc adalah layanan Apache Spark dan Apache Hadoop terkelola yang memungkinkan Anda memanfaatkan alat data open source untuk batch processing, pembuatan kueri, streaming, dan machine learning.

Pertimbangan

Sebelum membuat dan melampirkan cluster Dataproc, periksa protokol endpoint yang digunakan layanan Dataproc Metastore Anda. Protokol ini menentukan cara klien Hive Metastore Anda mengakses metadata yang disimpan di Dataproc Metastore. Pilihan ini juga dapat memengaruhi fitur yang dapat Anda integrasikan dan gunakan dengan layanan Anda.

Apache Thrift

Jika Anda menggunakan protokol endpoint Apache Thrift, pertimbangkan persyaratan jaringan berikut:

  • Secara default, Anda harus membuat cluster Dataproc dan layanan Dataproc Metastore di jaringan yang sama. Cluster Dataproc Anda juga dapat menggunakan subnet jaringan layanan Dataproc Metastore.

  • Jika cluster Dataproc Anda termasuk dalam project yang berbeda dengan jaringan, Anda harus mengonfigurasi izin jaringan bersama.

  • Jika cluster Dataproc Anda termasuk dalam project yang berbeda dengan layanan Dataproc Metastore, Anda harus menyiapkan izin tambahan sebelum membuat cluster Dataproc.

gRPC

Jika Anda menggunakan protokol endpoint gRPC, pertimbangkan persyaratan jaringan berikut:

  • Setelah membuat Dataproc Metastore menggunakan protokol endpoint gRPC, Anda harus memberikan peran IAM tambahan.

  • Jika Anda menggunakan Autentikasi Cluster Pribadi Dataproc, Dataproc Metastore Anda harus menggunakan protokol endpoint gRPC.

  • Jika cluster Dataproc Anda termasuk dalam project yang berbeda dengan layanan Dataproc Metastore, Anda harus menyiapkan izin tambahan sebelum membuat cluster Dataproc.

Membuat cluster dan melampirkan Metastore Dataproc

Petunjuk berikut menunjukkan cara membuat cluster Dataproc dan terhubung ke cluster tersebut dari layanan Dataproc Metastore. Petunjuk ini mengasumsikan bahwa Anda telah Membuat layanan Dataproc Metastore.

  • Sebelum membuat cluster Dataproc, pastikan gambar Dataproc yang Anda pilih kompatibel dengan versi metastore Hive yang Anda pilih saat membuat Dataproc Metastore. Untuk informasi selengkapnya, lihat Daftar versi Image Dataproc.

  • Untuk mengoptimalkan konektivitas jaringan, buat cluster Dataproc di region yang sama dengan layanan Dataproc Metastore Anda.

Konsol

  1. Di konsol Google Cloud, buka halaman Create a cluster Dataproc:

    Buka Buat cluster

  2. Di kolom Cluster Name, masukkan nama untuk cluster Anda.

  3. Untuk menu Region dan Zone, pilih region yang sama dengan tempat Anda membuat layanan Dataproc Metastore. Anda dapat memilih Zona mana pun.

  4. Klik tab Sesuaikan cluster.

  5. Di bagian Network configuration, pilih jaringan yang sama dengan jaringan tempat Anda membuat layanan Dataproc Metastore.

  6. Di bagian Dataproc Metastore, pilih layanan Dataproc Metastore yang ingin Anda lampirkan. Jika belum membuatnya, Anda dapat memilih Buat Layanan Baru.

  7. Opsional: Jika layanan Dataproc Metastore Anda menggunakan protokol endpoint gRPC:

    1. Klik tab Manage Security.
    2. Di bagian Project Acesss, pilih Enables the cloud-platform scope for this cluster.

  8. Konfigurasikan opsi layanan lainnya sesuai kebutuhan.

  9. Untuk membuat cluster, klik Create.

    Cluster baru akan muncul dalam daftar Clusters. Status cluster dicantumkan sebagai Provisioning hingga cluster siap digunakan. Jika sudah siap digunakan, statusnya akan berubah menjadi Running.

gcloud CLI

Untuk membuat cluster dan melampirkan Dataproc Metastore, jalankan perintah gcloud dataproc clusters create berikut:

gcloud dataproc clusters create CLUSTER_NAME \
    --dataproc-metastore=projects/PROJECT_ID/locations/LOCATION/services/SERVICE \
    --region=LOCATION \
    --scopes=SCOPES

Ganti kode berikut:

  • CLUSTER_NAME: nama cluster Dataproc baru Anda.
  • PROJECT_ID: project ID project tempat Anda membuat layanan Dataproc Metastore.
  • LOCATION: region yang sama dengan tempat Anda membuat layanan Dataproc Metastore.
  • SERVICE: nama layanan Dataproc Metastore yang Anda lampirkan ke cluster.
  • SCOPES: (Opsional) Jika layanan Dataproc Metastore Anda menggunakan protokol endpoint gRPC, gunakan cloud-platform.

REST

Ikuti petunjuk API untuk membuat cluster menggunakan API Explorer.

Melampirkan cluster menggunakan properti cluster Dataproc

Anda juga dapat melampirkan cluster Dataproc ke Dataproc Metastore menggunakan properti Dataproc. Properti ini mencakup ENDPOINT_URI dan WAREHOUSE_DIR Dataproc Metastore.

Gunakan petunjuk ini jika layanan Dataproc Metastore Anda menggunakan Private Service Connect atau jika Anda ingin melampirkan cluster Dataproc ke versi tambahan layanan Dataproc Metastore.

Ada dua cara untuk melampirkan cluster Dataproc menggunakan properti ENDPOINT_URI dan WAREHOUSE_DIR:

Opsi 1: Saat membuat cluster Dataproc

Saat membuat cluster Dataproc, gunakan flag properti dengan konfigurasi Hive berikut.

gcloud dataproc clusters create CLUSTER_NAME \
     --properties="hive:hive.metastore.uris=ENDPOINT_URI,hive:hive.metastore.warehouse.dir=WAREHOUSE_DIR/hive-warehouse"

Ganti kode berikut:

Opsi 2: Memperbarui file hive-site.xml

Anda juga dapat melampirkan cluster Dataproc dengan langsung mengubah file hive-site.xml cluster.

  1. Hubungkan ke cluster .*-m menggunakan SSH.

  2. Buka file /etc/hive/conf/hive-site.xml dan ubah baris berikut:

    <property>
   <name>hive.metastore.uris</name>
   <!-- Update this value. -->
   <value>ENDPOINT_URI</value>
</property>
<!-- Add this property entry. -->
<property>
   <name>hive.metastore.warehouse.dir</name>
   <value>WAREHOUSE_DIR</value>
</property>

    Ganti kode berikut:

  3. Mulai ulang HiveServer2:

    sudo systemctl restart hive-server2.service

Cluster yang dikelola sendiri

Cluster yang dikelola sendiri dapat berupa instance Apache Hive, instance Apache Spark, atau cluster Presto.

Melampirkan cluster yang dikelola sendiri

Tetapkan nilai berikut dalam file konfigurasi klien Anda:

hive.metastore.uris=ENDPOINT_URI
hive.metastore.warehouse.dir=WAREHOUSE_DIR

Ganti kode berikut:

Langkah selanjutnya