Menyiapkan layanan Metastore Dataproc multi-regional

Halaman ini menunjukkan cara menyiapkan layanan Metastore Dataproc multi-regional. Untuk mengetahui informasi selengkapnya tentang cara kerja layanan Metastore Dataproc multi-regional, lihat region Metastore Dataproc.

Sebelum memulai

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat layanan Metastore Dataproc multi-regional, minta administrator Anda untuk memberi Anda peran IAM berikut pada project Anda, berdasarkan prinsip hak istimewa terendah:

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Peran yang telah ditetapkan ini berisi izin metastore.services.create, yang diperlukan untuk membuat layanan Metastore Dataproc multi-regional.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Mengelola akses dengan IAM.

Tentang layanan Metastore Dataproc multi-regional

Layanan Metastore Dataproc multi-regional menyimpan data Anda di dua region yang berbeda dan menggunakan dua region tersebut untuk menjalankan beban kerja Anda. Misalnya, nam7 multi-region berisi region us-central1 dan us-east4.

  • Layanan Metastore Dataproc multi-regional mereplikasi metadata di dua region dan mengekspos endpoint yang relevan untuk mengakses Hive Metastore. Untuk gRPC, satu endpoint per region diekspos. Untuk Thrift, satu endpoint per subnetwork akan diekspos.

  • Layanan Metastore Dataproc multi-regional menyediakan konfigurasi cluster ketersediaan tinggi (HA) aktif-aktif. Konfigurasi ini berarti bahwa beban kerja dapat mengakses salah satu region saat menjalankan tugas. Layanan ini juga menyediakan mekanisme failover untuk layanan Anda. Misalnya, jika endpoint regional utama Anda tidak berfungsi, beban kerja Anda akan otomatis dirutekan ke region sekunder. Hal ini membantu mencegah gangguan pada tugas Dataproc Anda.

Pertimbangan

Pertimbangan berikut berlaku untuk layanan Metastore Dataproc multi-regional.

Membuat layanan Metastore Dataproc multi-regional

Pilih salah satu tab berikut untuk mempelajari cara membuat layanan multi-regional menggunakan protokol endpoint Thrift atau gRPC, dengan layanan Metastore Dataproc 2.

gRPC

Saat membuat layanan multi-regional yang menggunakan protokol endpoint gRPC, Anda tidak perlu menetapkan setelan jaringan tertentu. Protokol gRPC menangani perutean jaringan untuk Anda.

Konsol

  1. Di konsol Google Cloud, buka halaman Dataproc Metastore.

    Buka Metastore Dataproc

  2. Di menu navigasi, klik +Create.

    Dialog Create Metastore service akan terbuka.

  3. Pilih Dataproc Metastore 2.

  4. Di bagian Harga dan Kapasitas, pilih Enterprise Plus - Dual region

  5. Untuk Protokol endpoint, pilih gRPC*.

  6. Untuk membuat dan memulai layanan, klik Submit.

    Layanan metastore baru Anda akan muncul di halaman Dataproc Metastore. Status akan menampilkan Creating hingga layanan siap digunakan. Jika sudah siap, statusnya akan berubah menjadi Aktif. Penyediaan layanan mungkin memerlukan waktu beberapa menit.

gcloud CLI

Untuk membuat layanan multi-regional Dataproc Metastore, jalankan perintah gcloud metastore services create berikut. Perintah ini membuat Dataproc Metastore versi 3.1.2.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=grpc

Ganti kode berikut:

  • SERVICE: nama layanan Metastore Dataproc Anda.
  • MULTI_REGION: multi-region tempat Anda membuat layanan Metastore Dataproc.
  • INSTANCE_SIZE: ukuran instance dari Metastore Dataproc multi-regional Anda. Misalnya, small, medium, atau large. Jika Anda menentukan nilai untuk INSTANCE_SIZE, jangan menentukan nilai untuk SCALING_FACTOR.
  • SCALING_FACTOR: faktor penskalaan layanan Dataproc Metastore Anda. Misalnya, 0.1. Jika Anda menentukan nilai untuk SCALING_FACTOR, jangan tentukan nilai untuk INSTANCE_SIZE.

Barang Diskon

Saat membuat layanan multi-regional yang menggunakan protokol endpoint Thrift, Anda harus menetapkan setelan subnetwork yang sesuai. Dalam hal ini, untuk setiap jaringan VPC yang digunakan, Anda harus menyediakan setidaknya satu subnetwork dari setiap region.

Misalnya, untuk membuat multi-region nam7, Anda harus memberikan region us-central1 dan us-east4.

Konsol

  1. Di konsol Google Cloud, buka halaman Dataproc Metastore.

    Buka Metastore Dataproc

  2. Di menu navigasi, klik +Create.

    Dialog Create Metastore service akan terbuka.

  3. Pilih Dataproc Metastore 2.

  4. Di bagian Harga dan Kapasitas, pilih Enterprise Plus - Dual region.

    Untuk mengetahui informasi selengkapnya, lihat paket harga dan konfigurasi penskalaan.

  5. Di kolom Nama layanan, masukkan nama unik untuk layanan Anda.

    Untuk mengetahui informasi tentang konvensi penamaan, lihat Konvensi penamaan resource.

  6. Untuk Protokol endpoint, pilih Thrift.

  7. Untuk Konfigurasi Jaringan, sediakan subnetwork yang membentuk konfigurasi multi-regional yang Anda pilih.

  8. Untuk opsi konfigurasi layanan lainnya, gunakan setelan default yang disediakan.

  9. Untuk membuat dan memulai layanan, klik Submit.

    Layanan metastore baru Anda akan muncul di halaman Dataproc Metastore. Status akan menampilkan Creating hingga layanan siap digunakan. Jika sudah siap, statusnya akan berubah menjadi Aktif. Penyediaan layanan mungkin memerlukan waktu beberapa menit.

gcloud CLI

Untuk membuat layanan multi-regional Dataproc Metastore, jalankan perintah gcloud metastore services create berikut. Perintah ini membuat Dataproc Metastore versi 3.1.2.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION1/subnetworks/SUBNET1,projects/PROJECT_ID/regions/LOCATION2/subnetworks/SUBNET2" \
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

Atau, Anda dapat menyimpan setelan jaringan dalam file, seperti yang ditunjukkan dalam perintah berikut.

gcloud metastore services create SERVICE \
  --location=MULTI_REGION \
  --network-config-from-file=NETWORK_CONFIG_FROM_FILE
{ --instance-size=INSTANCE_SIZE | --scaling-factor=SCALING_FACTOR } \
  --endpoint-protocol=thrift

Ganti kode berikut:

  • SERVICE: nama layanan Metastore Dataproc Anda.
  • MULTI_REGION: multi-region tempat Anda membuat layanan Dataproc Metastore.
  • PROJECT_ID: ID project Google Cloud tempat Anda membuat layanan Dataproc Metastore.
  • SUBNET1,SUBNET2: daftar subjaringan yang membentuk konfigurasi multi-regional. Anda dapat menggunakan ID, URL yang sepenuhnya memenuhi syarat, atau nama relatif subnetwork. Anda dapat menentukan hingga enam subnetwork.
  • LOCATION1,LOCATION2: daftar lokasi yang membentuk konfigurasi multi-regional. Anda dapat menggunakan ID lokasi. Misalnya, untuk multi-region nam7, gunakan us-central1 dan us-east4.
  • NETWORK_CONFIG_FROM_FILE: jalur ke file YAML yang berisi konfigurasi jaringan Anda.
  • INSTANCE_SIZE: ukuran instance dari Metastore Dataproc multi-regional Anda. Misalnya, small, medium, atau large. Jika Anda menentukan nilai untuk INSTANCE_SIZE, jangan menentukan nilai untuk SCALING_FACTOR.
  • SCALING_FACTOR: faktor penskalaan layanan Dataproc Metastore Anda. Misalnya, 0.1. Jika Anda menentukan nilai untuk SCALING_FACTOR, jangan tentukan nilai untuk INSTANCE_SIZE.

REST

Untuk mempelajari cara membuat layanan Metastore Dataproc multi-regional, ikuti petunjuk untuk membuat layanan menggunakan Google APIs Explorer.

Untuk mengonfigurasi layanan multi-regional, berikan informasi berikut dalam objek Network Config.

  "network_config": {
    "consumers": [
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1"},
        {"subnetwork": "projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2"}
    ],
    "scaling_config": {
    "scaling_factor": SCALING_FACTOR
    }
  }

Ganti kode berikut:

  • PROJECT_ID: ID project Google Cloud dari project yang berisi layanan Dataproc Metastore Anda.
  • LOCATION: region Google Cloud tempat layanan Metastore Dataproc Anda berada.
  • SUBNET1,SUBNET2: daftar subnetwork yang membentuk konfigurasi multi-regional. Anda dapat menggunakan ID, URL yang sepenuhnya memenuhi syarat, atau nama relatif subnetwork. Anda dapat menentukan hingga lima subnetwork.
  • SCALING_FACTOR: faktor penskalaan yang ingin Anda gunakan untuk layanan.

Menghubungkan Metastore Dataproc ke cluster Dataproc

Pilih salah satu tab berikut untuk mempelajari cara menghubungkan layanan Metastore Dataproc multi-regional dari cluster Dataproc.

gRPC

Untuk menghubungkan cluster Dataproc, pilih tab yang sesuai dengan versi Dataproc Metastore yang Anda gunakan.

Dataproc Metastore 3.1.2

  1. Buat variabel berikut untuk cluster Dataproc Anda:

    CLUSTER_NAME=CLUSTER_NAME
PROJECT_ID=PROJECT_ID
MULTI_REGION=MULTI_REGION
DATAPROC_IMAGE_VERSION=DATAPROC_IMAGE_VERSION
PROJECT=PROJECT
SERVICE_ID=SERVICE_ID

    Ganti kode berikut:

    • CLUSTER_NAME: nama cluster Dataproc Anda.
    • PROJECT_ID: project Google Cloud yang berisi cluster Dataproc Anda. Pastikan subnet yang Anda gunakan memiliki izin yang sesuai untuk mengakses project ini.
    • MULTI_REGION: multi-region Google Cloud tempat Anda ingin membuat cluster Dataproc.
    • DATAPROC_IMAGE_VERSION: versi gambar Dataproc yang Anda gunakan dengan layanan Dataproc Metastore. Anda harus menggunakan versi gambar 2.0 atau yang lebih tinggi.
    • PROJECT: project yang berisi layanan Metastore Dataproc Anda.
    • SERVICE_ID: ID layanan layanan Metastore Dataproc Anda.

  2. Untuk membuat cluster, jalankan perintah gcloud dataproc clusters create berikut. --enable-kerberos bersifat opsional. Hanya sertakan opsi ini jika Anda menggunakan kerberos dengan cluster Anda.

    gcloud dataproc clusters create ${CLUSTER_NAME} \
 --project ${PROJECT_ID} \
 --region ${MULTI_REGION} \
 --image-version ${DATAPROC_IMAGE_VERSION} \
 --scopes "https://www.googleapis.com/auth/cloud-platform" \
 --dataproc-metastore projects/${PROJECT}/locations/${MULTI_REGION}/services/${SERVICE_ID} \
[ --enable-kerberos ]

Metastore Dataproc 2.3.6

  1. Buat variabel berikut untuk layanan Dataproc Metastore Anda:

    METASTORE_PROJECT=METASTORE_PROJECT
METASTORE_ID=METASTORE_ID
MULTI_REGION=MULTI_REGION
SUBNET=SUBNET

    Ganti kode berikut:

    • METASTORE_PROJECT: project Google Cloud yang berisi layanan Dataproc Metastore Anda.
    • METASTORE_ID: ID layanan layanan Metastore Dataproc Anda.
    • MULTI_REGION: lokasi multi-region yang ingin Anda gunakan untuk layanan Dataproc Metastore Anda.
    • SUBNET: salah satu subnet yang digunakan untuk layanan Dataproc Metastore. Atau subnetwork apa pun di jaringan VPC induk dari subnetwork yang digunakan untuk layanan Anda.

  2. Buat variabel berikut untuk cluster Dataproc Anda:

    CLUSTER_NAME=CLUSTER_NAME
DATAPROC_PROJECT=DATAPROC_PROJECT
DATAPROC_REGION=DATAPROC_REGION
HIVE_VERSION=HIVE_VERSION
IMAGE_VERSION=r>IMAGE_VERSION

    Ganti kode berikut:

    • CLUSTER_NAME: nama cluster Dataproc Anda.
    • DATAPROC_PROJECT: project Google Cloud yang berisi cluster Dataproc Anda. Pastikan subnet yang Anda gunakan memiliki izin yang sesuai untuk mengakses project ini.
    • DATAPROC_REGION: region Google Cloud tempat Anda ingin membuat cluster Dataproc.
    • HIVE_VERSION: versi Hive yang digunakan layanan Dataproc Metastore Anda.
    • IMAGE_VERSION: versi gambar Dataproc yang Anda gunakan dengan layanan Dataproc Metastore.
      • Untuk Hive Metastore versi 2.0, gunakan image versi 1.5.
      • Untuk Hive Metastore versi 3.1.2, gunakan image versi 2.0.

  3. Ambil direktori warehouse layanan Dataproc Metastore Anda dan simpan dalam variabel.

    WAREHOUSE_DIR=$(gcloud metastore services describe "${METASTORE_ID}" --project "${METASTORE_PROJECT}" --location "${MULTI_REGION}" --format="get(hiveMetastoreConfig.configOverrides[hive.metastore.warehouse.dir])")

  4. Buat cluster Dataproc yang dikonfigurasi dengan Metastore Dataproc multi-regional.

    gcloud dataproc clusters create ${CLUSTER_NAME} \
    --project "${DATAPROC_PROJECT}" \
    --region ${DATAPROC_REGION} \
    --scopes "https://www.googleapis.com/auth/cloud-platform" \
    --subnet "${SUBNET}" \
    --optional-components=DOCKER \
    --image-version ${IMAGE_VERSION} \
    --metadata "hive-version=${HIVE_VERSION},dpms-name=${DPMS_NAME}" \
    --properties "hive:hive.metastore.uris=thrift://localhost:9083,hive:hive.metastore.warehouse.dir=${WAREHOUSE_DIR}" \
    --initialization-actions gs://metastore-init-actions/mr-metastore-grpc-proxy/metastore-grpc-proxy.sh

Barang Diskon

Opsi 1: Mengedit file hive-site.xml

  1. Temukan URI endpoint dan direktori warehouse layanan Dataproc Metastore Anda. Anda dapat memilih salah satu endpoint yang diekspos.
  2. Di konsol Google Cloud, buka halaman VM Instances.

  3. Dalam daftar instance virtual machine, klik SSH di baris node utama Dataproc (.*-m).

    Jendela browser akan terbuka di direktori beranda Anda pada node.

  4. Buka file /etc/hive/conf/hive-site.xml.

    sudo vim /etc/hive/conf/hive-site.xml

    Anda akan melihat output yang mirip dengan yang berikut ini:

    <property>
    <name>hive.metastore.uris</name>
    <value>ENDPOINT_URI</value>
</property>
<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>WAREHOUSE_DIR</value>
</property>

    Ganti kode berikut:

  5. Mulai ulang HiveServer2:

    sudo systemctl restart hive-server2.service

Opsi 2: Menggunakan gcloud CLI

Jalankan perintah gcloud dataproc clusters create gcloud CLI berikut.

  1. Temukan URI endpoint dan direktori warehouse layanan Dataproc Metastore Anda. Anda dapat memilih salah satu endpoint yang diekspos.
gcloud dataproc clusters create CLUSTER_NAME \
    --network NETWORK \
    --project PROJECT_ID \
    --scopes "https://www.googleapis.com/auth/cloud-platform" \
    --image-version IMAGE_VERSION \
    --properties "hive:hive.metastore.uris=ENDPOINT,hive:hive.metastore.warehouse.dir=WAREHOUSE_DIR"

Ganti kode berikut:

  • CLUSTER_NAME: nama cluster Dataproc Anda.
  • NETWORK: project Google Cloud yang berisi cluster Dataproc Anda. Pastikan subnet yang Anda gunakan memiliki izin yang sesuai untuk mengakses project ini.
  • PROJECT_ID: versi Hive yang digunakan layanan Dataproc Metastore Anda.
  • IMAGE_VERSION: versi gambar Dataproc yang Anda gunakan dengan layanan Dataproc Metastore.
    • Untuk Hive Metastore versi 2.0, gunakan image versi 1.5.
    • Untuk Hive Metastore versi 3.1.2, gunakan image versi 2.0.
  • ENDPOINT: endpoint Thrift yang digunakan Dataproc Metastore.
  • WAREHOUSE_DIR: direktori warehouse Metastore Dataproc Anda.

Langkah berikutnya