Membuat layanan Metastore Dataproc

Halaman ini menunjukkan cara membuat layanan Metastore Dataproc.

Setelah membuat layanan Dataproc Metastore, Anda dapat mengimpor metadata dan terhubung ke salah satu layanan berikut:

• Cluster Dataproc.

• Instance Apache Hive yang dikelola sendiri, instance Apache Spark, atau cluster Presto.

Setelah Anda menghubungkan salah satu layanan ini, layanan Metastore Dataproc akan digunakan sebagai metastore Hive-nya selama eksekusi kueri.

Catatan: Diperlukan waktu lebih dari 20 menit untuk membuat layanan Metastore Dataproc. Pembuatan layanan tambahan dalam project, region, dan jaringan VPC yang sama dapat memerlukan waktu kurang dari 10 menit.

Sebelum memulai

• Pahami perbedaan antara layanan Metastore Dataproc 1 dan layanan Metastore Dataproc 2.
• Aktifkan Dataproc Metastore di project Anda.
• Memahami persyaratan jaringan khusus untuk project Anda.

Peran yang Diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat Metastore Dataproc, minta administrator Anda untuk memberi Anda peran IAM berikut pada project, berdasarkan prinsip hak istimewa terendah:

• Memberikan kontrol penuh atas resource Dataproc Metastore (roles/metastore.editor)
• Memberikan akses penuh ke semua resource Dataproc Metastore, termasuk administrasi kebijakan IAM (roles/metastore.admin)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Peran yang telah ditentukan ini berisi izin metastore.services.create, yang diperlukan untuk membuat Metastore Dataproc.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Mengelola akses dengan IAM.

Membuat Metastore Dataproc menggunakan setelan default

Membuat Metastore Dataproc menggunakan setelan default akan mengonfigurasi layanan Anda dengan tingkat perusahaan, ukuran instance sedang, versi terbaru Hive Metastore, endpoint Thrift, dan lokasi data us-central.

Metastore Dataproc 2

Petunjuk berikut menunjukkan cara membuat Metastore Dataproc 2 menggunakan endpoint Thrift dan setelan default lain yang disediakan.

Konsol

1. Di konsol Google Cloud, buka halaman Dataproc Metastore.

   Buka Metastore Dataproc

2. Di menu navigasi, klik +Create.

   Dialog Create Metastore service akan terbuka.

3. Pilih Dataproc Metastore 2.

4. Di bagian Pricing and Capacity, pilih ukuran instance.

   Untuk mengetahui informasi selengkapnya, lihat paket harga dan konfigurasi penskalaan.

5. Di kolom Nama layanan, masukkan nama unik untuk layanan Anda.

   Untuk mengetahui informasi tentang konvensi penamaan, lihat Konvensi penamaan resource.

6. Pilih Lokasi data.

   Untuk informasi selengkapnya tentang cara memilih region yang sesuai, lihat Region dan zona yang tersedia dan Endpoint regional.

7. Untuk opsi konfigurasi layanan lainnya, gunakan setelan default yang disediakan.

8. Untuk membuat dan memulai layanan, klik Submit.

   Layanan metastore baru Anda akan muncul di halaman Dataproc Metastore. Status akan menampilkan Creating hingga layanan siap digunakan. Jika sudah siap, statusnya akan berubah menjadi Aktif. Penyediaan layanan mungkin memerlukan waktu beberapa menit.

gcloud CLI

Untuk membuat layanan metastore 2 Dataproc Metastore menggunakan default yang disediakan, jalankan perintah gcloud metastore services create berikut:

gcloud metastore services create SERVICE \
  --location=LOCATION \
  --instance-size=INSTANCE_SIZE \
  --scaling-factor=SCALING_FACTOR

Ganti kode berikut:

• SERVICE: Nama layanan Metastore Dataproc Anda yang baru.

• LOCATION: Region Google Cloud tempat Anda ingin membuat Metastore Dataproc. Anda juga dapat menetapkan lokasi default.

  Untuk mengetahui informasi tentang konvensi penamaan, lihat Konvensi penamaan resource.

• INSTANCE_SIZE: ukuran instance dari Metastore Dataproc multi-regional Anda. Misalnya, small, medium, atau large. Jika Anda menentukan nilai untuk INSTANCE_SIZE, jangan menentukan nilai untuk SCALING_FACTOR.

• SCALING_FACTOR: faktor penskalaan layanan Dataproc Metastore Anda. Misalnya, 0.1. Jika Anda menentukan nilai untuk SCALING_FACTOR, jangan tentukan nilai untuk INSTANCE_SIZE.

REST

Ikuti petunjuk API untuk membuat layanan dengan menggunakan APIs Explorer.

Metastore Dataproc 1

Petunjuk berikut menunjukkan cara membuat Metastore Dataproc 1 menggunakan endpoint Thrift dan setelan default lain yang disediakan.

Konsol

1. Di konsol Google Cloud, buka halaman Dataproc Metastore.

   Buka Metastore Dataproc

2. Di menu navigasi, klik +Create.

   Dialog Create Metastore service akan terbuka.

3. Pilih Dataproc Metastore 1.

4. Di kolom Nama layanan, masukkan nama unik untuk layanan Anda.

   Untuk mengetahui informasi tentang konvensi penamaan, lihat Konvensi penamaan resource.

5. Pilih Lokasi data.

   Untuk informasi selengkapnya tentang cara memilih region yang sesuai, lihat Region dan zona yang tersedia dan Endpoint regional.

6. Untuk opsi konfigurasi layanan lainnya, gunakan setelan default yang disediakan.

7. Untuk membuat dan memulai layanan, klik Submit.

   Layanan metastore baru Anda akan muncul di halaman Dataproc Metastore. Status akan menampilkan Creating hingga layanan siap digunakan. Jika sudah siap, statusnya akan berubah menjadi Aktif. Penyediaan layanan mungkin memerlukan waktu beberapa menit.

gcloud CLI

Untuk membuat layanan metastore dasar menggunakan default yang disediakan, jalankan perintah gcloud metastore services create berikut:

gcloud metastore services create SERVICE \
  --location=LOCATION

Ganti kode berikut:

• SERVICE: Nama layanan Metastore Dataproc Anda yang baru.

• LOCATION: Region Google Cloud tempat Anda ingin membuat Metastore Dataproc. Anda juga dapat menetapkan lokasi default.

  Untuk mengetahui informasi tentang konvensi penamaan, lihat Konvensi penamaan resource.

REST

Ikuti petunjuk API untuk membuat layanan menggunakan APIs Explorer.

Membuat Metastore Dataproc menggunakan setelan lanjutan

Dengan membuat Metastore Dataproc menggunakan setelan lanjutan, Anda harus mengubah konfigurasi seperti konfigurasi jaringan, setelan penskalaan, setelan endpoint, setelan keamanan, dan fitur opsional.

Metastore Dataproc 2 atau 1

Petunjuk berikut menunjukkan cara membuat layanan Dataproc Metastore 2 atau Dataproc Metastore 1 menggunakan setelan lanjutan.

Catatan: Jika direktori Hive warehouse Anda sudah ada di Cloud Storage, Anda harus menetapkan penggantian konfigurasi metastore saat membuat layanan Metastore Dataproc.

Konsol

Mulai

1. Di konsol Google Cloud, buka halaman Dataproc Metastore:

   Buka Metastore Dataproc

2. Di menu navigasi, klik +Create.

   Dialog Create Metastore service akan terbuka.

3. Pilih versi Metastore yang ingin Anda gunakan, Dataproc Metastore 1 atau Dataproc Metastore 2.

   Info layanan

   

   Contoh halaman create service

   1. (Opsional): Untuk Dataproc Metastore 2. Di bagian Pricing and Capacity, pilih ukuran instance.

      Untuk mengetahui informasi selengkapnya, lihat paket harga dan konfigurasi penskalaan.

   2. Di kolom Nama layanan, masukkan nama unik untuk layanan Anda.

      Untuk mengetahui informasi tentang konvensi penamaan, lihat Konvensi penamaan resource.

   3. Pilih Lokasi data.

      Untuk informasi selengkapnya tentang cara memilih region yang sesuai, lihat Region dan zona yang tersedia dan Endpoint regional.

   4. Pilih versi Metastore Hive.

      Jika nilai ini tidak diubah, layanan Anda akan menggunakan versi Hive terbaru yang didukung (saat ini versi 3.1.2).

      Untuk mengetahui informasi selengkapnya tentang memilih versi yang benar, lihat Kebijakan versi.

   5. Pilih Saluran rilis.

      Jika nilai ini tidak diubah, metastore Anda akan menggunakan nilai Stable. Untuk informasi selengkapnya, lihat Saluran rilis.

   6. Masukkan Port TCP.

      Port TCP yang terhubung ke endpoint Thrift Anda. Jika nilai ini tidak diubah, nomor port 9083 akan digunakan. Jika Anda mengubah endpoint menjadi gRPC, nilai ini akan otomatis berubah menjadi 443 dan tidak dapat diubah.

   7. (Opsional) Untuk Dataproc Metastore 1. Pilih Tingkat layanan.

      Tingkat layanan memengaruhi kapasitas layanan Anda. Untuk mengetahui informasi selengkapnya, lihat Tingkat Layanan.

   Protokol endpoint

   • Opsional: Pilih protokol endpoint.

     Opsi default yang dipilih adalah Apache Thrift. Untuk informasi selengkapnya tentang endpoint yang berbeda, lihat Memilih protokol endpoint.

   Konfigurasi jaringan

   1. Pilih Konfigurasi Jaringan.

      Secara default, layanan Anda hanya diekspos dalam satu jaringan VPC dan menggunakan jaringan default. Jaringan default hanya memungkinkan layanan Anda terhubung ke layanan lain dalam project yang sama.

      Ubah setelan jaringan Anda dari default untuk menyelesaikan tindakan berikut:

      • Hubungkan layanan Metastore Dataproc Anda ke layanan Dataproc Metastore di project lain.
      • Gunakan layanan Dataproc Metastore Anda dengan layanan Google Cloud lainnya, seperti cluster Dataproc.
      Catatan: Jika Anda menggunakan endpoint gRPC, setelan ini akan dinonaktifkan.

   2. Opsional: Klik Use shared VPC network, lalu masukkan Project ID dan VPC network name.

   3. Opsional: Klik Make servicesAccessible in multiple VPCs dan pilih Subnetwork. Anda dapat menentukan hingga lima subnetwork.

   4. Klik Done.

   Integrasi metadata

   • Opsional: Aktifkan Sinkronisasi Data Catalog.

     Untuk informasi selengkapnya, lihat Sinkronisasi Dataproc di Metastore ke Data Catalog.

   Masa pemeliharaan

   • Opsional: Pilih Hari dan Jam untuk masa pemeliharaan.

     Untuk informasi selengkapnya, lihat Masa pemeliharaan.

   Keamanan

   1. Opsional: Aktifkan Kerberos.

      Catatan: Untuk mengaktifkan Kerberos, Anda memerlukan file keytab. File ini berisi pasangan utama Kerberos dan kunci terenkripsi. File keytab harus berisi entri untuk akun utama layanan yang dibuat untuk metastore Hive ini. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi Kerberos untuk layanan.
      1. Untuk mengaktifkan Kerberos, klik tombol.
      2. Pilih atau masukkan ID resource rahasia Anda.
      3. Anda dapat memilih untuk menggunakan versi rahasia terbaru atau memilih versi yang lebih lama untuk digunakan.

      4. Masukkan akun utama Kerberos.

         Ini adalah akun utama yang dialokasikan untuk layanan Dataproc Metastore ini.

      5. Buka file krb5 config.

   2. Opsional: Pilih jenis enkripsi.

      • Opsi default yang dipilih adalah Kunci enkripsi yang dikelola Google.

      • Untuk memilih kunci yang dikelola pelanggan, klik Gunakan kunci enkripsi yang dikelola pelanggan (CMEK).

        Untuk informasi selengkapnya, lihat Menggunakan kunci enkripsi yang dikelola pelanggan.

   Penggantian konfigurasi Metastore

   • Opsional: Untuk menerapkan pemetaan ke Hive Metastore, klik + Add Overrides.

     Catatan: Untuk menetapkan penggantian warehouse metastore Hive, lihat Menetapkan penggantian warehouse Hive.

   Konfigurasi versi tambahan

   • Opsional: Untuk menambahkan konfigurasi Versi tambahan, klik Aktifkan.

     Untuk informasi selengkapnya, lihat Versi tambahan.

   Jenis database

   • Opsional: Pilih jenis database.

     Untuk Database type, pilih MySQL atau Spanner. MySQL adalah jenis {i>database<i} default.

     Untuk mengetahui informasi selengkapnya tentang cara memilih jenis database tertentu, lihat Jenis database.

   Label

   • Opsional: Untuk menambahkan atau menghapus label opsional yang mendeskripsikan metadata Anda, klik + Tambahkan Label.

Memulai layanan

Untuk membuat dan memulai layanan, klik Submit.

Layanan metastore baru Anda akan muncul di halaman Dataproc Metastore. Status akan menampilkan Creating hingga layanan siap digunakan. Jika sudah siap, statusnya akan berubah menjadi Aktif. Penyediaan layanan mungkin memerlukan waktu beberapa menit.

gcloud CLI

1. Untuk membuat metastore, jalankan perintah gcloud metastore services create berikut:

   gcloud metastore services create SERVICE \
     --location=LOCATION \
     --instance-size=INSTANCE_SIZE \
     --scaling-factor=SCALING_FACTOR \
     --port=PORT \
     --tier=TIER \
     --endpoint-protocol=ENDPOINT_PROTOCOL \
     --database-type=DATABASE_TYPE \
     --hive-metastore-version=HIVE_METASTORE_VERSION \
     --data-catalog-sync=DATA_CATALOG_SYNC \
     --release-channel=RELEASE_CHANNEL \
     --hive-metastore-configs=METADATA_OVERRIDE \
     --labels=LABELS \
     --auxiliary-versions=AUXILIARY_VERSION \
     --network=NETWORK \
     --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2" \
     --kerberos-principal=KERBEROS_PRINCIPAL \
     --krb5-config=KRB5_CONFIG \
     --keytab=CLOUD_SECRET \
     --encryption-kms-key=KMS_KEY

   Ganti kode berikut:

   Setelan layanan:

   • SERVICE: Nama layanan Metastore Dataproc Anda yang baru. dari layanan Dataproc Metastore Anda. Contoh, 0.1. Jika Anda menentukan nilai untuk SCALING_FACTOR, jangan tentukan nilai untuk INSTANCE_SIZE.
   • LOCATION: Region Google Cloud tempat Anda ingin membuat Metastore Dataproc. Anda juga dapat menetapkan lokasi default.
   • PORT: Opsional: Port TCP yang digunakan endpoint Thrift. Jika tidak disetel, port 9083 akan digunakan. Jika Anda memilih untuk menggunakan endpoint gRPC, nomor port Anda akan otomatis berubah menjadi 443.
   • TIER: Opsional untuk Dataproc Metastore 1: Tingkat layanan untuk layanan baru Anda. Jika tidak disetel, nilai Developer akan digunakan.
   • ENDPOINT_PROTOCOL: Opsional: Pilih protokol endpoint untuk layanan Anda.
   • DATABASE_TYPE: Opsional: Pilih jenis database untuk layanan Anda. Untuk mengetahui informasi selengkapnya tentang cara memilih jenis database tertentu, lihat Jenis database.
   • DATA_CATALOG_SYNC: Opsional: Aktifkan fitur sinkronisasi Data Catalog.
   • HIVE_METASTORE_VERSION: Opsional: Versi metastore Hive yang ingin Anda gunakan dengan layanan. Misalnya, 3.1.2. Jika tidak disetel, versi terbaru Hive akan digunakan.
   • RELEASE_CHANNEL: Opsional: Saluran rilis layanan. Jika tidak disetel, nilai Stable akan digunakan.
   • METADATA_OVERRIDE: Opsional: Konfigurasi penggantian metastore Hive yang ingin Anda terapkan ke layanan. Gunakan daftar yang dipisahkan koma dalam format k1=v1,k2=v2,k3=v3 berikut.
   • LABELS: Opsional: key-value pair untuk menambahkan metadata tambahan ke layanan Anda. Gunakan daftar yang dipisahkan koma dalam format k1=v1,k2=v2,k3=v3 berikut. Dataproc Metastore
   • AUXILIARY_VERSION: Opsional: Mengaktifkan versi tambahan. Untuk informasi selengkapnya, lihat Versi tambahan.

   Setelan penskalaan:

   • INSTANCE_SIZE: Opsional untuk Dataproc Metastore 2: ukuran instance dari Metastore Dataproc multi-regional Anda. Misalnya, small, medium, atau large. Jika Anda menentukan nilai untuk INSTANCE_SIZE, jangan tentukan nilai untuk SCALING_FACTOR.
   • SCALING_FACTOR: Opsional untuk Dataproc Metastore 2: faktor penskalaan layanan Dataproc Metastore Anda. Misalnya, 0.1. Jika Anda menentukan nilai untuk SCALING_FACTOR, jangan tentukan nilai untuk INSTANCE_SIZE

   Setelan jaringan:

   • NETWORK: Nama jaringan VPC yang terhubung ke layanan Anda. Jika tidak disetel, nilai default akan digunakan.

     Jika menggunakan jaringan VPC yang termasuk dalam project yang berbeda dengan layanan Anda, Anda harus memberikan seluruh nama resource relatif yang harus diberikan. Misalnya, projects/HOST_PROJECT/global/networks/NETWORK_ID.

   • SUBNET1, SUBNET2: Opsional: Daftar subnetwork yang dapat mengakses layanan Anda. Anda dapat menggunakan ID, URL yang sepenuhnya memenuhi syarat, atau nama relatif subnetwork. Anda dapat menentukan hingga 5 subnetwork.

     Catatan: jika menentukan nilai dalam --network, Anda tidak dapat menggunakan parameter ini.

   Setelan Kerberos:

   • KERBEROS_PRINCIPAL: Opsional: Entity utama Kerberos yang ada di keytab dan KDC. Akun utama biasanya berbentuk "primary/instance@REALM", tetapi tidak ada format yang tepat.
   • KRB5_CONFIG: Opsional: File krb5.config menentukan informasi realm KDC dan Kerberos, yang mencakup lokasi KDC serta setelan default untuk aplikasi realm dan Kerberos.
   • CLOUD_SECRET: Opsional: Nama resource relatif dari versi secret Secret Manager.
   • KMS_KEY: Opsional: Mengacu pada ID resource kunci.

     Pratinjau

     Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

2. Verifikasi bahwa pembuatan berhasil.

REST

Ikuti petunjuk API untuk membuat layanan menggunakan APIs Explorer.

Menetapkan penggantian konfigurasi metastore Hive untuk Dataproc Metastore

Jika direktori warehouse Apache Hive berada di Cloud Storage, Anda harus menetapkan penggantian konfigurasi metastore. Penggantian ini menetapkan data warehouse kustom Anda sebagai direktori warehouse default untuk layanan Dataproc Metastore.

Sebelum menetapkan penggantian ini, pastikan layanan Dataproc Metastore Anda memiliki izin baca dan tulis objek untuk mengakses direktori warehouse. Untuk mengetahui informasi selengkapnya, lihat Direktori gudang Hive.

Petunjuk berikut menunjukkan cara menetapkan penggantian konfigurasi Hive Metastore untuk layanan Dataproc Metastore baru.

Konsol

1. Di konsol Google Cloud, buka halaman Dataproc Metastore:

   Buka Metastore Dataproc

2. Di menu navigasi, klik +Create.

3. Di Penggantian konfigurasi Metastore, masukkan nilai berikut:

   • Kunci: hive.metastore.warehouse.dir.
   • Nilai: Lokasi Cloud Storage direktori warehouse Anda. Contoh: gs://my-bucket/path/to/location.

4. Konfigurasikan opsi layanan yang tersisa sesuai kebutuhan, atau gunakan default yang diberikan.

5. Klik Submit.

   Kembali ke halaman Dataproc Metastore, dan pastikan layanan Anda berhasil dibuat.

gcloud CLI

1. Untuk membuat layanan Metastore Dataproc dengan penggantian Hive, jalankan perintah gcloud metastore services create berikut:

   gcloud metastore services create SERVICE \
     --location=LOCATION \
     --hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"
   

   Ganti kode berikut:

   • SERVICE: Nama layanan Metastore Dataproc Anda yang baru.
   • LOCATION: Region Google Cloud tempat Anda ingin membuat Metastore Dataproc. Anda juga dapat menetapkan lokasi default.
   • CUSTOMER_DIR: Lokasi Cloud Storage direktori warehouse Anda. Contoh: gs://my-bucket/path/to/location.

2. Verifikasi bahwa pembuatan berhasil.

Membuat Metastore Dataproc dengan penskalaan otomatis

Pratinjau

Fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum dalam Persyaratan Khusus Layanan. Fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Dataproc Metastore 2 mendukung penskalaan otomatis. Jika mengaktifkan penskalaan otomatis, Anda dapat menetapkan faktor penskalaan minimum dan faktor penskalaan maksimum. Setelah hal ini ditetapkan, layanan Anda akan otomatis meningkatkan atau menurunkan faktor penskalaan yang diperlukan untuk menjalankan workload Anda.

Pertimbangan penskalaan otomatis

• Faktor penskalaan otomatis dan penskalaan adalah opsi yang saling eksklusif. Misalnya, jika mengaktifkan penskalaan otomatis, Anda tidak dapat menetapkan faktor atau ukuran penskalaan secara manual.
• Penskalaan otomatis hanya tersedia untuk instance Metastore Dataproc satu region.
• Jika penskalaan otomatis diaktifkan, setelan faktor penskalaan yang ada akan dihapus.
• Jika penskalaan otomatis dinonaktifkan:
  • Setelan penskalaan otomatis yang ada akan dihapus.
  • Faktor penskalaan disetel ke autoscaling_factor terakhir yang dikonfigurasi pada layanan.
• Faktor penskalaan otomatis minimum dan maksimum bersifat opsional. Jika tidak ditetapkan, nilai defaultnya masing-masing adalah 0.1 dan 6.

Pilih salah satu tab berikut untuk mempelajari cara membuat layanan Dataproc Metastore 2 dengan penskalaan otomatis yang diaktifkan.

Konsol

1. Di konsol Google Cloud, buka halaman Dataproc Metastore.

   Buka Dataproc Metastore

2. Di menu navigasi, klik +Create.

   Dialog Create Metastore service akan terbuka.

3. Pilih Dataproc Metastore 2.

4. Di bagian Pricing and Capacity, pilih Enterprise - Single region

5. Di bagian Instance Size, klik Enable autoscaling.

6. Di bagian Instance Size, gunakan penggeser untuk memilih ukuran instance minimum dan maksimum.

7. Untuk membuat dan memulai layanan, klik Submit.

   Layanan metastore baru Anda akan muncul di halaman Dataproc Metastore. Status akan menampilkan Creating hingga layanan siap digunakan. Jika sudah siap, statusnya akan berubah menjadi Aktif. Penyediaan layanan mungkin memerlukan waktu beberapa menit.

REST

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI dengan akun pengguna Anda. Anda dapat login dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang otomatis akan membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun aktif dengan menjalankan gcloud auth list.

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"scaling_config":{"autoscaling_config":{"autoscaling_enabled": true,"limit_config":{"max_scaling_factor":MAX_SCALING_FACTOR,"min_scaling_factor": MIN_SCALING_FACTOR}}}}' \
-H "Content-Type:application/json" \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/services?service_id=SERVICE_ID

Ganti kode berikut:

• MIN_INSTANCES Opsional: Jumlah minimum instance yang akan digunakan dalam konfigurasi penskalaan otomatis. Jika nilai ini tidak ditentukan, nilai default 0.1 akan digunakan.
• MAX_INSTANCESOpsional: Jumlah maksimum instance yang akan digunakan dalam konfigurasi penskalaan otomatis. Jika nilai ini tidak ditentukan, nilai default 6 akan digunakan.

Membuat layanan Metastore Dataproc multi-regional

Untuk membuat Metastore Dataproc multi-regional, lihat Menyiapkan layanan Metastore Dataproc multi-regional.

Membuat layanan Metastore Dataproc menggunakan VPC Bersama

VPC Bersama memungkinkan Anda menghubungkan resource Dataproc Metastore dari beberapa project ke jaringan VPC umum.

Untuk membuat layanan Metastore Dataproc yang dikonfigurasi dengan VPC Bersama, lihat Membuat layanan menggunakan setelan lanjutan.

Pertimbangan

• Jaringan VPC tidak relevan untuk layanan Dataproc Metastore yang dikonfigurasi dengan protokol endpoint gRPC.

• Untuk layanan Dataproc Metastore yang dikonfigurasi dengan protokol endpoint Thrift, pastikan layanan Dataproc Metastore dan cluster Dataproc yang terpasang menggunakan jaringan VPC Bersama yang sama.

• Untuk layanan Metastore Dataproc yang dikonfigurasi dengan protokol endpoint Thrift dan Private Service Connect, pastikan Anda menggunakan subnetwork dari jaringan VPC Bersama.

Peran IAM diperlukan untuk jaringan VPC Bersama

Untuk membuat layanan Dataproc Metastore dengan VPC yang dapat diakses di jaringan yang termasuk dalam project yang berbeda, Anda harus memberikan roles/metastore.serviceAgent ke agen layanan Dataproc Metastore project layanan ([e-mail]) dalam kebijakan IAM project jaringan.

Perhatian: Perubahan kebijakan IAM ini memberi pengguna Dataproc Metastore izin metastore.services.create di project layanan untuk secara tidak langsung membuat alamat dan peering di project jaringan.

gcloud projects add-iam-policy-binding NETWORK_PROJECT_ID \
   --role "roles/metastore.serviceAgent" \
   --member "serviceAccount:[e-mail]"

Catatan: Jika Anda belum pernah membuat layanan Dataproc Metastore dalam project layanan, perintah gcloud projects add-iam-policy-binding mungkin akan gagal dengan pesan error yang berisi Service account [SERVICE_ACCOUNT_NAME] does not exist.. Jika hal ini terjadi, Anda dapat menyelesaikan masalah ini dengan mencoba membuat layanan menggunakan jaringan yang tidak ada dalam project layanan. Pembuatan layanan akan gagal, tetapi tindakan ini akan memicu pembuatan akun layanan. Setelah itu, perintah akan berhasil.

Memecahkan masalah umum

Beberapa masalah umum adalah sebagai berikut:

• Membatasi peering VPC. Sebelum membuat metastore, jangan menetapkan batasan kebijakan organisasi untuk membatasi peering VPC, atau pembuatan metastore akan gagal. Untuk mengetahui informasi selengkapnya tentang cara menetapkan konfigurasi VPC yang benar, lihat Pembuatan layanan gagal karena batasan untuk membatasi peering VPC.

• Masalah terkait jaringan VPC. Saat membuat metastore, jaringan VPC yang Anda gunakan mungkin kehabisan alamat RFC 1918 yang diperlukan oleh layanan Dataproc Metastore. Untuk informasi selengkapnya tentang cara memperbaiki masalah ini, lihat Rentang IP yang dialokasikan habis.

Langkah selanjutnya

• Memasang cluster Dataproc
• Mengupdate dan menghapus layanan
• Mengimpor metadata ke layanan