Membuat layanan Metastore Dataproc

Halaman ini menunjukkan cara membuat layanan Dataproc Metastore.

Setelah membuat layanan Dataproc Metastore, Anda dapat mengimpor metadata dan terhubung ke salah satu layanan berikut:

• Cluster Dataproc.

• Instance Apache Hive yang dikelola sendiri, instance Apache Spark, atau cluster Presto.

Setelah Anda menghubungkan salah satu layanan ini, layanan tersebut akan menggunakan layanan Dataproc Metastore sebagai metastore Hive selama eksekusi kueri.

Catatan: Diperlukan waktu lebih dari 20 menit untuk membuat layanan Dataproc Metastore. Membuat layanan tambahan di project, region, dan jaringan VPC yang sama dapat memerlukan waktu kurang dari 10 menit.

Sebelum memulai

• Pahami perbedaan antara layanan Dataproc Metastore 1 dan layanan Dataproc Metastore 2.
• Aktifkan Dataproc Metastore di project Anda.
• Pahami persyaratan jaringan khusus untuk project Anda.

Peran yang Diperlukan

Untuk mendapatkan izin yang Anda perlukan untuk membuat Dataproc Metastore, minta administrator untuk memberi Anda peran IAM berikut di project Anda, berdasarkan prinsip hak istimewa minimum:

• Memberikan kontrol penuh atas resource Dataproc Metastore (roles/metastore.editor)
• Memberikan akses penuh ke semua resource Dataproc Metastore, termasuk administrasi kebijakan IAM (roles/metastore.admin)

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin metastore.services.create, yang diperlukan untuk membuat Metastore Dataproc.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Mengelola akses dengan IAM.

Membuat Metastore Dataproc menggunakan setelan default

Membuat Dataproc Metastore menggunakan setelan default akan mengonfigurasi layanan Anda dengan tingkat perusahaan, ukuran instance sedang, versi terbaru Hive Metastore, endpoint Thrift, dan lokasi data us-central.

Dataproc Metastore 2

Petunjuk berikut menunjukkan cara membuat Dataproc Metastore 2 menggunakan endpoint Thrift dan setelan default lainnya yang disediakan.

Konsol

1. Di konsol Google Cloud, buka halaman Dataproc Metastore.

   Buka Dataproc Metastore

2. Di menu navigasi, klik +Create.

   Dialog Create Metastore service akan terbuka.

3. Pilih Dataproc Metastore 2.

4. Di bagian Harga dan Kapasitas, pilih ukuran instance.

   Untuk mengetahui informasi selengkapnya, lihat paket harga dan konfigurasi penskalaan.

5. Di kolom Nama layanan, masukkan nama unik untuk layanan Anda.

   Untuk informasi tentang konvensi penamaan, lihat Konvensi penamaan resource.

6. Pilih Data location.

   Untuk informasi selengkapnya tentang cara memilih region yang sesuai, lihat Region dan zona yang tersedia dan Endpoint regional.

7. Untuk opsi konfigurasi layanan lainnya, gunakan setelan default yang disediakan.

8. Untuk membuat dan memulai layanan, klik Kirim.

   Layanan metastore baru Anda akan muncul di halaman Dataproc Metastore. Status akan menampilkan Membuat hingga layanan siap digunakan. Jika sudah siap, statusnya akan berubah menjadi Aktif. Penyediaan layanan mungkin memerlukan waktu beberapa menit.

gcloud CLI

Untuk membuat layanan metastore Dataproc Metastore 2 menggunakan default yang disediakan, jalankan perintah gcloud metastore services create berikut:

gcloud metastore services create SERVICE \
  --location=LOCATION \
  --instance-size=INSTANCE_SIZE \
  --scaling-factor=SCALING_FACTOR

Ganti kode berikut:

• SERVICE: Nama layanan Dataproc Metastore baru Anda.

• LOCATION: Region Google Cloud tempat Anda ingin membuat Metastore Dataproc. Anda juga dapat menetapkan lokasi default.

  Untuk informasi tentang konvensi penamaan, lihat Konvensi penamaan resource.

• INSTANCE_SIZE: ukuran instance Dataproc Metastore multi-regional Anda. Misalnya, small, medium, atau large. Jika Anda menentukan nilai untuk INSTANCE_SIZE, jangan tentukan nilai untuk SCALING_FACTOR.

• SCALING_FACTOR: faktor penskalaan layanan Dataproc Metastore Anda. Misalnya, 0.1. Jika Anda menentukan nilai untuk SCALING_FACTOR, jangan tentukan nilai untuk INSTANCE_SIZE.

REST

Ikuti petunjuk API untuk membuat layanan menggunakan API Explorer.

Dataproc Metastore 1

Petunjuk berikut menunjukkan cara membuat Dataproc Metastore 1 menggunakan endpoint Thrift dan setelan default lainnya yang disediakan.

Konsol

1. Di konsol Google Cloud, buka halaman Dataproc Metastore.

   Buka Dataproc Metastore

2. Di menu navigasi, klik +Create.

   Dialog Create Metastore service akan terbuka.

3. Pilih Dataproc Metastore 1.

4. Di kolom Nama layanan, masukkan nama unik untuk layanan Anda.

   Untuk informasi tentang konvensi penamaan, lihat Konvensi penamaan resource.

5. Pilih Data location.

   Untuk informasi selengkapnya tentang cara memilih region yang sesuai, lihat Region dan zona yang tersedia dan Endpoint regional.

6. Untuk opsi konfigurasi layanan lainnya, gunakan setelan default yang disediakan.

7. Untuk membuat dan memulai layanan, klik Kirim.

   Layanan metastore baru Anda akan muncul di halaman Dataproc Metastore. Status akan menampilkan Membuat hingga layanan siap digunakan. Jika sudah siap, statusnya akan berubah menjadi Aktif. Penyediaan layanan mungkin memerlukan waktu beberapa menit.

gcloud CLI

Untuk membuat layanan metastore dasar menggunakan default yang disediakan, jalankan perintah gcloud metastore services create berikut:

gcloud metastore services create SERVICE \
  --location=LOCATION

Ganti kode berikut:

• SERVICE: Nama layanan Dataproc Metastore baru Anda.

• LOCATION: Region Google Cloud tempat Anda ingin membuat Metastore Dataproc. Anda juga dapat menetapkan lokasi default.

  Untuk informasi tentang konvensi penamaan, lihat Konvensi penamaan resource.

REST

Ikuti petunjuk API untuk membuat layanan menggunakan API Explorer.

Membuat Metastore Dataproc menggunakan setelan lanjutan

Membuat Dataproc Metastore menggunakan setelan lanjutan menunjukkan bahwa Anda harus mengubah konfigurasi seperti konfigurasi jaringan, setelan penskalaan, setelan endpoint, setelan keamanan, dan fitur opsional.

Dataproc Metastore 2 atau 1

Petunjuk berikut menunjukkan cara membuat layanan Dataproc Metastore 2 atau Dataproc Metastore 1 menggunakan setelan lanjutan.

Catatan: Jika direktori warehouse Hive sudah ada di Cloud Storage, Anda harus menetapkan penggantian konfigurasi metastore saat membuat layanan Dataproc Metastore.

Konsol

Mulai

1. Di konsol Google Cloud, buka halaman Dataproc Metastore:

   Membuka Dataproc Metastore

2. Di menu navigasi, klik +Create.

   Dialog Create Metastore service akan terbuka.

3. Pilih versi Metastore yang ingin Anda gunakan, Dataproc Metastore 1 atau Dataproc Metastore 2.

   Info layanan

   

   Contoh halaman buat layanan

   1. (Opsional): Untuk Dataproc Metastore 2. Di bagian Harga dan Kapasitas, pilih ukuran instance.

      Untuk mengetahui informasi selengkapnya, lihat paket harga dan konfigurasi penskalaan.

   2. Di kolom Nama layanan, masukkan nama unik untuk layanan Anda.

      Untuk informasi tentang konvensi penamaan, lihat Konvensi penamaan resource.

   3. Pilih Data location.

      Untuk informasi selengkapnya tentang cara memilih region yang sesuai, lihat Region dan zona yang tersedia dan Endpoint regional.

   4. Pilih Versi Metastore Hive.

      Jika nilai ini tidak diubah, layanan Anda akan menggunakan Hive versi terbaru yang didukung (saat ini versi 3.1.2).

      Untuk mengetahui informasi selengkapnya tentang cara memilih versi yang benar, lihat Kebijakan versi.

   5. Pilih Saluran rilis.

      Jika nilai ini tidak diubah, metastore Anda akan menggunakan nilai Stable. Untuk informasi selengkapnya, lihat Saluran rilis.

   6. Masukkan Port TCP.

      Port TCP yang terhubung ke endpoint Thrift Anda. Jika nilai ini tidak diubah, nomor port 9083 akan digunakan. Jika Anda mengubah endpoint ke gRPC, nilai ini akan otomatis berubah menjadi 443 dan tidak dapat diubah.

   7. (Opsional) Untuk Dataproc Metastore 1. Pilih Tingkat layanan.

      Tingkat layanan memengaruhi kapasitas layanan Anda. Untuk mengetahui informasi selengkapnya, lihat Tingkat Layanan.

   Protokol endpoint

   • Opsional: Pilih protokol endpoint.

     Opsi yang dipilih secara default adalah Apache Thrift. Untuk informasi selengkapnya tentang berbagai endpoint, lihat Memilih protokol endpoint.

   Konfigurasi jaringan

   1. Pilih Network Configuration.

      Secara default, layanan Anda hanya ditampilkan di satu jaringan VPC dan menggunakan jaringan default. Jaringan default hanya mengizinkan layanan Anda terhubung ke layanan lain dalam project yang sama.

      Ubah setelan jaringan dari setelan default untuk menyelesaikan tindakan berikut:

      • Hubungkan layanan Dataproc Metastore Anda ke layanan Dataproc Metastore di project lain.
      • Gunakan layanan Dataproc Metastore Anda dengan layanan Google Cloud lainnya, seperti cluster Dataproc.
      Catatan: Jika Anda menggunakan endpoint gRPC, setelan ini akan dinonaktifkan.

   2. Opsional: Klik Use shared VPC network dan masukkan Project ID dan VPC network name.

   3. Opsional: Klik Buat layanan dapat diakses di beberapa subnetwork VPC, lalu pilih Subnetwork. Anda dapat menentukan hingga lima subnetwork.

   4. Klik Done.

   Integrasi metadata

   • Opsional: Aktifkan Sinkronisasi Data Catalog.

     Untuk mengetahui informasi selengkapnya, lihat Sinkronisasi Dataproc Metastore ke Data Catalog.

   Masa pemeliharaan

   • Opsional: Pilih Hari dan Jam untuk periode pemeliharaan.

     Untuk informasi selengkapnya, lihat Masa pemeliharaan.

   Keamanan

   1. Opsional: Aktifkan Kerberos.

      Catatan: Untuk mengaktifkan Kerberos, Anda memerlukan file keytab. File ini berisi pasangan akun utama Kerberos dan kunci terenkripsi. File keytab harus berisi entri untuk akun utama layanan yang dibuat untuk metastore Hive ini. Untuk informasi selengkapnya, lihat Mengonfigurasi Kerberos untuk layanan.
      1. Untuk mengaktifkan Kerberos, klik tombol.
      2. Pilih atau masukkan ID resource rahasia Anda.
      3. Pilih untuk menggunakan versi secret terbaru atau pilih versi secret lama yang akan digunakan.

      4. Masukkan utama Kerberos.

         Ini adalah akun utama yang dialokasikan untuk layanan Dataproc Metastore ini.

      5. Buka file krb5 config.

   2. Opsional: Pilih jenis enkripsi.

      • Opsi yang dipilih secara default adalah Kunci enkripsi yang dikelola Google.

      • Untuk memilih kunci yang dikelola pelanggan, klik Gunakan kunci enkripsi yang dikelola pelanggan (CMEK).

        Untuk informasi selengkapnya, lihat Menggunakan kunci enkripsi yang dikelola pelanggan.

   Penggantian konfigurasi metastore

   • Opsional: Untuk menerapkan pemetaan ke Metastore Hive, klik + Tambahkan Penggantian.

     Catatan: Untuk menetapkan penggantian warehouse metastore Hive, lihat Menetapkan penggantian warehouse Hive.

   Konfigurasi versi tambahan

   • Opsional: Untuk menambahkan konfigurasi versi Auxiliary, klik Aktifkan.

     Untuk informasi selengkapnya, lihat Versi tambahan.

   Jenis database

   • Opsional: Pilih jenis database.

     Untuk Database type, pilih MySQL atau Spanner. MySQL adalah jenis database default.

     Untuk mengetahui informasi selengkapnya tentang cara memilih jenis database tertentu, lihat Jenis database.

   Label

   • Opsional: Untuk menambahkan atau menghapus label opsional yang mendeskripsikan metadata, klik + Tambahkan Label.

Memulai layanan

Untuk membuat dan memulai layanan, klik Kirim.

Layanan metastore baru Anda akan muncul di halaman Dataproc Metastore. Status akan menampilkan Membuat hingga layanan siap digunakan. Jika sudah siap, statusnya akan berubah menjadi Aktif. Penyediaan layanan mungkin memerlukan waktu beberapa menit.

gcloud CLI

1. Untuk membuat metastore, jalankan perintah gcloud metastore services create berikut:

   gcloud metastore services create SERVICE \
     --location=LOCATION \
     --instance-size=INSTANCE_SIZE \
     --scaling-factor=SCALING_FACTOR \
     --port=PORT \
     --tier=TIER \
     --endpoint-protocol=ENDPOINT_PROTOCOL \
     --database-type=DATABASE_TYPE \
     --hive-metastore-version=HIVE_METASTORE_VERSION \
     --data-catalog-sync=DATA_CATALOG_SYNC \
     --release-channel=RELEASE_CHANNEL \
     --hive-metastore-configs=METADATA_OVERRIDE \
     --labels=LABELS \
     --auxiliary-versions=AUXILIARY_VERSION \
     --network=NETWORK \
     --consumer-subnetworks="projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET1, projects/PROJECT_ID/regions/LOCATION/subnetworks/SUBNET2" \
     --kerberos-principal=KERBEROS_PRINCIPAL \
     --krb5-config=KRB5_CONFIG \
     --keytab=CLOUD_SECRET \
     --encryption-kms-key=KMS_KEY

   Ganti kode berikut:

   Setelan layanan:

   • SERVICE: Nama layanan Dataproc Metastore baru Anda. Contoh, 0.1. Jika Anda menentukan nilai untuk SCALING_FACTOR, jangan tentukan nilai untuk INSTANCE_SIZE.
   • LOCATION: Region Google Cloud tempat Anda ingin membuat Metastore Dataproc. Anda juga dapat menetapkan lokasi default.
   • PORT: Opsional: Port TCP yang digunakan endpoint Thrift Anda. Jika tidak ditetapkan, port 9083 akan digunakan. Jika Anda memilih untuk menggunakan endpoint gRPC, nomor port akan otomatis berubah menjadi 443.
   • TIER: Opsional untuk Dataproc Metastore 1: Tingkat layanan layanan baru Anda. Jika tidak ditetapkan, nilai Developer akan digunakan.
   • ENDPOINT_PROTOCOL: Opsional: Pilih protokol endpoint untuk layanan Anda.
   • DATABASE_TYPE: Opsional: Pilih jenis database untuk layanan Anda. Untuk mengetahui informasi selengkapnya tentang cara memilih jenis database tertentu, lihat Jenis database.
   • DATA_CATALOG_SYNC: Opsional: Aktifkan fitur Sinkronisasi Data Catalog.
   • HIVE_METASTORE_VERSION: Opsional: Versi metastore Hive yang ingin Anda gunakan dengan layanan. Contoh, 3.1.2. Jika tidak ditetapkan, Hive versi terbaru akan digunakan.
   • RELEASE_CHANNEL: Opsional: saluran rilis layanan. Jika tidak ditetapkan, nilai Stable akan digunakan.
   • METADATA_OVERRIDE: Opsional: Metastore Hive mengganti konfigurasi yang ingin Anda terapkan ke layanan. Gunakan daftar yang dipisahkan koma dalam format k1=v1,k2=v2,k3=v3 berikut.
   • LABELS: Opsional: key-value pair untuk menambahkan metadata tambahan ke layanan Anda. Gunakan daftar yang dipisahkan koma dalam format k1=v1,k2=v2,k3=v3 berikut. Dataproc Metastore
   • AUXILIARY_VERSION: Opsional: Aktifkan versi bantuan. Untuk informasi selengkapnya, lihat Versi tambahan.

   Setelan penskalaan:

   • INSTANCE_SIZE: Opsional untuk Dataproc Metastore 2: ukuran instance Dataproc Metastore multi-regional Anda. Misalnya, small, medium, atau large. Jika Anda menentukan nilai untuk INSTANCE_SIZE, jangan tentukan nilai untuk SCALING_FACTOR.
   • SCALING_FACTOR: Opsional untuk Dataproc Metastore 2: faktor penskalaan layanan Dataproc Metastore Anda. Misalnya, 0.1. Jika Anda menentukan nilai untuk SCALING_FACTOR, jangan tentukan nilai untuk INSTANCE_SIZE

   Setelan jaringan:

   • NETWORK: Nama jaringan VPC yang Anda hubungkan ke layanan. Jika tidak ditetapkan, nilai default akan digunakan.

     Jika menggunakan jaringan VPC yang termasuk dalam project yang berbeda dengan layanan Anda, Anda harus memberikan seluruh nama resource relatif. Misalnya, projects/HOST_PROJECT/global/networks/NETWORK_ID.

   • SUBNET1, SUBNET2: Opsional: Daftar subjaringan yang dapat mengakses layanan Anda. Anda dapat menggunakan ID, URL yang sepenuhnya memenuhi syarat, atau nama relatif subnetwork. Anda dapat menentukan hingga 5 subnetwork.

     Catatan: jika Anda menentukan nilai di --network, Anda tidak dapat menggunakan parameter ini.

   Setelan Kerberos:

   • KERBEROS_PRINCIPAL: Opsional: Akun utama Kerberos yang ada di keytab dan KDC. Akun utama umumnya berbentuk "primary/instance@REALM", tetapi tidak ada format yang pasti.
   • KRB5_CONFIG: Opsional: File krb5.config menentukan informasi KDC dan realm Kerberos, yang mencakup lokasi KDC dan default untuk aplikasi Kerberos dan realm.
   • CLOUD_SECRET: Opsional: Nama resource relatif dari versi secret Secret Manager.
   • KMS_KEY: Opsional: Mengacu pada ID resource kunci.

     Pratinjau

     Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

2. Pastikan pembuatan berhasil.

REST

Ikuti petunjuk API untuk membuat layanan menggunakan API Explorer.

Menetapkan penggantian konfigurasi metastore Hive untuk Metastore Dataproc

Jika direktori warehouse Apache Hive Anda berada di Cloud Storage, Anda harus menetapkan penggantian konfigurasi metastore. Penggantian ini menetapkan data warehouse kustom Anda sebagai direktori warehouse default untuk layanan Dataproc Metastore Anda.

Sebelum menetapkan penggantian ini, pastikan layanan Dataproc Metastore Anda memiliki izin baca dan tulis objek untuk mengakses direktori warehouse. Untuk mengetahui informasi selengkapnya, lihat Direktori warehouse Hive.

Petunjuk berikut menunjukkan cara menetapkan penggantian konfigurasi Hive Metastore untuk layanan Dataproc Metastore baru.

Konsol

1. Di konsol Google Cloud, buka halaman Dataproc Metastore:

   Membuka Dataproc Metastore

2. Di menu navigasi, klik +Create.

3. Di Penggantian konfigurasi metastore, masukkan nilai berikut:

   • Kunci: hive.metastore.warehouse.dir.
   • Nilai: Lokasi Cloud Storage dari direktori warehouse Anda. Contoh: gs://my-bucket/path/to/location.

4. Konfigurasikan opsi layanan yang tersisa sesuai kebutuhan, atau gunakan default yang disediakan.

5. Klik Kirim.

   Kembali ke halaman Dataproc Metastore, dan verifikasi bahwa layanan Anda berhasil dibuat.

gcloud CLI

1. Untuk membuat layanan Dataproc Metastore dengan penggantian Hive, jalankan perintah gcloud metastore services create berikut:

   gcloud metastore services create SERVICE \
     --location=LOCATION \
     --hive-metastore-configs="hive.metastore.warehouse.dir=CUSTOMER_DIR"
   

   Ganti kode berikut:

   • SERVICE: Nama layanan Dataproc Metastore baru Anda.
   • LOCATION: Region Google Cloud tempat Anda ingin membuat Metastore Dataproc. Anda juga dapat menetapkan lokasi default.
   • CUSTOMER_DIR: Lokasi Cloud Storage dari direktori warehouse Anda. Contoh: gs://my-bucket/path/to/location.

2. Pastikan pembuatan berhasil.

Membuat Metastore Dataproc dengan penskalaan otomatis

Dataproc Metastore 2 mendukung penskalaan otomatis. Jika mengaktifkan penskalaan otomatis, Anda dapat menetapkan faktor penskalaan minimum dan faktor penskalaan maksimum. Setelah ditetapkan, layanan Anda akan otomatis meningkatkan atau menurunkan faktor penskalaan yang diperlukan untuk menjalankan beban kerja Anda.

Pertimbangan penskalaan otomatis

• Penskalaan otomatis dan faktor penskalaan adalah opsi yang saling eksklusif. Misalnya, jika mengaktifkan penskalaan otomatis, Anda tidak dapat menetapkan faktor atau ukuran penskalaan secara manual.
• Penskalaan otomatis hanya tersedia untuk instance Dataproc Metastore satu region.
• Jika penskalaan otomatis diaktifkan, setelan faktor penskalaan yang ada akan dihapus.
• Jika penskalaan otomatis dinonaktifkan:
  • Setelan penskalaan otomatis yang ada akan dihapus.
  • Faktor penskalaan ditetapkan ke autoscaling_factor terakhir yang dikonfigurasi di layanan.
• Faktor penskalaan otomatis minimum dan maksimum bersifat opsional. Jika tidak ditetapkan, nilai defaultnya adalah 0.1 dan 6.

Pilih salah satu tab berikut untuk mempelajari cara membuat layanan Dataproc Metastore 2 dengan penskalaan otomatis diaktifkan.

Konsol

1. Di konsol Google Cloud, buka halaman Dataproc Metastore.

   Buka Dataproc Metastore

2. Di menu navigasi, klik +Create.

   Dialog Create Metastore service akan terbuka.

3. Pilih Dataproc Metastore 2.

4. Di bagian Harga dan Kapasitas, pilih Enterprise - Single region

5. Di bagian Instance Size, klik Enable autoscaling.

6. Di bagian Ukuran Instance, gunakan penggeser untuk memilih ukuran instance minimum dan maksimum.

7. Untuk membuat dan memulai layanan, klik Kirim.

   Layanan metastore baru Anda akan muncul di halaman Dataproc Metastore. Status akan menampilkan Membuat hingga layanan siap digunakan. Jika sudah siap, statusnya akan berubah menjadi Aktif. Penyediaan layanan mungkin memerlukan waktu beberapa menit.

REST

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI dengan akun pengguna Anda. Anda dapat login dengan menjalankan gcloud init atau gcloud auth login, atau dengan menggunakan Cloud Shell, yang akan otomatis membuat Anda login ke gcloud CLI. Anda dapat memeriksa akun aktif dengan menjalankan gcloud auth list.

curl -X POST -s -i -H "Authorization: Bearer $(gcloud auth print-access-token)" \
-d '{"scaling_config":{"autoscaling_config":{"autoscaling_enabled": true,"limit_config":{"max_scaling_factor":MAX_SCALING_FACTOR,"min_scaling_factor": MIN_SCALING_FACTOR}}}}' \
-H "Content-Type:application/json" \
https://metastore.googleapis.com/v1/projects/PROJECT_ID/locations/us-central1/services?service_id=SERVICE_ID

Ganti kode berikut:

• MIN_INSTANCES Opsional: Jumlah minimum instance yang akan digunakan dalam konfigurasi penskalaan otomatis Anda. Jika nilai ini tidak ditentukan, nilai default 0.1 akan digunakan.
• MAX_INSTANCESOpsional: Jumlah maksimum instance yang akan digunakan dalam konfigurasi penskalaan otomatis Anda. Jika nilai ini tidak ditentukan, nilai default 6 akan digunakan.

Membuat layanan Dataproc Metastore multi-regional

Untuk membuat Dataproc Metastore multi-regional, lihat Menyiapkan layanan Dataproc Metastore multi-regional.

Membuat layanan Dataproc Metastore menggunakan VPC Bersama

VPC Bersama memungkinkan Anda menghubungkan resource Metastore Dataproc dari beberapa project ke jaringan VPC umum.

Untuk membuat layanan Dataproc Metastore yang dikonfigurasi dengan VPC Bersama, lihat Membuat layanan menggunakan setelan lanjutan.

Pertimbangan

• Jaringan VPC tidak relevan untuk layanan Dataproc Metastore yang dikonfigurasi dengan protokol endpoint gRPC.

• Untuk layanan Dataproc Metastore yang dikonfigurasi dengan protokol endpoint Thrift, pastikan layanan Dataproc Metastore dan cluster Dataproc yang terpasang menggunakan jaringan VPC Bersama yang sama.

• Untuk layanan Dataproc Metastore yang dikonfigurasi dengan protokol endpoint Thrift dan Private Service Connect, pastikan Anda menggunakan subjaringan dari jaringan VPC Bersama.

Peran IAM yang diperlukan untuk jaringan VPC Bersama

Untuk membuat layanan Dataproc Metastore dengan VPC yang dapat diakses di jaringan milik project lain, Anda harus memberikan roles/metastore.serviceAgent ke agen layanan Dataproc Metastore ([e-mail]) project layanan dalam kebijakan IAM project jaringan.

Perhatian: Perubahan kebijakan IAM ini memberi pengguna Metastore Dataproc izin metastore.services.create di project layanan untuk secara tidak langsung membuat alamat dan peering di project jaringan.

gcloud projects add-iam-policy-binding NETWORK_PROJECT_ID \
   --role "roles/metastore.serviceAgent" \
   --member "serviceAccount:[e-mail]"

Catatan: Jika Anda belum pernah membuat layanan Dataproc Metastore di project layanan, perintah gcloud projects add-iam-policy-binding mungkin gagal dengan pesan error yang berisi Service account [SERVICE_ACCOUNT_NAME] does not exist. Jika hal ini terjadi, Anda dapat menyelesaikan masalah dengan mencoba membuat layanan menggunakan jaringan yang tidak ada di project layanan. Pembuatan layanan akan gagal, tetapi akan memicu pembuatan akun layanan. Setelah itu, perintah akan berhasil.

Memecahkan masalah umum

Beberapa masalah umum meliputi:

• Membatasi peering VPC. Sebelum membuat metastore, jangan tetapkan batasan kebijakan organisasi untuk membatasi peering VPC. Jika tidak, pembuatan metastore akan gagal. Untuk informasi selengkapnya tentang cara menetapkan konfigurasi VPC yang benar, lihat Pembuatan layanan gagal karena batasan untuk membatasi peering VPC.

• Masalah pada jaringan VPC. Saat membuat metastore, jaringan VPC yang Anda gunakan mungkin kehabisan alamat RFC 1918 yang tersedia dan diperlukan oleh layanan Dataproc Metastore. Untuk informasi selengkapnya tentang cara memperbaiki masalah ini, lihat Rentang IP yang dialokasikan sudah habis.

Langkah selanjutnya

• Melampirkan cluster Dataproc
• Memperbarui dan menghapus layanan
• Mengimpor metadata ke layanan