Menyiapkan deployment lintas project

Anda dapat menyiapkan deployment lintas project untuk Dataproc Metastore guna memisahkan resource berikut:

  • Layanan Dataproc Metastore.
  • Cluster Dataproc yang dilampirkan ke layanan Dataproc Metastore.
  • Jaringan yang digunakan oleh cluster Dataproc.

Sebelum memulai

Peran yang Diperlukan

Untuk mendapatkan izin yang diperlukan untuk membuat Dataproc Metastore dan cluster Dataproc, minta administrator untuk memberi Anda peran IAM berikut:

  • Untuk memberikan kontrol penuh atas resource Dataproc Metastore: Dataproc Metastore Editor (roles/metastore.editor) di project metastore.

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Mengelola akses dengan IAM.

Tentang deployment lintas project

Deployment lintas project untuk Dataproc Metastore dapat terdiri dari konfigurasi berikut:

  • Dua project:

    • Project satu berisi cluster Dataproc (project cluster).
    • Project dua berisi layanan Dataproc Metastore dan jaringan (project metastore dan project jaringan).

  • Dua project:

    • Project satu berisi cluster Dataproc.
    • Project dua berisi layanan Dataproc Metastore dan jaringan (project metastore dan project jaringan).

  • Dua project:

    • Project satu berisi cluster Dataproc dan layanan Dataproc Metastore (project cluster dan project metastore).
    • Project dua berisi dan jaringan (project jaringan).

  • Tiga proyek:

    • Project satu berisi cluster Dataproc (project cluster).
    • Project dua berisi layanan Dataproc Metastore (project metastore).
    • Project ketiga berisi jaringan (project jaringan).

Diagram berikut memberikan ringkasan konfigurasi project yang dapat Anda gunakan.

Ringkasan konfigurasi project yang memungkinkan saat men-deploy cluster Dataproc Metastore dan Dataproc

Izin lintas project

Sebelum menyiapkan izin lintas project, tentukan apakah izin tersebut diperlukan untuk konfigurasi Anda:

Anda harus menyiapkan izin lintas project tambahan

  • Jika cluster Dataproc dan layanan Dataproc Metastore berada dalam project terpisah.

  • Jika layanan dan jaringan Dataproc Metastore Anda berada dalam project terpisah.

Menyiapkan izin lintas project

Jika project cluster dan project metastore berada dalam project terpisah, berikan peran berikut:

  • roles/metastore.user ke akun Agen Layanan Dataproc project cluster (yang terdapat dalam kebijakan IAM project metastore). Konfigurasi ini berlaku untuk protokol endpoint Thrift dan gRPC.

Jika project jaringan dan project metastore berada dalam project terpisah, berikan peran berikut:

  • roles/metastore.serviceAgent ke Agen Layanan project metastore (yang terdapat dalam kebijakan IAM project jaringan). Konfigurasi ini hanya berlaku untuk protokol endpoint Thrift.

Konsol

Untuk menemukan nomor project Anda:

  1. Buka tab Setelan di IAM & Admin.

  2. Dari daftar project di bagian atas halaman, pilih project yang ingin Anda gunakan untuk membuat cluster Dataproc.

  3. Catat nomor project.

Konfigurasi izin:

  1. Buka tab IAM.

  2. Dari daftar project di bagian atas halaman, pilih project metastore.

  3. Klik Tambahkan.

  4. Masukkan akun layanan di kolom Akun Utama Baru.

  5. Dari menu Peran, pilih Dataproc Metastore > Dataproc Metastore Viewer.

  6. Klik Tambahkan.

Setelah menyelesaikan langkah-langkah sebelumnya, Anda dapat membuat cluster Dataproc yang dilampirkan ke layanan Dataproc Metastore. Perlu diperhatikan bahwa untuk melakukannya, jaringan atau konfigurasi subjaringan cluster Dataproc harus cocok dengan jaringan atau subjaringan Dataproc Metastore.

Contoh:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

Langkah selanjutnya