Menyiapkan deployment lintas project

Anda dapat menyiapkan deployment lintas project untuk Dataproc Metastore guna memisahkan resource berikut:

  • Layanan Dataproc Metastore.
  • Cluster Dataproc yang dilampirkan ke layanan Metastore Dataproc.
  • Jaringan yang digunakan oleh cluster Dataproc.

Sebelum memulai

Peran yang Diperlukan

Untuk mendapatkan izin yang Anda perlukan guna membuat Dataproc Metastore dan cluster Dataproc, minta administrator untuk memberi Anda peran IAM berikut:

  • Untuk memberikan kontrol penuh atas resource Dataproc Metastore: Dataproc Metastore Editor (roles/metastore.editor) di project metastore.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang peran dan izin Dataproc Metastore tertentu, lihat Mengelola akses dengan IAM.

Tentang deployment lintas project

Deployment lintas project untuk Dataproc Metastore dapat terdiri dari konfigurasi berikut:

  • Dua project:

    • Project satu berisi cluster Dataproc (project cluster).
    • Project kedua berisi layanan Dataproc Metastore dan jaringan (project metastore dan project jaringan).

  • Dua project:

    • Project satu berisi cluster Dataproc.
    • Project kedua berisi layanan Dataproc Metastore dan jaringan (project metastore dan project jaringan).

  • Dua project:

    • Project satu berisi cluster Dataproc dan layanan Dataproc Metastore (project cluster dan project metastore).
    • Project kedua berisi jaringan (project jaringan).

  • Tiga project:

    • Project satu berisi cluster Dataproc (project cluster).
    • Project kedua berisi layanan Dataproc Metastore (project metastore).
    • Project ketiga berisi jaringan (project jaringan).

Diagram berikut memberikan ringkasan kemungkinan konfigurasi project yang dapat Anda gunakan.

Ringkasan kemungkinan konfigurasi project saat men-deploy Metastore Dataproc dan cluster Dataproc

Izin lintas project

Sebelum menyiapkan izin lintas project, tentukan apakah izin tersebut diperlukan untuk konfigurasi Anda:

Anda harus menyiapkan izin lintas project tambahan

  • Jika cluster Dataproc dan layanan Dataproc Metastore berada di project terpisah.

  • Jika layanan dan jaringan Dataproc Metastore Anda berada dalam project yang terpisah.

Menyiapkan izin lintas project

Jika project cluster dan project metastore berada dalam project terpisah, berikan peran berikut:

  • roles/metastore.user ke akun Dataproc Service Agent project cluster (tercantum dalam kebijakan IAM project metastore). Konfigurasi ini berlaku untuk protokol endpoint Thrift dan gRPC.

Jika project jaringan dan project metastore berada dalam project terpisah, berikan peran berikut:

  • roles/metastore.serviceAgent ke Agen Layanan project metastore (tercantum dalam kebijakan IAM project jaringan). Konfigurasi ini hanya berlaku untuk protokol endpoint Thrift.

Konsol

Untuk menemukan nomor project Anda:

  1. Buka tab IAM & Admin Settings.

  2. Dari daftar project di bagian atas halaman, pilih project yang ingin Anda gunakan untuk membuat cluster Dataproc.

  3. Catat nomor project.

Konfigurasikan izin:

  1. Buka tab IAM.

  2. Dari daftar project di bagian atas halaman, pilih project metastore.

  3. Klik Tambahkan.

  4. Masukkan akun layanan di kolom New Principals.

  5. Dari menu Roles, pilih Dataproc Metastore > Dataproc Metastore Viewer.

  6. Klik Tambahkan.

Setelah menyelesaikan langkah-langkah sebelumnya, Anda dapat membuat cluster Dataproc yang dilampirkan ke layanan Dataproc Metastore. Perhatikan bahwa untuk melakukannya, konfigurasi jaringan atau subjaringan cluster Dataproc harus cocok dengan jaringan atau subjaringan Dataproc Metastore.

Contoh:

gcloud metastore services create SERVICE \
     --network=projects/HOST_PROJECT/global/networks/NETWORK_ID

Langkah selanjutnya